Navnet betyder det blomstrede eller brogede tårn. Det har sandsynligvis hentydet til tårnets udseende, men man ved ikke på hvilken måde. Tårnet er den bedst bevarede bygning på Hammershus, og det er vist nok det eneste af tårnene, der er bygget samtidig med Ringmuren.Man mener, det er opført som vagttårn. Men det har vel også haft betydning for forsvaret af borgens østside, hvor terrænet er mindre stejlt. I borgens sidste tid fungerede det som bolig for overkanoneren. I den dybe kælder var der fangehuller.
En krønike fra middelalderen beretter om Jens Grands fangenskab i 1294-95 på Søborg slot: Ærkebispen lå fængslet nederst i tårnet, lænket med tunge kæder, så han ikke kunne røre sig, end ikke sætte sig op. De sanitære forhold var helt ulidelige i det stinkende, iskolde og fugtige fangehul, som manglede både lys og luft. Maden blev sænket ned til fangen gennem et hul i loftet. Den bestod af muggent brød, kålsuppe og vandgrød i fastetiden.
Til maden måtte han nøjes med vand, kun en sjælden gang fik han en smule øl. Maden var fyldt med maddiker og andet småkryb, som han ikke kunne se i mørket. Hans tøj blev hurtigt fyldt med Iopper og lus og blev ikke skiftet i de to år, han sad fængslet.
Ærkebisp Jens Grand var, hvad man idag ville kalde en politisk fange. Middelalderens fængsler var imidlertid først og fremmest arrester, hvor de anklagede sad, indtil deres sag kom for en domstol. I den sene middelalder anvendte herremændene også borgens fangehuller til afstraffelse af gårdens folk. Ringmuren erved Blommetårnet bevaret i næsten fuld højde. Man ser en af murens kamtakker op til Selve tårnet. Øverst i muren ses en række firkantede dybe huller. Heri sad kraftige stolper, der bar en vægtergang af træ. I Ringmuren findes ved siden af Blommetårnet en lille dør. Bag den murede dørkarm ses stadig de huller, der har holdt den træbom, som man spærrede døren med. Når døren skulle åbnes, blev bommen skudt ind i en dyb gliderende i den ene side af døråbningen.