Efter at have passeret port og faldgitter kom man ind itårnets portrum. Loftet var fra starten et fladt bjælkeloft, men senere indbyggede man et twælv. I loftet var der huller, hvorfra man kunne hælde læsket kalk ned over angribere. Kalken blev kogt til en tyk grød, som havde en frygtelig virkning, når den blev hældt over krigernes jernrustning.
En tværmur har delt alle etager, undtagen den øverste, i to rum. I den indre borggård fandtes en trappe op til 1. etage, de øvrige etager var forbundet med indvendige trapper. På 1. etage fandtes skriverstuen, kommandantens kontor, der i lange tider var øens administrative centrum.
De øvrige etager blev normalt brugt til beboelse, men øverst fandtes et rustkammer. Af indretningen ser man kun rester af kaminskorstenen og to hemmeligheder (lokummer)
Manteltårnet har i perioder været brugt som fængsel. Kongedatteren, grevinde Leonora Christine og hendes mand grev Corfitz Ulfeldt sad sammen med en tjener fængslet 14 måneder i Manteltårnet, mistænkt for højforræderi. I begyndelsen sad de i næs øverste etage, men herfra flygtede de en nat i marts 1661.
De firede sig de 13 meter ned fra vinduet ved hjælp af et tov af sammenbundne lagner. På en eller anden måde er de kommet ud af borgen og er flygtede ned ad den stejle klippeside mod kysten. De medførte sejl og årer, som det var lykkedes dem at lave i fængslet, fordi de håbede at finde en båd.
I mørket styrtede tjeneren i en klippespalte. Leonora fik ham hevet op igen.
Corfitz Ulfeldt var ikke til megen hjaelp. Han var syg og elendig og måtte næsten bæres af de andre. Da de kom ned til kysten, fandt de ingen ubevogtede både. De fortsatte til Sandvig, nilen her blev de genkendt og ført tilbage til Hammershus.
Guvernøren indrettede herefter 3 celler. Han indberettede herom til kongen: »Jeg tror, jeg har anvendt over 20 skippund (= ca. 3 tons) jern til deres små kamres bygning. Dertil er der tre hvælvinger, den ene over den anden, tjeneren nederst, greven over tjeneren, og grevindens kammer over grevens, og altså som enhvers grad fordrer…«.
Første og anden etagei Manteltårnet. Kamin og hemmelighed rekonstruerer efter spor i væggene.