Borgens centrale del, Slotsgården, dækker hele klippeknudens øverste plateau. Slotsgården er omgivet af en ringmur, der har en samlet længde på lidt under 0,5 km. Muren er ca. 1,5 m tyk og er nogle steder bevaret i en højde af 9 m. Der har været ialt 5 åbninger i muren. De har dog næppe alle været i brug på samme tid.
Slotsporten har været hovedindgangen til Slotsgården. Vogne har tilsyneladende kun kunnet komme denne vej ind. Porten, som idag er stærkt ødelagt, kendes kun fra gamle tegninger.
Den har bestået af et firkantet tårn med trappegavle. Over portrummet var der et rum, som blev kaldt »Vagtstue over porten«. Her boede trompeteren. Der er bevaret en inventarliste fra 1645, som fortæller, at rummet var møbleret med seng, bord, bænk og en kakkelovn, der var muret Op af grønne glaserede potter fra Rønne.
På et sent tidspunkt i borgens historie, måske under Christian IV (1588-1648), har man forstærket portforsvaret ved at bygge en jordskanse foran. En tilsvarende skanse blev bygget foran Svenskehullet.
Endnu i 1600-tallet var borgen af nogen militær betydning. 11645 erobrer den svenske general Carl Gustav Wrangel Hammershus efter kun halvanden times bombardement. En skrøne fortæller, at Wrangel holdt sit indtog gennem Svenskehullet, fordi Slotsporten stadigvæk var barrikaderet.
Christian IV blev rasende over borgens erobring og omtalte hånligt kommandanten, Holger Rosenkrantz, som »Munsør Skramhans, som slap Borringholm«. Kommadanten rådede imidlertid kun over 58 mand, og han havde kun Øn kanoner, som tidligt under bombardementet blev dødeligt såret.
slotsporten med jordskansen foran (efter tegning fra 1700-tallet)
