Borgen ligger øverst oppe på en 74 m høj, vanskelig tilgængelig klippeknude og nær en naturlig havn. Den lille havn var sandsynligvis af betydning middelalderen, idet der var et vigtigt sildemarked i nærheden allerede i 1200-tallet.
Ved anlæggelsen og udvidelserne af borgen har man søgt at udnytte terrænets naturlige forsvarsmuligheder.
Centralborgen, der menes at være den ældste del af borgen, fra ca. 1260, ligger i et hjørne af plateauet med stejle skråninger på to sider og et fladt, let overskueligtterræn på de andre sider. Da borgen blev udbygget med en ny ringmur, inddrog man det meste af det flade plateau. Kort efter, sidst i 1300-årene, blev så forborgene anlagt.
Krigere fra 1500-tallet (efter træsnit fra 1500-tallet)
Mod øst var terrænet ikke så stejlt som på de andre sider, og her lå borgens hovedindgang. Man harderfor gjort sig særlig umage med at forstærke forsvaret til denne side.
Indgangen var beskyttet af en vindebro og et befæstet porttårn, og den videre vej op til Slotsporten var afskærmet af mure til begge sider. 1500-tallet blev borgen forstærket med halvrunde tårne, især på Ringmuren.
På et tidspunkt har man forsøgt at isolere klippeknuden yderligere. Med dæmninger har man skabt de to søer, Paddesænkningen og Mølledammen.
I borgens sidste tid forsøgte man at modernisere Hammershus. Men borgen var og blev forældet, den havde udspillet sin rolle som militært støttepunkt og fik snart lov at forfalde.
Skydning med håndbøsse (efter relief fra omkring 1500)