Les fortifications sur et autour du site du château maure ont été construites en 1160, ou avant. Elles ont toutefois été détruites lors de la reconquête de Gibraltar par les Espagnols entre 1309 et 1333. La tour de l'Hommage, son élément principal, domine le flanc de la colline et l'approche terrestre de Gibraltar. Une tour reconstruite date principalement de 1333 environ, lorsque Abu'l Hassan a repris Gibraltar aux Espagnols. À une autre occasion, le comte de Niebla a attaqué le château, a été capturé par les défenseurs médiévaux et son corps a été suspendu aux murs dans une barcina, un filet pour transporter de la paille.
