Ein franziskanischer Konvent wurde 1482 gegründet und 1521 an diesen Standort verlegt und verwandelte sich 1711 in den Sitz des britischen Gouverneurs. Als die Christen 1462 den Felsen einnahmen, ließen sich zahlreiche Orden auf Gibraltar nieder.
Franziskanermönche ließen sich um 1480 in dem Bereich nieder, den wir den Konvent nennen. 1531 bezahlte Francisco de Madrid für eine Kapelle und für einen ansehnlichen Ausbau des früheren Konvents. Kurz nach der Eroberung Gibraltars durch die britischen und niederländischen Streifkräfte 1704, verließen die Franziskanermönche Gibraltar.
Das Gebäude, das wahrscheinlich ein wenig bei der Eroberung beschädigt wurde, stand bis 1728 leer, als man es als Palast für den Militärgouverneur einnahm. Der Name „Convent“ von dem spanischen Wort „Convento“ (das im Spanischen sowohl für Klöster als auch für Konvente verwendet wird), wurde fast dauerhaft seit dem ersten Konvent im 15. Jahrhundert genutzt.
Die Belagerung von 1727 verursachte große Schäden an dem alten Gebäude, aber das war nichts im Vergleich zu den schweren Schäden, die das Gebäude bei der Großen Belagerung (1779/83) durch feindliche Bombardierungen von Land und See aus erlitt. Die Renovierungsarbeiten begannen sofort nach der Großen Belagerung, aber die auffallendsten Änderungen wurden 1863/64 unter Leutnant General Sir William Codrington KCB, dem damaligen Gouverneur, durchgeführt. Dieser Gouverneur ließ die Festhalle neu bauen und die Fassade zur Main Street hin wurde vollkommen verändert und aus der Hintertür wurde der neue attraktive Haupteingang, den wir heute bestaunen können.
Das Haupttreppenhaus neben dem Eingang gehört wahrscheinlich zu dieser wichtigsten Renovierung. 1951 flog die SS „Bedenham“, ein Munitionsschiff im inneren Hafenbereich in die Luft, der nur ca. 320 Meter entfernt liegt. Der Konvent und seine Kapelle erlitten schwere Schäden, so wie auch ein großer Teil Gibraltars. Die Festhalle erlitt irreparable Schäden an ihren drei Farbglasfensterfronten (1863). Wie viele antike Gebäude hat der alte Konvent einige Geschichten erlebt, aber die bekannteste ist die der spanischen Nonne, die in dieses Kloster gebracht wurde, um hingerichtet zu werden, nachdem sie auf bizarre Weise versucht hatte, mit ihrem Liebhaber, einem Mönch, zu fliehen. Sie wurde zum Hausgeist des Konvents und ist als The Grey Lady bekannt.