Dies dreieckige Fort wurde von den Portugiesen um 1515 herum gebaut und ist das zweit älteste Fort nach Elmina. Axim - wo das Fort steht - war einer der meist besuchten Märkte an der Küste der Gold Coast und mehr Gold ging durch Fort São Antonio als durch irgend ein anderes. Im 18 Jahrhundert wurde die Region um das Fort herum bekant für Baumwolle und Edelholz. Das Fort wurde unter den Engländern zum Sitz der Administration in der Region und blieb es bis Anfang 2000.