Cape Coast Castle liegt in der Stadt Cape Coast in der Central Region von Ghana. Das Gebäude entstand 1637 als niederländischer Stützpunkt, wurde aber schon 1652 von Schweden unter Willem Usselinx aus Antwerpen erobert und Carolusburg genannt. Usselinx betrieb die Festung mit Hilfe der Svenska Söderkompaniet als Handelsstützpunkt. 1660–1663 eroberten und besetzten die einheimischen Fetu die Burg. 1659 wurde sie dänisch, 1663 schwedisch und 1665 britisch (durch Robert Holmes). Cape Coast Castle ist eines von etwa 35 historischen Forts der ghanaischen Küste. Seit 1979 steht das Fort auf der Liste des UNESCO-Weltkulturerbe.

Wie auch die meisten anderen Forts an der sog. „Gold Coast“ diente Cape Coast Castle als Gefängnis für Einheimische, die für den Verkauf und Transport als Sklaven in die europäischen Kolonien in Nord- und Südamerika gefangen worden waren und in den Kellerverliesen des Forts oft monatelang auf das nächste Sklavenschiff warten mussten, ehe sie schließlich durch einen schmalen Kellergang an den Strand zum Verladen gebracht wurden. Der Ghana Heritage Trust betreibt heute in der Burg ein großes Museum zur Geschichte des Sklavenhandels an der ehemaligen Goldküste.

Am 28. März 1722 begann auf Cape Coast Castle einer der aufsehenerregendsten Piraterie-Prozesse in der Geschichte der englischen Admiralität. 95 Seeleute aus der Mannschaft von Bartholomew Roberts wurden der Piraterie für schuldig befunden und verurteilt, 52 davon zum Tod durch Erhängen.