El poble de Fornells té els seus orígens en el raval del fort construït cap allà el 1625. Seguint la tònica imperant d’aquells moments, alhora que s’inicià la fàbrica del castell, comença l’assentament a les rodalies del mateix, dels seus treballadors i familiars, la majoria dels quals seria gent avesada en aquesta mena de construccions, com ara la de sant Felip al mateix port de Maó.

És versemblant pensar-ho així i que els seus primers pobladors serien gent vinguda del raval d’aquell indret, sols cal fixar-se en els cognoms més arrelats com ara; Roca, Petrus, Rosselló, etc, tots originaris de la població des Castell.

El castell tenia forma quadrada, mesurava uns trenta metres de llarg, per dotze d’alçada. Comptava amb quatre baluard que portaven els noms dels quatre evangelistes (Mateu, Marc, Joan i Lluc). A l’interior hi havia una capella, magatzem, habitació per la tropa i una petita plaça d’armes. El pont d’entrada mirava cap el sud. Tot restava rodejat per un fos. Fou enderrocat a finals del segle XIX, quedant en peus sols una de les cambres.

Malgrat tenir els seus inics a la primera meitat del segle XVII, el port de Fornells o Cala, tal i com surt citat en molts documents de l’època, era un lloc força transitat, essent un lloc on encorraven vaixells de tota mena per abastar-se de queviures o si més no, per mercadejar.

Poc a poc la població de Fornells es consolidà tenint com a principal font de riquesa el mar. La pesca ocupà la major part d’aquella mà d’obra, lligats de peus i mans, depenien de la bonança del temps per poder treballar, essent molts els dies que tenien que restar a terra sense poder portar un jornal a casa.