Numerose testimonianze scritte attestano la presenza di un castello medioevale localizzato nella zona circostante l’attuale chiesetta di San Fermo e denominato Scovolo (dal latino Scopulus = scoglio, rupe, masso, macigno, vetta sassosa, roccia).

Tale fortificazione sarebbe stata distrutta dai Bresciani nel 1279. Tuttavia -mentre documenti redatti in varie epoche parlano anche diffusamente di questa costruzione- gli scavi archeologici finora eseguiti non hanno riportato alla luce nessun reperto di epoca medioevale, all’infuori di pochi oggetti insufficienti per l’affermazione dell’esistenza di imponenti fortificazioni.
Per questo motivo è stata messa in dubbio la presenza di un fortilizio medioevale situato sull’attuale promontorio di San Fermo.
Diversa è la situazione del castello di San Felice le cui scarse rovine, tra cui l’unica torre superstite, sono ancora visibili all’interno del centro storico ed ospitano l’antico cimitero e l’ossario. Le prime notizie relative al castello di San Felice risalgono al 1330, al tempo delle lotte tra guelfi e ghibellini.

Il nostro territorio fu soggetto a frequenti scorrerie: francesi, spagnole e tedesche, le quali, d’altra parte, afflissero tutta la bassa Riviera. Le vicende di quei tempi sono assai complesse ed intricate; i castelli, ricettacoli di difesa dei nostri avi, furono distrutti, riedificati e nuovamente distrutti più volte.
È certo comunque che la terra di San Felice era già fortificata al dissolversi del presunto castello di Scovolo. Nel 1440, dopo aspre battaglie, la Repubblica di Venezia strappò le nostre contrade ai Visconti milanesi, dando inizio ad un alterno dominio che conobbe anche momenti di rinascita del lavoro, del commercio e delle civili osservanze con la stesura degli Statuti comunali, i quali erano conservati in castello nella casa del comune.
Purtroppo tali preziosi documenti sono andati dispersi. Alla fine del Quattrocento e all’inizio del Cinquecento i colli benacensi furono quasi continuamente devastati da eserciti stranieri e veneziani. Il castello di San Felice fu atterrato nel 1483 e ricostruito nel 1521. Attualmente, come si è detto, resta soltanto la torre d’angolo. La torre principale d’entrata venne trasformata nel Settecento in pacifica sede del concerto delle campane; le altre due laterali crollate e distrutte; l’unico edificio rimasto è la chiesetta, la quale -alla metà del XVII secolo- era luogo dove s’insegnava il catechismo alle ragazze.

Nella prima metà del XVIII secolo, con la costruzione della nuova prepositurale, il camposanto del paese che si trovava sul sagrato, fu trasferito nello spiazzo del castello, dove già nel 1630, durante il periodo della peste descritta dal Manzoni, erano state effettuate parecchie inumazioni. Il castello -ulteriormente demolito per procurare materiale per la costruzione del Monte di Pietà- divenne un luogo sacro: un tempo raccoglieva e custodiva le civili memorie; ora fu trasformato nel camposanto per il perpetuo riposo dei nostri avi.
Il ricettacolo abbandonato fu il cimitero di San Felice fino al 1° gennaio 1995, dopodiché si utilizzò la rinnovata struttura mortuaria di via delle Gere.