In fondo all’attuale via Costanzo Ciano di Portese sorgeva anticamente un castello eretto nell’alto medioevo con la funzione di ricettacolo a difesa dalle scorrerie dei barbari. Dell’antico edificio oggi rimane soltanto un mozzicone di una torre circolare.
A sinistra rispetto all’entrata aveva sede la Biblioteca comunale istituita nel 1973 (che, dal 2009, risiede in via Chiusure presso l’ex-scuola elementare); sulla destra si trova il centro di raduno del Gruppo Alpini di Portese, utilizzato anche come luogo d’incontro degli anziani della frazione.
Consultando gli archivi, scopriamo notizie relative al castello di Portese nel catasto del 1656 della Magnifica Comunità della Riviera, laddove l’edificio è descritto come “murato, coppato e solido”, evidenziando come al suo interno fosse solito radunarsi il Consiglio.

Anche a Portese era operante un Monte di Pietà, fondato nel 1542: è assai probabile che l’amministrazione della pia istituzione si svolgesse in alcuni locali del castello. Nel fortilizio era conservato un ritratto della benefattrice Diana Percaccini, morta di peste nel 1630. L’opera fu asportata da ignoti negli anni Venti del secolo scorso.