Wenige Meter von der Piazza Grande entfernt liegt der Castello Visconteo, in dem im 13 Jahrhundert die Familie Visconti lebte. Der Castello Visconteo hatte bis zum 1513 militärische Zwecke. Der Teil der militärischen Festung ist heute noch sichtbar und bekannt im Namen von Rivellino. Man denkt, dass sie von Leonardo Da Vinci gebaut worden ist. Auf den Mauern des Rivellino kann man noch die Ringe sehen, an denen die Schiffe angelegt wurden, da das Ufer des Sees das Schloss erreichte. Eine Legende erzählt dass eine Bettlerin Zuflucht in den Mauern des Schlosses gesucht hat, wo sie aber nicht gut behandelt wurde. Deswegen sagt man, dass ihr Geist sich heute noch rachsüchtig in der Ruine des Schlosses herumtreibt. Heutzutage ist das Castello Visconteo Sitz des städtischen und archäologischen Museums vom Locarno, auch bekannt für seine Kollektion von römische Gläser.