El Castillo de Vimianzo (+43° 6' 40", -9° 1' 52") es el permanente vigía de la villa. Situado a la entrada del núcleo urbano, fue construido allá por los siglos XII o XIII por la familia Mariño de Lobeira. Pero esta fortaleza no era tal y como lo vemos hoy en día, ya que a lo largo de los años sufrió varias reformas, debido a las luchas y el continuo traspaso de dueños.
El gran cambio estructural del Castillo se produce a finales del siglo XV (1467) cuando sucede un hecho decisivo en la historia de Galicia: la Guerra Irmandiña. El pueblo, cansado de la presión económica, abusos y violencia ejercidos por los señores feudales, decide tomar el asalto a las fortalezas. Este acontecimiento provocará la huída de la gran nobleza gallega hacia Castilla y Portugal, siendo destruidas o muy dañadas la mayoría de sus fortificaciones, entre ellas el Castillo de Vimianzo. Este acontecimiento se recuerda con una fiesta cada mes de julio: el Asalto al Castillo.
Poco después los nobles escapados se organizaron en Castilla y emprendieron la recuperación de sus posesiones en 1469. El Castillo fue entonces reconstruido con el trabajo de maestros canteros vascos.