Castelo medieval (ca. 793), situado perto do centro do concello –onde antigamente houbo un castro– nun lugar desde onde se observa unha fermosa panorámica. Se ben se mantivo en bo estado ao longo da súa historia, no s. XX destrúese e se utilizan os cachotes para erixir a Igrexa da Peroxa, conservándose pouco do que debeu de ser.
Era unha edificación de planta poligonal reforzada por catro torreóns semicirculares, dous deles na porta de acceso. No centro situábase a Torre da Homenaxe. Aínda se poden ver parte das bases das murallas cos cubos, os cimentos do que foi a torre da homenaxe, un muíño, un alpendre e o alxibe no lado oeste da muralla.
Contruíuse a fins do s. VIII polos señores da zona, a familia Temes, como defensa fronte ás incursións mulsulmás, converténdose –dada a súa situación estratéxica– en capital do condado, lugar de administración e centro de defensa.
Esta fortaleza é unha das poucas que se salvan da furia irmandiña a fins do s. XV., pasando pouco despois a mans dos Condes de Ribadavia e posteriormente aos Sarmiento, antigos amos da Peroxa, que serán os novos condes. O seu escudo conta con trece roeles vermellos sobre campo de ouro, distintivo que figura enriba do retablo maior da Igrexa de Graíces e que se converte no emblema do actual escudo do Concello da Peroxa.
Despois da desamortización, o castelo albergou un tempo a Casa Consistorial e nos seus arredores celebráronse feiras. Nos últimos tempos leváronse adiante varias labores de reconstrucción que axudan a valorar a importancia e riqueza cultural que representa o castelo.