Por entre as rochas e terrenos irregulares, ergue-se uma das mais importantes fortalezas transmontanas. São cerca de 1000 anos de história e de muitas histórias para contar que o Castelo de Algoso proporciona ao visitante. E, mesmo depois de quatro séculos de descanso, a sua imponência ainda é bem visível e justifica o orgulho das gentes de Vimioso.
Castelo roqueiro construído no século XII foi, de início, centro da autoridade real em Terras de Miranda. Cerca de 1224, D. Sancho II doou o castelo aos Hospitalários, que aqui fizeram significativas obras, nomeadamente a torre de menagem e a cisterna abobadada que ainda hoje subsistem. A partir do final do séc. XIII, torna-se um castelo de segunda linha, sendo abandonado no séc. XVII.
O castelo de Algoso é uma das mais importantes fortalezas medievais do leste transmontano, evocadora das guerras com Leão, das tentativas do monarca português em afirmar a sua autoridade na região e, finalmente, da comenda hospitalária que aqui se estabeleceu em 1224.