O Castelo Velho de Freixo de Numão data do período do Calcolítico. Está implantado sobre um esporão que é sobranceiro aos vales secundários do Douro e do Côa, com vistas alargadas. Na segunda metade do terceiro milénio, antes de Cristo, terá sido um recinto de forma elíptica que estaria fechado em redor de um torreão central, que teria outras estruturas em seu redor. As suas paredes seriam em terra e poderiam atingir 2 ou 3 metros de altura. Dessas paredes hoje restam apenas as bases, em pedra.

Este lugar foi pesquisado pela primeira vez no início dos anos 80 do século XX. Os trabalhos foram coordenados pela professora Susana de Oliveira Jorge. Por esta altura foi conduzida uma considerável campanha de prospecção na zona de Freixo de Numão, com o objetivo de avaliar o seu potencial arqueológico e a partir daí avaliar se valia ou não a pena avançar com outros trabalhos de escavações.

O Sítio do Castelo Velho revelou desde cedo inúmeros indícios daquele que se veio depois a coroar como um dos povoados mais importantes do Nordeste Peninsular até hoje conhecidos. Dotado de uma vista alargada sobre a paisagem envolvente e de boas condições naturais de defesa. 

As evidências da ocupação, provavelmente não contínua deste lugar situam-nos num período entre o terceiro milénio antes de Cristo, altura em que terá sido edificado o torreão central. Este torreão foi utilizado até sensivelmente 1300 a. C. Ainda que a ocupação não fosse permanente, as evidências da existência de estruturas de carácter doméstico são perfeitamente observáveis, desde buracos de poste, lareiras e fragmentos cerâmicos. Portanto concluiu-se nos estudos realizados que a permanência ainda que não fosse permanente, o lugar era suficientemente relevante que justificava estas construções. 

Entre 2900 a. C. e os inícios de 2000 a. C. terá ocorrido uma segunda fase de edificação. De onde surgem estruturas adjacentes ao Torreão e algumas cabanas, estas relevantes pela possibilidade do estudo do seu interior, que revela mais acerca dos modos de vida destes povos. Deste tempo foram encontrados inúmeros fragmentos cerâmicos, identificados como semelhantes a outros encontrados em outras escavações da região de Trás-os-Montes. Foram ainda encontrados dormentes e moventes graníticos, pontas de seta, pesos de tear e ainda objetos diversos de cobre e ouro, contas de colar e outros elementos de adorno. 

Já da terceira fase construtiva, que ocorreu entre os inícios do segundo milénio e 1300 a.C. surgem novas construções, inclusive a reconstrução de outras, porém as mais antigas continuaram a ser utilizadas. Os objetos encontrados que podem ser datados desta era são vasos cerâmicos com elementos decorativos penteados e cordões e medalhões, bem como cogeces (elementos decorativos). 

Susana Oliveira Jorge interpreta “Castelo Velho”, não como um povoado fortificado, mas enquanto um recinto murado, atendendo, sobretudo, à pouca relevância que a sua utilização defensiva deteria. Pelo menos até à terceira fase construtiva, quando parece assomar uma verdadeira intenção de, “[…] não só dificultar o acesso ao interior do recinto, como de monumentalizar as estruturas envolventes, nomeadamente o “avançado” e a segunda rampa/talude.” até que ocorreu a petrificação da zona “monumental”, na quarta fase construtiva.