Denominado Paço do Duque de Bragança, referindo-se a D. Afonso I, primeiro Duque de Bragança. No início do século XVIII, Governador das Armas da Província de Trás-os-Montes General Francisco da Veiga Cabral transformou-o em aquartelamento militar, passando a albergar a guarda principal da praça-forte e a prisão militar. Em 1970 foi erguida na praça uma estátua em memória do Duque de Bragança.

D. Afonso, 1º Duque de Bragança e 8º Conde de Barcelos, filho ilegítimo de D. João I que, após o casamento com D. Beatriz Pereira de Alvim, filha do Condestável D. Nuno Álvares Pereira, escolheu Chaves, para fixar residência. O edifício, originalmente de um só piso, terá sido erguido no século XV junto à torre medieval, funcionando o Paço como sua continuação. Quando a torre de menagem se tornou ultrapassada, o edifício anexo foi ampliado. mandou construir em 1410, perto do castelo, adossado à Torre de Menagem, o seu palácio desconhecendo-se a planta original. As funções militares, resultado de acrescentos e transformações em diferentes épocas e que alteraram o antigo paço ducal que atinge a sua monumentalidade conseguida pelo pórtico encimado pelas armas reais. Em finais dos anos 30, início de 40 do século XX o quartel, ocupado pelo Batalhão de Caçadores de Chaves, sofreu ampliação acrescentando dois piso e levando à destruição de parte dos panos da Muralha Medieval. Segundo a história, D. João I, pai de D.Afonso, terá proposto a D. Nuno Álvares Pereira que a sua filha D. Beatriz, casasse com seu filho, futuro Rei, D. Duarte, na altura com apenas oito anos. Face à proposta, o Condestável entendeu ser mais razoável que a filha casasse com o seu filho D. Afonso, então com 29 anos, com a condição de que este fosse perfilhado. D. João I concordou tendo assinado a carta de perfilhação em 20 de Outubro de 1401. Em contra-partida D. Nuno Álvares Pereira doou a sua filha todas as terras a Norte do rio Douro. O casamento efetuou-se em Lisboa em 8 de Novembro de 1401 dando início à Casa de Bragança.