O Palácio deve ter sido um edifício de dois pavimentos, com um pátio interno, e construído com pedra local. Acredita-se que tenha sido organizado em forma de U, disposto ao redor de um pátio aberto para o sul, isto é, em direção à cidade. Uma escavação arqueológica confirmou que o bispo de Pécs construiu um edifício com um pátio interno que foi reconstruído muitas vezes depois. Durante a longa ocupação da Hungria pelo Império Otomano, em meados do século 16,o palácio abrigou, provavelmente, mosteiro turco. Acredita-se que foi quando a torre sudeste foi construída, e que ainda está intacta.