Les papes qui succèdent à Jean XXII (pape de 1316 -1334), ont peu séjourné au château, préférant probablement se reposer à Pont de Sorgues ou à Villeneuve, plus proches d'Avignon.
Mais Il
faut aussi noter le fait que les épidémies de peste noire de 1348 et de
1361, ont décimé la population du village à tel point que les habitants
se déclarent incapables, vu leur nombre, de pourvoir à la garde des
remparts.
De plus le Comtat, à partir de 1360 et pendant près de vingt ans, va subir les attaques de mercenaires licenciés par la France et l'Angleterre.
De 1385 à 1387,
Clément VII, fit entreprendre
d'importants travaux d'entretien et d'embellissement du château, qui
avait été un peu délaissé. Il fit
également replanter la vigne et les oliviers, redonnant au domaine un
peu de sa superbe.
Il fut le pape qui a le plus habité le château.
Les
papes habitèrent cette demeure jusqu'au retour de la papauté à Rome en
1377.
Après une première attaque manquée, les huguenots (protestants) menés par MONTBRUN, lieutenant du Baron des Adrets, s'emparent en juillet 1562 du village et du château. Châteauneuf leur servit jusqu'en février 1563, de base pour lancer des attaques sur toute la région.
Le château connut ses premières importantes dégradations, lors de la 3ème attaque des Huguenots en mars 1563. Ils pillèrent le grenier à sel et brûlèrent l'église et le château. Tout ce qui était en bois fut détruit, poutres, charpentes, escaliers...
Au moment de la révolution, il fut vendu lors d'une vente aux enchères, à Monsieur ESTABLET, qui en fait représentait secrètement 30 habitants de châteauneuf. Un an après la vente, le nouveau propriétaire le revendit en 30 parts, aux personnes qu'il représentait.
Mais cette multipropriété fut en fait dommageable pour le château, car chacun se mit à le démonter et à vendre les pierres ou à s'en servir pour leur propre maison. Il n'est d’ailleurs pas rare aujourd'hui de voir des maisons du village comportant des pierres du château.
Lors de la seconde guerre mondiale, les Allemands s'y installèrent, se servant du donjon comme poste de surveillance (115 mètres au-dessus du sol). Ils y entreposaient des explosifs, qu'ils firent sauter au moment de leur défaite en 1944, détruisant la presque totalité du château.