En 1309, le pape Clément V décide de s'installer à Avignon, plutôt qu'à Rome, en raison des tensions politiques avec le roi de France Philippe le Bel et des conflits internes à l'Église. Cette période, connue sous le nom de Papauté d'Avignon, dure jusqu'en 1377, lorsque le pape Grégoire XI décide de retourner à Rome.
Le Palais des Papes devient un centre administratif et culturel majeur, attirant des intellectuels et des artistes comme Matteo Giovannetti, qui réalise de magnifiques fresques. Après le retour de la papauté à Rome, le palais perd son importance et est progressivement abandonné.