Situé sur la partie basse de l'éperon rocheux sur lequel furent implantés au Moyen-Âge les châteaux de Saint-Cirq-Lapopie, le musée est une ancienne demeure acquise en 1922 par Emile Joseph Rignault (1874-1962), un amateur éclairé. Il y convie ses amis, artistes et hommes de l'art qui viennent y séjourner et parfois s'y installer. Fréquentant les expositions et les ventes publiques, il se constitue des collections de dessins et peintures aux signatures prestigieuses : Callot, Van Dyck, Oudry, Fragonard, Boucher, Toulouse-Lautrec, Soutine... En 1946, il fait don de ses collections au musée Calvet d'Avignon et de sa demeure au Département du Lot.

Un cadre privilégié pour l'art contemporain :
Dans ces lieux emplis de souvenirs artistiques et situés au cœur de l'un des plus beaux villages de France qui fut terre d'inspiration et de création pour de nombreux artistes et notamment les surréalistes, le Conseil général y a créé un espace ouvert sur l'art contemporain.
Chaque année, des expositions temporaires sont consacrées aux arts graphiques et à la sculpture contemporaine.