Une bibliothèque existait auparavant dans l’ancien collège des Jésuites, aujourd'hui collège La Fayette. Les Jésuites l'ont constituée dès la fin du XVIe siècle, grâce aux dons importants de l’évêque Antoine de Sennecterre. Par la suite, ce premier fonds est complété d’ouvrages essentiellement destinés à l’éducation des jeunes gens fréquentant le collège.
En 1763, la bibliothèque est rendue publique suite à l'expulsion des Jésuites Elle compte alors parmi ses bienfaiteurs Monseigneur Galard de Terraube, évêque du Puy, qui obtint du roi Louis XVI une collection d’ouvrages, ainsi que du Duc de Polignac et des notables de la ville.
Suite aux confiscations révolutionnaires, chaque ville a l'obligation de créer des dépôts littéraires. Au Puy, deux dépôts ont vu le jour : celui du collège des Jésuites et celui du Couvent des Capucins. Ce dernier, qui rassemblait les livres confisqués des différents couvents des environs (Jacobins, Cordeliers et Capucins) a brûlé en 1791. Il n'en reste presque plus rien. Un Édit de 1803 demande à toutes les villes ayant des dépôts littéraires d'ouvrir une bibliothèque publique. Le Puy crée donc, en 1808, sa bibliothèque municipale, principalement sur le fonds de la bibliothèque de l'ancien collège des Jésuites.
La bibliothèque déménage ensuite dans deux salles, rue du Bessat, à la suite de la construction d’une chapelle au collège. Elle est restée ouverte tout au long du XIXe siècle, malgré un environnement peu adéquat à l'étude : manque de lumière, de chauffage, et bruit incessant des cloches... À la fin du siècle toutefois, ces défauts devenant réellement problématiques, le projet de construction d'une bibliothèque au centre ville, dirigé par l'architecte Achille Proy, voit le jour.
1897 : construction et inauguration du bâtiment actuel
De 1897 à 1984, la bibliothèque entière occupe les 500 m² du second étage, le rez-de-chaussée étant consacré à une halle aux veaux et aux grains, puis à des bureaux et à des espaces d'accueil pour les associations. En 1984, la section jeunesse s'installe au rez-de-chaussée, sur 125m². Ce n'est que depuis 1994, après une année de travaux, que la totalité du bâtiment est consacrée à la bibliothèque. Il a dû subir divers aménagements pour pouvoir accueillir à la fois des collections importantes de livres et les lecteurs dans les meilleures conditions possibles. Le début du millénaire a vu de nouveaux travaux à la bibliothèque puisqu'en 2000 et 2001, le fonds ancien est rénové : une mezzanine y est créée afin de recevoir le fonds Cortial.