Knihovna nejprve sídlila v ulici Na Zderaze na Novém Městě a na počátku měla 3 370 knih, které byly využívány v půjčovně a čítárně. Několikrát se stěhovala a teprve v roce 1903 nalezla své trvalé umístění na nároží Platnéřské ulice a Mariánského náměstí na Starém Městě, tedy v místech, kde stojí i její nynější budova postavená v letech 1925-1928.
Budova Ústřední knihovny dostačovala provozu až do 70. let. Kromě půjčovny, studovny, čítárny denního tisku, půjčovny a čítárny pro děti v ní bylo umístěno hudební oddělení, slepecká knihovna, odborná knihovna městské správy, Sukova knihovna spisů pro mládež, divadelní a filmové oddělení. V 80. letech došlo k výrazné modernizaci poboček, k otevření řady nových knihoven a k racionalizaci jejich sítě. Rozšířila se druhová skladba knihovních fondů, zejména o zvuková média. V centrální evidenci fondu a při katalogizaci se začaly v roce 1982 užívat počítače.
V letech 1996-1997 byla Ústřední knihovna na Mariánském náměstí rekonstruována. Šlo o rekonstrukci nejen stavební, ale také o nové pojetí služeb a o úplnou automatizaci knihovnických agend. Od té doby se činnost knihovny rozšířila, přibyly nové služby pro členy a akce pro návštěvníky.
V letošním roce knihovna otevře dvě nové pobočky. V Praze 8 to bude Velký mlýn v rekonstruované budově barokního mlýna, kde bude nejen knihovna, ale i kulturní sál a kavárna. Otevření se předpokládá nejpozději v červnu. Na podzim letošního roku by měla být otevřena knihovna v Praze 6 na Petřinách. Jedná se o novostavbu, která bude vybavena vším, co lokalita aktuálně postrádá, včetně kluboven nebo víceúčelového sálu.