1921 йил 30 июнда илк бор Бухорода шаҳар кутубхонасининг эшиклари китобхонлар учун очилди. Унинг очилиши ташаббускори Бухоро халқ республикаси маориф нозири Мусожон Саиджонов эди. Ташкил бўлган даврида кутубхона 1187 нусха китоб ва 350 нафар китобхонга эга эди. Шаҳар кутубхонаси Бухоро амирлигининг Амир Олимхон мадрасаси ҳузуридаги ҳуқуқшунослик мактаби кутубхонаси негизида ташкил этилган. Кутубхона ташкил этилганининг дастлабки йилларида асосий эътибор китоб фондини тўплаш ва аҳолини мунтазам китобхонликка жалб этишга қаратилган. Кутубхонанинг китоб фонди давлат томонидан ажратилган воситалар ва пуллик хизмат кўрсатиш ҳисобидан тўлдирилган. Кутубхона шаҳар аҳолисидан қўлёзма асарлар ва китоблар йиға бошлаган. 1938 йилда Республика халқ маорифи нозирлиги қарори билан эски Бухоро марказий шаҳар кутубхонасининг номи Бухоро вилоят кутубхонаси деб ўзгартирилган ва унга буюк мутафаккир Абу Али Ибн Сино номи берилган.