Основу фондов Исторической библиотеки составила частная библиотека известного московского общественного деятеля и коллекционера Александра Дмитриевича Черткова (1789-1858), созданная им как "Всеобщая библиотека России". В библиотеке собиралась как отечественная, так и иностранная литература по истории России, других славянских народов, редкие издания. По мнению специалистов в первой половине XIX века это было наиболее ценное в России собрание книг по отечественной истории.
В 1838 г. был издан каталог библиотеки. Библиотекой А. Д. Черткова пользовались писатели и ученые России: В. А. Жуковский, А. С. Пушкин, Н. В. Гоголь, М. П. Погодин, Л. Н. Толстой и др.
В 1863 г. библиотека была открыта для общественного пользования как бесплатная общедоступная библиотека. При библиотеке был основан и издавался с 1863 по 1873 г. один из лучших исторических журналов ХIХ века - "Русский архив".
С 1872 г. Чертковская библиотека перешла в ведение Московской городской Думы, а с 1875 г. ее фонд лег в основу создаваемой библиотеки Императорского российского исторического музея и тем самым библиотека приобрела общероссийское значение.
В качестве библиотеки Исторического музея она просуществовала до 1934 г.
Основным источником комплектования библиотеки до 1917 г. были покупка или получение в дар, по завещанию крупных и ценных коллекций литературы от библиофилов, историков, ученых других областей гуманитарного знания. За этот период библиотека пополнилась ценнейшими коллекциями литературы, составившими гордость отечественной культуры.
К особо ценным собраниям можно отнести коллекцию М. Д. Хмырова – 1734 томов рукописей, газетных и журнальных вырезок за 1700-1865 гг. приобретенных музеем у наследников собирателя в 1873 г.
В 1875 г. вместе с Чертковской библиотекой Московская Дума передала в Исторический музей библиотеку зятя А. Д. Черткова – князя А.Н. Голицына, состоявшую из иностранных книг о России главным образом периода 1725-1815 гг.
В 1885 - 1887 гг. в библиотеку поступили книжные коллекции профессора Д. М. Щепкина по вопросам языковедения, религии востоковедения; проф. К. К. Герца по истории искусства с древнейших времен по ХIХ в., археологии – главным образом - древнехристианской, Н. Н. Муравьева-Карского по истории военного дела.
В 1887 г. наследники передали в библиотеку обширную (более 40 тыс. т.), библиотеку генерал-фельдмаршала князя А. И. Барятинского, состоящую из нескольких собраний - западно-европейской литературы по истории России и славянских стран, лингвистике, египтологии, европейских и российских революционных изданий и др.
Значительное поступление в библиотеку старой и редкой литературы связано с проведенной Советским правительством в 1918-1919 годы национализацией частных и общественных книжных собраний. В библиотеку Исторического музея в эти годы поступило около полумиллиона томов из библиотек закрытых учреждений, православных и иноверческих общин, дворянских усадеб, частных владельцев. В фонд отбирались издания по профилю библиотеки и представлявшие историческую или книговедческую ценность. В частности, была получена ценнейшая семейная библиотека графов Уваровых из усадьбы Поречье Можайского уезда Московской губ., включающая богатый материал по археологии, византиноведению, истории Западной Европы и Балкан, книги из библиотеки известного генеалога Л.М. Савелова, собрание историка, археолога гр. А. А. Бобринского и мн. др. Продолжая традицию музея, в библиотеке некоторые из именных собраний получили отдельный шифр и хранятся компактно. Всего в ГПИБ хранятся более 40 именных частных собраний, учтено около 2000 экслибрисов частных и общественных библиотек, не сохранившихся как коллекции.
Постепенно библиотека переросла масштабы музейной библиотеки и в 1934 г. согласно постановлению СНК РСФСР № 664 от 23 июля 1934 г. "О мероприятиях по обеспечению проведения в жизнь постановления ЦИК СССР от 27 марта 1934 г. о библиотечном деле в СССР" была выделена в самостоятельное учреждение и стала носить название "Государственная научная историческая библиотека" Наркомпроса РСФСР.
С 1921 г. библиотека начала получать обязательный экземпляр отечественной литературы и приобретать (позднее путем книгообмена) иностранные книги.
В 1938 г. согласно постановлению Политбюро ЦК ВКП(б) от 20 марта 1938 г. "Об организации в Москве Государственной публичной исторической библиотеки" после слияния с Объединенной библиотекой Институтов красной профессуры и рядом других небольших библиотек Историческая библиотека стала именоваться "Государственной публичной исторической библиотекой РСФСР". Тогда же она получила отдельное здание в Старосадском переулке, которое занимает и по сей день.
За всё время Великой Отечественной войны Историческая библиотека не закрывалась для читателей ни на один день. В годы войны действовали филиалы библиотеки на станции метро "Курская" Арбатско-Покровской линии, в госпитале № 2939, в Центральном парке культуры и отдыха им. Горького.
Осенью 1941 г. наиболее ценная часть фонда была эвакуирована в Кустанай и Шадринск, в Москву книги были возвращены в 1944 г.
В послевоенные годы фонд пополнился книгами, вывезенными из Германии. Ценным приобретением этого времени стала коллекция изданий по истории Гражданской войны и эмиграции, подаренная библиотеке историком-эмигрантом Я. М. Лисовым.
В 1950-х гг. в библиотеке была проведена реформа системы каталогов – с участием крупнейших ученых-историков была разработана оригинальная схема классификации литературы, на ее основе создан систематический каталог ГПИБ.
В 1984 – 1988 гг. было осуществлено строительство нового здания библиотеки - пристройки к уже существующему зданию книгохранения. В семиэтажном здании был размещен вновь организованный отдел периодики с читальным залом, хранилищами газет и журналов. Ввод нового здания позволил разгрузить основное книгохранилище, которое к этому моменту было сильно перегружено.
С 1991 г. библиотека носит официальное название "Государственная публичная историческая библиотека России".
С апреля 2014 г. в состав ГПИБ входит филиал – Центр социально-политической истории (ЦСПИ), созданный на основе реорганизованной Государственной общественно-политической библиотеки (бывш. Библиотека Института марксизма-ленинизма при ЦК КПСС).
