ГА РФ был образован Распоряжением Правительства России от 28 апреля 1992 г. в результате объединения ЦГАОР СССР и ЦГА РСФСР. Указом Президента РФ от 24 января 1995 г. архив был включен в Государственный свод особо ценных объектов культурного наследия народов Российской Федерации.

Документы советского времени стали впервые концентрироваться в Государственном архиве РСФСР, образованном в 1920 г., а именно в IV его отделении – Архиве Октябрьской революции (АОР), который в 1925 г. стал самостоятельным архивом. В 1925 г. ГА РСФСР был расформирован.

В 1931 г. АОР переименовывается в Центральный архив Октябрьской революции в Москве (ЦАОР). Тогда же на базе его фондов образован Центральный архив профдвижения (ЦАПД).

ЦАОР был переименован в 1938 г. в Центральный государственный архив Октябрьской революции (ЦГАОР СССР). Его официальное название было вновь изменено в 1941 г. на Центральный государственный архив Октябрьской революции и социалистического строительства (ЦГАОРиСС СССР). Перед войной в апреле 1941 г. архив принял на хранение фонды ликвидированного Центрального архива профдвижения, а в 1946 г. - документы Русского заграничного исторического архива в г. Праге (РЗИА), который был образован в 1923 г. и в межвоенный период являлся крупнейшим хранилищем документов русской эмиграции. Впоследствии разные части коллекций РЗИА были распылены по многим государственным архивам и музеям всего Советского Союза (ок. 30 хранилищ).

В июле 1961 г. ЦГАОРиСС ликвидируется, и на его базе создается Центральный государственный архив Октябрьской революции, высших органов государственной власти и государственного управления СССР (ЦГАОР СССР). Из его состава для вновь созданного Центрального государственного архива народного хозяйства (ЦГАНХ СССР, ныне РГАЭ) были выделены фонды советского периода по экономической истории. Тогда же в состав архива были включены фонды упраздненного ЦГИАМ. В составе фондов ЦГИАМ, существовавшего с 1941 г., в ЦГАОР поступили материалы Новоромановского архива, а также часть фондов из быв. Петроградского историко-революционного архива, перевезенных в Москву в 1924 году. До 1961 г. ЦГАОР являлся хранилищем документов только советского времени, после реорганизации в его составе было образовано два крупных отдела – советских и дореволюционных фондов. Присоединенная основная часть фондов ЦГИАМ составила в ЦГАОР отдел дореволюционных фондов.

ЦГА РСФСР был образован в 1957 г. на базе фондов центральных учреждений РСФСР, а также фондов, переданных из ЦГАОР СССР в этот архив начиная с 1923 г.

Начиная с 1992 г. ГА РФ хранит документы учреждений Российской Федерации.