Государственный архив Рязанской области ведет отсчет своей истории с 1884 г., когда была создана Рязанская губернская ученая архивная комиссия. Именно РУАК положила начало созданию Рязанского губернского исторического архива, как собрания документального наследия Рязанского края.

Новый этап архивного строительства начался в 1919 г. на основании декрета СНК РСФСР от 1 июня 1918 г. «О реорганизации и централизации архивного дела РСФСР» и «Положение о губернских архивных фондах» от 31 марта 1919 г.

В 1921 году для руководства архивами губернии было создано управление губернским архивным фондом.

На основании «Временного положения ВЦИК СССР о губернских архивных бюро» от 20 ноября 1922 года и постановления губисполкома от 27 февраля 1923 года Рязанский губернский архив, подчинявшийся исполнительному комитету Рязанского губернского Совета, был преобразован в Рязанское губернское архивное бюро, просуществовавшее до 1929 года.

До 1 сентября 1923 года поступило в ведение губернского архивного бюро и сконцентрировано в архивохранилищах 320 архивных фондов: 159 – в Рязани в 9 архивохранилищах и 161 – в уездных городах в 20 архивохранилищах.

С 1929 года в связи с новым административно-территориальным делением губернское архивное бюро было переименовано в Рязанское окружное архивное бюро Рязанского округа Московской области. В 1930 году – Рязанское отделение Московского областного архивного управления, а с мая по сентябрь 1937 года – Рязанский архив Московской области выполнял функции управления архивным делом.

С образованием в сентябре 1937 года Рязанской области изменилась и структура архивных органов. В соответствии с постановлением организационного комитета ВЦИК по Рязанской области от 23 октября 1937 года и отношением ГАУ от 15 декабря 1937 года с 1 января 1938 года Рязанский архив Московской области был реорганизован в Рязанское областное архивное управление, в ведении которого находились Рязанский областной исторический архив и Рязанский областной архив Октябрьской революции.

Положение СНК СССР о Государственном архивном фонде СССР и сети государственных архивов от 29 марта 1941 года послужило основанием для объединения Рязанского областного исторического архива и Рязанского областного архива Октябрьской революции в Государственный архив Рязанской области, который находился в ведении архивного отдела УНКВД Рязанской области.

С 1961 года Государственный архив Рязанской области и архивные учреждения из Управления внутренних дел перешли в ведение органов исполнительной власти.

В 1991 году в состав ГАРО вошел партийный архив Рязанского обкома ВКП (б) – КПСС, созданный в 1939 году.

С 1991 года Государственный архив Рязанской области и архивные учреждения области подчинялись Архивному отделу администрации Рязанской области, а с 2004 года – Архивному управлению администрации Рязанской области, а с 2008 года – Главному архивному управлению Рязанской области.