В сентябре 1940 года государственный архив МАССР был переименован в Центральный государственный архив МАССР.
В 1941 году для архива была передана часть здания Иоанно-Богословской церкви на ул. Демократической. В 1948 году для ЦГА МАССР построили специальное каменное двухэтажное здание площадью 211 кв. м.
В 1958 году рядом с ним было введено в эксплуатацию новое архивохранилище на 200 тыс. единиц хранения.
С 1961 года ЦГА МАССР подчинялся Архивному отделу Совета Министров МАССР, которое в 1980 году было преобразовано в Архивное управление при Совете Министров МАССР, в 1992 году – в Архивное управление при Правительстве МССР.
В 1979 году было построено новое здание государственного архива на 400 тыс. единиц хранения.
С 1994 года архив стал называться Центральный государственный архив Республики Мордовия и подчинялся Архивному управлению при Правительстве Республики Мордовия, с 2003 года – Республиканской архивной службе Республики Мордовия.
В 2005 архив становится Государственным учреждением «Центральный государственный архив Республики Мордовия».
В 2007 году ГУ «ЦГА Республики Мордовия» было реорганизовано путем присоединения к нему ГУ «Центр документации новейшей истории Республики Мордовия».
В 2010 году архив был переименован в Государственное казенное архивное учреждение «Центральный государственный архив Республики Мордовия».
На 1 января 2019 года в ГКАУ «ЦГА Республики Мордовия» хранится 771 129 дел управленческой документации, 225 447 дел документов по личному составу, 14 187 дел документов личного происхождения, 1 кинодокумент, 34 112 дел фотодокументов, 5 269 дел НТД, 223 дел на электронных носителях.
Наибольшую ценность представляет фонд Саровского монастыря.