Родился в семье мещанина в городе Устюжне Новгородской губернии. Из Новгородской семинарии. 1-й магистрант LIV курса (1895-1899), оставлен в Академии профессорским стипендиантом. По окончании Академии путешествовал на Восток, в Палестину.

В 1900 утвержден исполняющим должность доцента академии по кафедре Библейской истории. Спустя год пострижен в монашество и рукоположен во иеромонаха, в 1903-1906 гг. исполнял должность инспектора Академии.

В 1903 удостоен степени магистр богословия  за работу «История Иудейского народа по Археологии Иосифа Флавия (Опыт критического разбора и обработки)» (Сергиев Посад, 1903).

В 1906 из-за конфликта со студентами уволен из МДА  и назначен настоятелем Яблочинского Свято-Онуфриевского первоклассного монастыря Холмской епархии. С 1907 - настоятель первоклассного Юрьева монастыря Новгородской епархии.

В 1909 г. хиротонисан во епископа Угличского, викария Ярославской епархии. В 1920-1921 он был назначен архиепископом Ростовским, викарием Ярославской епархии. С 1920 по 1925 г. временно управлял Новгородской и Старорусской епархией.

Во времена обновленчества он затворился в Угличском Алексеевском монастыре и оттуда управлял епархией. Митрополит Петр Крутицкий в своем завещании от 6 декабря 1925 г. поставил его третьим кандидатом в Заместители Патриаршего Местоблюстителя.

В 1926 г. архиепископ Иосиф был назначен митрополитом Ленинградским.

Но когда он выехал обратно в Ростов, чтобы проститься с паствой, вернуться в Ленинград не смог. Целый год управлял епархией через своих викариев, приезжавших в нему в Ростов.

В 1928 г. митрополит Иосиф, вместе с митрополитом Агафангелом и его викарием, подписали акт отхода от Заместителя Патриаршего Местоблюстителя, митрополита Сергия. 14/27 марта 1928 года, сессией Священного Синода было вынесено постановление о лишении митр. Иосифа кафедры и запрещении его в священнослужении; он, как раньше его викарии, не подчинился этому постановлению.

С февраля 1928 года проживал в Николо-Моденском монастыре Новгородской губернии, в 35-ти верстах от своего родного города Устюжны, затем был выслан в Казахстан. Там он прожил несколько лет недалеко от Аральского моря, работал бухгалтером на Медном комбинате.

Расстрелян под Чимкентом, вместе с митрополитом Кириллом (Смирновым).