Мужской монастырь устроен в сер. XVII в. при Спасской церкви, сооруженной в XVI в. у камня прп. Аркадия Вяземского (XII в.), выходца из Вязьмы, позже переселившегося в Торжок. Позже упразднён, в 1779 сюда переведены инокини закрытого Ильинского монастыря, поселённые в богадельне при храме. Снова получил монастырский статус в 1832, к нач. ХХ в. довольно многолюден. Закрыт в 1922, занят под жильё, позже часть строений разобрана. В 2017 принято решение о передаче сохранившихся зданий Аркадиева монастыря Церкви.

Среди принадлежавших монастырю строений - построенная в 1630-х кирпичная Спасская башня вяземской крепости - единственная из уцелевших башен.