На этом месте некогда стоял каменный идол Велеса. Благодаря апостолу Иоанну Богослову, который явился сюда после молитвы отшельника Авраамия и дал ему жезл, был сокрушён идол.
Древнейший по времени основания православный мужской монастырь в Ростове. В прошлом, как и многие русские средневековые монастыри, имел облик монастыря-крепости, но крепостные стены были утрачены.
Перед походом на Казань царь Иоанн Грозный совершил паломничество сюда и взял желз Авраамия. После взятия Казани по обету, в 1553—1555 годах, он построил в монастыресобор во имя Богоявления Господня.