Les gorges de Kasagh se sont formées autour de la rivière Kasagh, qui prend sa source sur les versants du mont Aragats et s'écoule vers le sud à travers la province d'Aragatsotn, en passant près d'Aparan, d'Ashtarak et d'Oshakan, avant de se jeter dans la rivière Hrazdan. Dans la partie supérieure de la gorge, la profondeur atteint environ 100 mètres.
Dans l’une des niches rocheuses creusées dans les parois de la gorge, à une altitude de 1 738 mètres au-dessus du niveau de la mer et à environ 70 mètres au-dessus de la rivière Kasagh, se trouve l’abri sous roche connu sous le nom de Geghamavan-1, orné d’anciennes gravures rupestres.
Dans une autre partie de la gorge, à environ 2 km au nord d’Ohanavan, sur la rive gauche de la gorge de Kasagh, à l’intérieur d’une falaise de tuf, se trouve l’église de Sainte-Astvatsatsin, creusée dans la roche, connue localement sous le nom de « Monastères rouges » (« Karmir Vank »). Sur les murs de l’église Sainte-Astvatsatsin, on a pu conserver des ornements géométriques rouges et des croix sculptés au XIIIe siècle, d’où le nom populaire donné à l’ensemble.
