La forteresse de Tavush se dresse dans la partie sud-est de la ville de Berd, sur une colline rocheuse située sur la rive est de la rivière Tavush. Elle se composait d'une citadelle supérieure (environ 500 m²) et d'une forteresse inférieure plus vaste ; le versant nord, plus accessible, était protégé par d'épais remparts et des tours semi-circulaires, tandis qu'une falaise quasi verticale défendait le versant sud.
Aucune inscription ne confirme sa date de construction ; on suppose qu’elle a été édifiée par Smbat Ier Bagratuni entre la fin du IXe et le début du Xe siècle. Un épisode marquant est la rébellion de Tslik Amram : selon Hovhannes Draskhanakertsi, en 921, Amram, gouverneur d’Uti, y mit sa famille à l’abri tout en se rebellant contre Ashot II Yerkat, dont l’armée royale fut vaincue et contrainte de battre en retraite — d’où le nom populaire de la forteresse, « forteresse de Tslik Amram ».
La structure la plus intéressante de la forteresse inférieure est l’église de la Sainte Mère de Dieu. Une inscription de cinq lignes découverte lors des fouilles de 1988 indique qu’elle fut construite en 1019, détruite par le tremblement de terre de Gandzak en 1138, puis restaurée l’année suivante par Abas, souverain de la dynastie des Kyurikiens. Il s’agit d’une petite église-halle à nef unique, dotée d’une sacristie au sud-est et d’un gavit nord ajouté ultérieurement.
Au fil du temps, la forteresse passa des mains des Bagratides à celles de Byzance, puis aux Kyurikiens, aux Seldjoukides et aux Vahramiens ; elle fut assiégée pour la dernière fois par les forces mongoles en 1236. Par la suite, les Mongols auraient saisi l’ancien Évangile de la forteresse et l’auraient mis en vente ; en 1238, le prêtre Sargis et des fidèles locaux l’ont racheté et l’ont offert à Vanakan Vardapet. Des fouilles menées entre 2020 et 2022 ont mis au jour un réservoir et des sections de canalisations d’eau en argile dans la citadelle.
