La fortezza di Tavush sorge nella parte sud-orientale della città di Berd, su una collina rocciosa sulla riva orientale del fiume Tavush. Era costituita da una cittadella superiore (circa 500 m²) e da una fortezza inferiore più estesa; il versante settentrionale, più accessibile, era protetto da spesse mura e torri semicircolari, mentre una scarpata quasi verticale difendeva il versante meridionale.
Nessuna iscrizione ne conferma la data di costruzione; si presume che sia stata eretta da Smbat I Bagratuni tra la fine del IX e l’inizio del X secolo. Un episodio degno di nota è la ribellione di Tslik Amram: secondo Hovhannes Draskhanakertsi, nel 921 Amram, governatore di Uti, diede rifugio alla sua famiglia in questo luogo mentre si ribellava contro Ashot II Yerkat, il cui esercito reale fu sconfitto e costretto alla ritirata — da qui il nome popolare della fortezza, «Fortezza di Tslik Amram».
La struttura più interessante della fortezza inferiore è la Chiesa della Santa Madre di Dio. Un’iscrizione di cinque righe rinvenuta durante gli scavi del 1988 attesta che fu costruita nel 1019, distrutta dal terremoto di Gandzak del 1138 e restaurata l’anno successivo dal sovrano kyurikiano Abas. Si tratta di una piccola sala a navata unica con una sacrestia a sud-est e un gavit settentrionale di epoca successiva.
Nel corso del tempo la fortezza passò dai Bagratuni a Bisanzio, poi ai Kyurikiani, ai Selgiuchidi e ai Vahramiani, e fu assediata per l’ultima volta dalle forze mongole nel 1236. In seguito, secondo quanto riferito, i mongoli presero il vecchio Vangelo della fortezza e lo misero in vendita; nel 1238 il sacerdote Sargis e i fedeli locali lo riacquistarono e lo donarono a Vanakan Vardapet. Gli scavi effettuati nel periodo 2020–2022 hanno portato alla luce un serbatoio e sezioni di condutture idriche in argilla all’interno della cittadella.
