Die Festung Tavush erhebt sich im südöstlichen Teil der Stadt Berd auf einem felsigen Hügel am östlichen Ufer des Flusses Tavush. Sie bestand aus einer oberen Zitadelle (ca. 500 m²) und einer größeren unteren Festung; die leichter zugängliche Nordseite wurde durch dicke Mauern und halbrunde Türme geschützt, während eine fast senkrechte Felswand den Süden verteidigte.
Es gibt keine Inschrift, die das Errichtungsdatum bestätigt; man geht davon aus, dass sie zwischen dem späten 9. und frühen 10. Jahrhundert von Smbat I. Bagratuni erbaut wurde. Eine bemerkenswerte Begebenheit ist der Aufstand von Tslik Amram: Laut Hovhannes Draskhanakertsi brachte Amram, der Statthalter von Uti, im Jahr 921 seine Familie hier in Sicherheit, während er gegen Ashot II. Yerkat rebellierte, dessen königliche Armee besiegt und zum Rückzug gezwungen wurde – daher der volkstümliche Name der Festung: „Festung von Tslik Amram“.
Das interessanteste Bauwerk der unteren Festung ist die Kirche der Heiligen Mutter Gottes. Eine fünfzeilige Inschrift, die bei Ausgrabungen im Jahr 1988 gefunden wurde, belegt, dass sie 1019 erbaut, durch das Gandzak-Erdbeben von 1138 zerstört und im folgenden Jahr vom Kyurikianer Herrscher Abas wiederhergestellt wurde. Es handelt sich um eine kleine, einschiffige Halle mit einer Sakristei im Südosten und einem später angebauten nördlichen Gavit.
Die Festung ging im Laufe der Zeit von den Bagratunis an Byzanz, dann an die Kyurikianer, die Seldschuken und die Vahramianer über und wurde 1236 ein letztes Mal von mongolischen Truppen belagert. Danach sollen die Mongolen das alte Evangelium der Festung an sich genommen und zum Verkauf angeboten haben; 1238 kauften es der Priester Sargis und örtliche Gläubige zurück und schenkten es Vanakan Vardapet. Bei Ausgrabungen in den Jahren 2020–2022 wurden in der Zitadelle ein Wasserspeicher sowie Teile von Wasserleitungen aus Ton freigelegt.
