Крепость Тавуш возвышается в юго-восточной части города Берд, на скалистом холме на восточном берегу реки Тавуш. Она состояла из верхней цитадели (площадью около 500 кв. м) и более обширной нижней крепости; более доступная северная сторона была защищена толстыми стенами и полукруглыми башнями, а юг — почти вертикальным утесом.
Дата постройки крепости не подтверждается никакими надписями; предполагается, что она была возведена Смбатом I Багратуни в период с конца IX по начало X века. Одним из примечательных эпизодов является восстание Цлика Амрама: согласно Ованнесу Драсканакертскому, в 921 году Амрам, наместник Ути, укрыл здесь свою семью, подняв восстание против Ашота II Ерката, чья царская армия потерпела поражение и была вынуждена отступить — отсюда и произошло народное название крепости: «Крепость Цлик Амрама».
Наиболее интересным сооружением нижней крепости является церковь Пресвятой Богородицы. Пятистрочная надпись, обнаруженная в ходе раскопок 1988 года, свидетельствует о том, что она была построена в 1019 году, разрушена в результате Гандзакского землетрясения 1138 года и восстановлена в следующем году правителем из рода Кюрики Абасом. Это небольшой однонефный зал с ризницей на юго-востоке и построенным позднее северным гавитом.
Со временем крепость переходила из рук Багратуни к Византии, затем к кюрикианцам, сельджукам и вахрамианцам, а в последний раз была осаждена монгольскими войсками в 1236 году. По некоторым сведениям, после этого монголы изъяли из крепости старинное Евангелие и выставили его на продажу; в 1238 году священник Саргис и местные верующие выкупили его и передали Ванакану Вардапету. В ходе раскопок 2020–2022 годов в цитадели были обнаружены водохранилище и фрагменты глиняных водопроводных труб.
