Пещерный монастырь Вардзиа был создан в 12-13 веках на обрыве Эрушетского нагорья.
Монастырь примечателен своим водопроводом. В 1185 году в скале был пробит тоннель длиной 3,4 километра, в котором сделали водопровод, для снабжения водой монахов монастыря Вардзиа. В среднем высота тоннеля 1,7 метра, а ширина 0,8 метра. В тоннеле ближе к скале вырублено ложе, в котором укладывались керамические трубы. Длина их была 45-47 сантиметров, а диаметр — 12,5-13 сантиметров. По этому водопроводу поступало поступало в монастырь около 160 тысяч литров в сутки. Это достаточно, чтобы напоить 5000 человек. Во время этого сложного инженерного сооружения в 1185 году строителям пришлось выполнить в чрезвычайно трудных условиях не менее 5000 кубометров скальных работ. В 1283 г. случилось землетрясение, и обрушился край Эрушетского нагорья, в котором находились пещеры и часть тоннеля.