El origen de la familia noble que fundó esta casa son los Sarmiento de Valladares, que fueron los regidores militares durante varias generaciones de la villa de Salvaterra.

Entre ellos destacamos a Jácome Sarmiento de Valladares III, que siendo maestre de campo de infantería fue nombrado por el Rei gobernador de la plaza de Salvaterra en tiempos de la guerra contra Portugal. A él se debe la restauración del pazo en 1677, ya que había sido destruido años antes por el ejército portugués cuando invadió la villa en 1642. Una inscripción practicada bajo uno de los escudos situados en la pared del patio de la casa marca el origen de la historia moderna del pazo de las Barreras:

Los últimos descendentes de la casa fueron hombres de letras que entrelazaron vínculos con otras casas importantes de la provincia. El pazo fue construido con la piedra de la derruida atalaya de Santiago de Aytona, y tras esta primera reconstrucción volvió a ser rehabilitada ya en el año 1979. Finalmente, pasando posteriormente a convertirse en la sede de la bodega Señorío de Lazoiro en 1996. Del pasado militar del pazo, se  conservan las antiguas caballerizas y las troneras de los muros defensivos.

Destaca su portalón almenado y blasonado que da paso a un acogedor patio donde destacan el pozo, la escalinata de piedra que asciende hasta el patio blasonado y la cubierta sostenida por columnas de sección cuadrada. Todo el pazo está en un estado de conservación muy bueno. El pazo cuenta con tres escudos. Dos de ellos están situados en la solana y hacen referencia a los abuelos y padres de Jácome III. Las linajes Sarmiento, Valladares, Castro y Lobato figuran en el escudo de la izquierda, mientras que en el de la derecha aparecen reflejados los Suárez, Araújo, Sotelo y Salado. Bajo el escudo de la derecha está la inscripción comentada antes. El tercero escudo es lo que se encuentra en el portalón de entrada. Hecho en 1777, en tiempos de Francisco Antonio Carballido y Sarmiento, religioso y descendiente de la casa, este escudo de grandes dimensiones recoge 14 linajes distintas que hacen referencia a los antepasados del pazo.