A orixe da familia nobre que fundou esta casa son os Sarmiento de Valladares, que foron os rexedores militares durante varias xeracións da vila de Salvaterra.

Entre eles destacamos a Jácome Sarmiento de Valladares III, que sendo maestre de campo de infantería foi nomeado polo Rei gobernador da praza de Salvaterra en tempos da guerra contra Portugal. A el débese a restauración do pazo en 1677, xa que fora destruído anos antes polo exército portugués cando invadiu a vila en 1642. Unha inscrición practicada baixo un dos escudos situados na parede do patio da casa marca a orixe da historia moderna do pazo das Barreiras:

Os últimos descendentes da casa foron homes de letras que entrelazaron vínculos con outras casas importantes da provincia. O pazo foi construído coa pedra da derruída atalaia de Santiago de Aytona, e tras esta primeira reconstrución volveu ser rehabilitada xa no ano 1979. Finalmente, pasando posteriormente a converterse na sede da adega Señorío de Lazoiro en 1996. Do pasado militar do pazo, consérvanse as antigas cabalerías e as troneiras dos muros defensivos.

Destaca o seu portalón ameado e brasonado que dá paso a un acolledor patio onde destacan o pozo, a escalinata de pedra que ascende ata o patio brasonado e a cuberta sostida por columnas de sección cadrada. Todo o pazo está nun estado de conservación moi bo. O pazo conta con tres escudos. Dous deles están situados na solaina e fan referencia aos avós e pais de Jácome III. As liñaxes Sarmiento, Valladares, Castro e Lobato figuran no escudo da esquerda, mentres que no da dereita aparecen reflectidos os Suárez, Araújo, Sotelo e Salgado. Baixo o escudo da dereita está a inscrición comentada antes. O terceiro escudo é o que se atopa no portalón de entrada. Feito en 1777, en tempos de Francisco Antonio Carballido e Sarmiento, relixioso e descendente da casa, este escudo de grandes dimensións recolle 14 liñaxes distintas que fan referencia aos antepasados do pazo.