Construída cerca de 1732 pelo Capitão-Mor de Faro Baltazar Rodrigues Neto que, oriundo de Portimão, chegava a Faro onde necessitava de habitação de acordo com a sua condição. Aqui viveu igualmente o seu neto o Coronel Francisco José Moreira de Brito de Carvalhal e Vasconcellos casado com D.Rita Efigénia de Lima Botado, Açafata de D. Maria I e de sua nora a Princesa D. Carlota Joaquina. O extenso quintal desta casa era conhecido pelo Jardim da Mouraria, remanescência do antigo bairro medieval.

Esta função de Açafata, deu a designação a esta construção simétrica barroca de dois pisos, rematada por cimalha e beirado. O andar nobre apresenta nove janelas de sacada, valorizado pelos enrolamentos laterais dos vãos e pelo brasão da família (esquartelado: I- Neto; II-Pereira; III-Coutinho e IV-Brito). O citado Coronel Francisco José Moreira de Brito de Carvalhal e Vasconcellos era filho de Fernando José de Seabra Neto, Mestre de Campo, opulento morgado algarvio e de sua mulher e prima D.Mariana Victória de Brito e Castanheda (neta de António Moreira de Barbudo Batávias, Coronel e Governador de Vila Nova de Portimão). Ainda no século XVIII, Francisco José Moreira de Brito Pereira do Carvalhal e Vasconcellos, foi administrador dos três morgados instituídos pelos reverendos licenciados Fernão Neto, Baltazar Rodrigues Neto, prior de São Pedro de Faro, cónego Marcos Rodrigues Neto e pelo tesoureiro-mor e coadjutor da sé de Faro, João José Baptista de Oliveira assim como do morgado da Quinta da Casteleira em Lagos, que tinha sido dote de casamento dos pais, Fernando José de Seabra Neto e D. Mariana Vitória de Brito e Castanheda e da capela instituída em Tavira por Matias Pereira de Vasconcellos. Fez assento principal nas casas de morada de Faro e que por sua vez já havia herdado de seu Pai. O referido Coronel surge algumas vezes como Francisco José Moreira Pereira de Carvalhal Vasconcellos Brito Osório Batávias de Pereira Coutinho. Terá sido este o fundador do Morgado de Estói, que assentou praça de cadete no Regimento de Faro, sob o comando do Coronel Jacques Fillipe de Landerset, sendo igualmente Cavaleiro da Ordem de Cristo e promovido, após a morte de seu pai, ao posto de Marechal de Campo, tendo então como principal rendimento o morgado de Lagos. Foi bisneto do citado Baltazar Rodrigues Neto, Fernando José Moreira de Brito Pereira de Carvalhal e Vasconcellos responsável pela construção, em meados do século XIX, do conhecido Palácio de Estói. A casa manteve-se na posse desta família da nobreza urbana até à sua venda, em finais do século XIX já que o último morgado, José Maria de Carvalhal e Vasconcellos, morre sem descendentes.