L'anomenat castell de Sant Gregori o dels Margarit, és un gran casal fortificat en bon estat.
Se suposa que es va aixecar durant el s. XIII i es va refer als s. XVI-XVII.
És un edifici fortificat semblant a les cases urbanes nobles, però amb unes dimensions considerables , senyorial però al mateix temps d'utilitat per a l'explotació agrícola, amb elements de diferents èpoques, entre els que s'aprecien el gòtic civil català.
La planta baixa compta amb un sostre d'arcs de pedres mentre les plantes superiors tenen un sistema de vigues (decorades a la planta principal) que es recolzen sobres pedres.
Des del 7 de juliol de 1337 fou propietat d'una de les famílies més notables de la zona, els Margarit, que procedents del barri del Mercadal on tenien una ferreria, van comprar una propietat rural coneguda amb el nom de mas Vidal.