Ősrégi település, melyet 1198-ban a Csák nemzetség Kisfaludy ágának megalapítója II. Ugrin győri püspök kapott a királytól érdemeinek elismeréseként a szomszédos Kisfaluddal együtt, amely névadója lett a Mihályi családnak. Testvére, I. Miklós 1237-ben Izsák elsőszülött fiának adta el, és ezután is e család leszármazóinak birtoka volt századokon át. Okleveleinkben először 1223.-ban ,,terra Mihal" alakban fordul elő, majd 1359-ben ,, poss Mihaly" néven szerepel, amikor Szent György vértanú tiszteletére szentelt egyházat is említik.
A XV. század végén örökösödési szerződés útján a Vas megyei Ládonyiak szerezték meg. Egy 1470 körüli oklevél szerint a Mihályi és később a Ládonyi család a mai kastély helyén állt és fából épült udvarházban élt, melyet a XVI. század elején Ládonyi Miklós téglaépületre építette át. Ennek fia, Demeter emeltette ezután azt a kastélyt, amely 1567.-ben ,,castellum"-nak neveztek.
Az 1652. évi leírás szerint a várkastély négy saroktornyos épülettömbjének keleti oldalán emeletes lakóépület állt, a földszinten boltozott kapualjjal. A földszinti épületrészben különbözőgazdasági helyiségek, az emeleten pedig lakószobák helyezkedtek el. Ezek előtt az udvar felől feltehetően fából készített kétszintes folyosó húzódott. A várkastélyt a Kis-Rába vizével feltöltött árok övezte.
A török elleni harcokban nem szereplő várkastély 1704-ben és 1709-ben leégett. Az elhanyagolt és romos épületeket feltehetően a XVIII. század elején a Nicky család állíttatta helyre. Ekkor a keleti oldal két saroktornyát lebontották, és a ma is látható főhomlokzati részt alakították ki. A kastélyt 1860-ban Dõry Miklós vette meg, és alakítatta át romantikus stílusban.