1217-ben egy határjáráskor Szciluag formában említették az akkor még egységes falut, amely a 16. század első felében már kettévált. Nagy- vagy Felsőszilvágyon nagyobb birtoktestek alakultak ki, amelyek a Szelestey- a Zarka-, a Tallián-, Szegedy-, és a Bezerédj-családok tulajdonába kerültek. 1549-ben két nemesi kúriát jegyeztek fel a Szelesteyek és a Zarkák tulajdonaként.

Alsószilvágyon, amelyet a Kis és a Nemes jelzővel is többször illettek, köznemesi birtokosok laktak. A 19. sz végén Riedinger Károly volt a legnagyobb birtokos. 1918-ban Bezerédj Imre vásárolta meg a felsőszilvágyival együtt ezt a gazdaságot.

A Gaál-kastélyt hajdan Bezerédj Imre is birtokolta. Az épület ma romos állapotban van és a régi park maradványa is csupán néhány japánakácból áll.

Templomtörténet
A Szent Miklós római katolikus plébániatemplom elődjét a 14. században is említették. A protestánsok még 1673-ban itt tartottak kerületi gyűlést. Az 1674-es egyházlátogatási jegyzőkönyvben ősrégi, kicsi, kőszószékes, boltozott szentélyű épületnek írták le. 1769-ben történt felújítása előtt táblafödémes volt és a karzata teljesen körbevette a hajót.

A barokk stílusú, egyhajós, a hajónál keskenyebb egyenes záródású szentélyű templom négyszintes tornya a főhomlokzat előtt áll. Az órahelyes párkány felett sokszögű gúlasisak látható. A szentélyhez kápolna és sekrestye kapcsolódik. A torony alatti bejárat felett timpanonos párkány látható. A hajót két, a szentélyt egy csehsüveg-boltozat szakasz fedi. A párkányos orgonakarzatot két falazott pillér tartja. A szentélyt késő barokk oltárépítmény választja el, amelyen négy copf váza és sugárkoszorúval keretezett Szentháromság-szimbólum áll. Szent Miklóst bemutató ovális oltárképét lebegő angyalok tartják. Az oltár mögé kétoldalt kapun lehet bejutni, ahol két, címeres, klasszicista korból származó sírkő látható a falba építve. A szószék az oltárhoz hasonló részletképzésű.

1715-től vezetik az anyakönyvet, ekkor Nemesbőd is ide tartozott. Az első plébánia 1834-ben épült, amely 1847-ben és 1865-ben teljesen leégett, majd 1925-ben épült az, amelyet nemrég elbontottak. 1885-ben volt felújítása a templomnak. A belsőt 1943-ban Stefek Albin készítette neobarokk stílusban, de ennek egy részét 1969-ben átfestették, amelyből mára csak a jeleneteket ábrázoló részek maradtak meg.

A külsőt 1948-ban és 1962-ben tatarozták. Jelenleg a templom újabb felújítás alatt áll, melyet kutatások és régészeti feltárások előztek meg, ahol értékes középkori, sőt a X. századból származó leletekre bukkantak.

A templom előtt egy 1732-ből származó Passiószobor áll, az oszlop oldalán a szenvedés jelvényeivel: ládzsával, izsoppal, dorongokkal.

A két település egyesítés előtti néhány sajátossága:
Felsőszilvágyról az írott források számon tartják, hogy szorgalmas, magyar kisbirtokosok által lakott hely. Régi birtokosa a Tallián család volt. Az első világháborúba 52 főt adott a falu. Már az 1930-as évek végén rendszeres autóbuszjárat volt Szombathely felé. Postája, jegyzősége, telefon és távirda állomása Acsádon található. Élénk az egyesületek működése: Önkéntes Tűzoltó Egylet, Levente Egyesület, Polgári Lövész Egylet.

Alsószilvágy az acsádi körjegyzőség része volt "szegényebb sorsú lakossággal". A község nagybirtokosa Bezerédy Imre volt a II. vh előtt. E falu volt a Gaál család ősi fészke. Intézményei Acsádhoz kötötték, temploma Felsőszilvággyal közös volt.