Forsamlingshuset blev opført som sognets største skole i 1916. Der var 2 klasseværelser og bolig til 2 lærere.
Kastager Gamle Skole, der endnu ligger, blev solgt til beboelse.
Skolen der blev oprindelig bygget i 1794, og det var Sognepræst Peder Rhode der fik skolen bygget, trods megen modstand fra den daværende besidder af Vintersborg.
”Husmændenes og fæsternes børn skulle arbejde og ikke spilde tiden med at gå i skole.” Sådan var tiderne dengang.
At Sognepræsten fik gennemført skolebyggeriet i Kastager medførte for ham en del fortrædeligheder fra Herremandens side. ”han er mig fjendsk, fordi jeg har hjulpet til med at Kastager fik en skole,” skriver Peder Rhode i kirkebogen.
Den nye kastager Skole fungerede indtil Centralskolen i Utterslev blev bygget.
Derefter blev det Forsamlingshus.
Kilde Sognepræst Ivan B.Hansen