娘夫婦から四年くらい前に、子どもが生まれたら落ち着いた環境の中で子育てをしたいからと、母親の私の実家(土地、家ともに私の両親名義)を建て直して一緒に暮らしません

新築のローンを娘の夫が負担しているとは言え、初期費用の半分以上を主さん側が負担していること、土地自体は主さんまたは主さんのご両親？が名義なんでしょう？
出ていけと言われても、出ていく必要は無いですよ。

他の方のアドバイスがあった様ですが、娘さんの夫に相談されてはいかがでしょうか？

因みに、お子さんは娘さんだけなんでしょうか？
他の兄弟姉妹がいるなら、そちらに相談されてもとも感じますが。
あと、主さんにはご主人は？