子供はいらないと思っているから結婚して5年くらいになりますが、子なしです 出来たら育てるか くらいの気持ちでいます。 どっちかというと要らないですが、出来た

会わせなくていいと思います。

ご主人はきっと健全な環境で育った優しい人なのだろうと勝手に想像して
孫が可愛くない人なんているはずがない、祖父母は孫にとって大好きで大切なものだって疑いなく思っているのかな、推察しますが
仮にご主人の考えが正しかったとしても、子どもの一番はいつだって母親です。
子どもにとって、母親が笑ってくれる場所以上に安心な場所はないんです。

だから主さんが不幸になる場所に、子どものために無理をしていく必要なんかないですよ。

私が主さんなら、その状況でわざわざ孫を連れて実家に帰るときは
許してもいいと思えるようになったときです。
一生そういう気持ちになれなかったら、一生連れてはいきません。