義実家から「もう孫連れて来なくていいよ」と言われました。 義妹に子供が産まれたから、もう嫁の産んだ子なんていらないよって事でしょうか？ 夫に相談しても、

その、「頑張ってる」感がすごく伝わっちゃってたんじゃないでしょうか。
無理してるな、無理させてるな、って。

良いように受け取るなら、「無理してることに気づいてくださったんだな、気を使ってくださったんだな」と思うといいと思います。
そうして、主さんの無理のない頻度で伺えばいいと思います。

ちょっと嫌な言い方すれば、来てもらう方としては無理してイヤイヤなら来てもらわなくてもいいかな、と思っちゃう面もありますよね。
だから、主さんの無理のない、頑張らなくていい頻度で。

物事は、悪いように取るより良いように解釈した方がいい。
相手にしたら「伝わってないな」と思われることがあるかもしれないけど、それくらい鈍感に生きたほうが幸せですよ。
以前よく言われた、「鈍感力」ですね。