人の心がわからない義両親に孫を抱かせたくない

ついこの間は、たまに実家に帰らせてもらおうとしたら
『淋しいぃ～。○○(義姉の子)と○○(私の子)が一緒じゃないなんてダメよ～。』
と本気で涙を流されました。
そしてもう一つ切ないのは、結局毎日一緒にいる義両親にはどんどんなついていくけど、たまにしか会えない私の両親には泣いてしまう事です。特に今は人見知りもあり本当に辛いです。
どうしてここまで相手の立場を考えられないんだろうと、人生の先輩ではありますが呆れます。もうさわらないでほしい。２人の孫を見て笑っている顔を見るたびに、やるせない気持ちになり、なかなか顔すら見せてやれない両親に申し訳ない気持ちになって辛いです。
もう、頭が変になりそうです。助けてください。