母方の祖父に私、私の子供(1歳)、私の父のコトを人間じゃない、落ちこぼれ、人間として終わっているようなコトを言われました。 事の発端は私の子供が1歳半

ひどいなぁ。。。おじいちゃんが病んでるよ。。。

意気地なし、大人しかったり、泣く奴は人間じゃない！と言う言葉。
すごく不自然ですね。この言葉通りに読み解くならば、

憶測ですが、構ってほしいのではないでしょうか。
ひどいことを言うことで、怒ってほしい。ブチキレてほしいのでは？
ほらひどいことを言ったぞ？こんだけ言ったら流石に怒るだろ？
怒らない？？感情がない！人間じゃない！みたいに拍車がかかっているんじゃないかな。
頼れる身内が娘婿と孫とひ孫。彼にとっては他人同然。
近い身内がいないことに不安を覚えているんでしょう。
そーじゃねーよジジイ。逆効果だっつーの。と思う。
憶測だけどね。そういう年配の人を何人か見てるからそうかなって。

一度ブチ切れてあげるか、「大丈夫だよ、おじいちゃん、わざわざそんなひどいこと言わなくてもおじいちゃんのこと見捨てたりしないよ♡」と核心をついてやるとかはどうでしょう？それともお望み通り「孫とひ孫にそんな暴言吐く人こそ人間じゃない」って真っ向勝負してあげます？