法律に詳しい方お願い致します。 離婚した元夫がいます。元夫が子どもと面会した際、義理親に対して電話をし、子どもと義理親が電話していることがわかりました。

子どもがその電話によって

「悪事をそそのかされている」
「親の悪口を聞かされている」
「子どもの存在を否定されている」

等、子どもにとって不利益だったり、命の危険を感じるもの…じゃない限り、拒否は難しいかもです。
離婚の時に公正証書書きました?そこに祖父母面会について明記しました?

もし祖父母面会（交流）がいやなら、元旦那さんと話し合って、祖父母交流について協議して、公正証書に追加した方が良いです。