好きな人が子供のためとはいえ、元嫁といまだに普通に会ったりするのが嫌でどうして良いか辛すぎて。子供と会いたいだけなら子供とだけ会えば良く無い？って思っちゃうのは

もし主さんのお子さんが「お父さんとお母さんと一緒に」というのなら主さんだって元夫に会うべきですよ。
そこはお互い様だと思います。
というか、大人の思惑に人生振り回された子供が最優先で尊重されるべき問題だと思います。
主さんのお子さんも、お相手のお子さんも、この点は同じではないでしょうか。

会うと言ってもひと月にたったの数時間程度なんだから、そのくらい我慢してあげましょうよ。
子供目線で考えたら本当にわずかな時間ですよ。