お互いバツイチ子持ち同士の付き合いで 彼は子供と別に暮らしています。相手の元奥さんが彼と私の付き合いを快く思っておらず 子どもを理由に接してきます。

預ける必要があるくらいの小さいお子さんがいるなら、離婚から次の相手との交際までがまだ早すぎる（子供たちへの影響　教育・生活情緒面　等が大きい）とお考えかもしれないです。
自分の実の子と一緒に暮らせないのに　なにもわざわざ同じ子持ちの人と付き合わなくても、とか。。
交際相手として、自分（元妻）と同じようなバツイチ子持ちを選ぶ趣味の悪さはちょっと気持ち悪く感じるかもしれません。同族嫌悪じゃないけれど、同じ人の親として、女性としても子供がいるのにすぐに子供の実の父親とは別の人と付き合える神経も信じ難い　とか。

離婚から15年シングルで暮らして
子供が大学生のときに再婚した「元妻」の立場の者の意見でした。笑

おまけ：元妻も「主さんと同じ」子供を産み育てる母親なので
子供といえば自分のお腹を痛めて産んだ「血を分けた我が子だけ」なんですよ。それを、その我が子と離れてすぐに相手をすり替えて「他人の子」と過ごす　なんて
ちょっと理解に苦しみますね。