元々はダブル不倫から始まりましたが、お互い本気だったので、離婚を得てシングル同士として今はお付き合い中です。 確かに関係が関係なだけに複雑で色々な悩みがありま

その経緯じゃひたすら我慢するしかないんじゃない？
相手のお子さんは見知らぬおばさん（＝主さん）のせいでもっと我慢してると思います。
まだ子供なのに大人の事情を色々受け入れさせられて想像を絶する我慢を強いられてるはずです。
あなたも親なら、その位は理解できますよね？
自分でした結果なんだし、あなたは大人なんだし、相手のお子さんのためにそのくらいは我慢するしかないんじゃない？
そのお子さんから父親母親のいる日常を奪ったんだから、たまに両親と一緒に過ごす時間まで奪ってはいけないでしょう。
毎回たったの数時間なんだし。

もし今その相手と結婚を前提に考えているのなら、結婚後もその人は一生そういう関係を続ける/続けなければならない人なんだと良く覚悟しておいた方がいいですよ。
その人もその人の元妻も、離婚する際に親として話し合った上で、親である責任を果たそうとしているだけだから。
相手の子の人生にあなたの主観（もう会わないで欲しい、母親には遠慮してもらいたい）が入り込む余地はありません。
子供の権利ですから。
たとえあなたの事情（元夫とお子さんの関係）がどうあろうと、相手のお子さんには全く関係がないことなんだから。

>>元々お互いの家庭では、離婚秒読みだったほどの関係で、
相手の家庭が実際のところどうだったのかなんて、真実は相手とその元妻にしかわからないと思いますよ。
もし仮に主さんが聞かされていたように「離婚秒読み」レベルに仲が悪かったのだとしても、世の中、我が子のために仮面夫婦を貫く夫婦は珍しくありません。
あなたの相手男性と元妻にはそもそもそういう覚悟があったのかもしれません。
少なくともそういう話し合いはきちんとできる夫婦関係だったのは間違いありません。

いずれにしろ、相手男性のお子さんが望む限りこれからもずっと家族そろっての面会は続くでしょうし、その後もその子の結婚や出産など折に触れてあなたのパートナーは「父親」であり続けるでしょうし、「祖父」にもなるでしょう。

「自分たちはそういう問題がを抱えたカップルだ」と早く気が付いてよかったですね。
いい機会だと思って、そういう相手でも結婚してやっていけるのか、自分でよく考えたほうがいいです。
そういう相手だと受け入れられないのなら、結婚しないほうがマシかもしれませんから。