私は不倫の末、離婚をしました。子どももいましたが、もちろん親権は元旦那です。現在もそのお相手とお付き合いをしていますが、相手も二人の子供を持つシングルファザーで

距離を置きつつ、彼氏さんと定期的に会うというのはどうですか？

ご自身を「最低」だと短所を自覚されているようなので正直な感想を申し上げれば、不倫した他人の女性が近くにいる状態は子供にとって精神衛生的に良い環境とは言えません。あなた自身、そのお子さんを「邪魔」と思っている。尚更関わるべきではないと感じます。

相手のお子さんのこともありますし、両家の親族を交えて一度話し合いの席を設けるのが良いような気がします。