不倫相手から別れを言われて

不倫は、女性側が面倒なことを言わなければ、長続きするので、3年間付き合ったから感性が合うとは限らないと思います。

また、主さんとの間に子供が出来た時点で、責任も取らず、家庭を守ることもしない彼は人間として最低。
奥さまのことを悪く言う主さんも醜いです。

彼は、現段階で奥さまを選んだとしても、また、戻って来ると思いますよ？
不倫って、喧嘩別れをしても寂しくて、戻るケースが多いです。

認知・養育費は取れますが、逆上した奥さまから慰謝料は請求されるかもしれません。
ただ、今まで放置しておいた問題（認知・養育費）に向き合うことになるので、彼との関係が悪化する可能性もありますよね。

この先、お子さんが成長されたら、「毎日家に来るけど、ママと結婚はしていない。パパには他にお家があるようだ」と気が付く時が来ます。
ダラダラと不倫関係は続けず、精算か、彼に結婚を迫るか、話し合いでハッキリさせて下さいね。