不倫から離婚に至り３年経ち、子供に会いたいと思うようになりました。 離婚後は元妻とは一度も連絡を取ることもなく子供にも会ってませんが、慰謝料と養育費は支払って

子どもには両親が必要というのは
子どもには（まともで、不倫しないで、家事育児する）両親が必要なのであって
まともではなく、不倫して、自分の子どもの出生に感情が動かない
両親ならば、不要なのです。
片親の方が「マシ」なのです。

不倫するような親に育てられて、
不倫が当たり前と思うような価値観をもつ子どもが育っても困りますし。

まあ面会は子どもの権利ですから、今度もお子さんが会いたい、
ご自身も子どもの成長を見届けたい、という気持ちであればぜひ会って欲しいですが、
自分の両親に言われて、子どもには両親が必要だと思うから、という理由ならば
会わなくていいと思います。
そもそも、そのお子さんには「両親」がいないのですから。