離婚した男友達とつき合うか？ 昔からの友達で、離婚してから2年くらい2人で会ったりの友達でいましたが、最近になって、養育費など金銭負担も軽くなり、気持ちも落ち

離婚ってエネルギーが凄くいることだから「不倫疑惑」なんて不確かなことを理由で離婚するっていうのは信じがたいです。
彼が完全に不倫してたか、元奥さんにも別の相手がいたか、金銭的な問題かのどれかだと思います。
結婚は勢いで出来ちゃうもんですが親や親戚や会社などに離婚すると言うのは抵抗があり、離婚はなかなか簡単には出来ないです。子供がいれば尚更に。
彼が離婚の本当の理由を故意に隠している場合もありますが、本気で真実を分かっていない可能性も。
付き合うくらいなら良いでしょうが再婚は慎重に検討された方がいいと思いました。