離婚した方が良いのか？

離婚はありだと思いますが、もう少し奥様と話し合ってみては？

主さんは奥様の連れ子さん達を養子縁組し、経済的にも充分尽くしてこられたと思います。
だから主さんの自分のお子さんとも堂々と充分に付き合いたいという希望を、しっかり奥様に要求する。
しっかり伝え、それでもそれを気持ち良く受け入れない奥様なら、もう離婚で良いと思います。
奥様のご両親が何と言おうと関係ないです。
奥様も自分の子があり、奥様のご両親も自分の子があり、皆、自分の子が可愛い。
それなのに主さんが子を思う気持ちを理解しないのは絶対に納得出来ないし、主さんが遠慮する事もありません。

私も主さんと同世代で、独立した20代半ばの子供ありです。
残りの人生、もう穏やかに過ごしたいものですよね。