19歳男性です。私の親は一度離婚(嫌いになったとか、喧嘩が絶えなかった訳ではなく、互いの環境の違いでの離婚でした)していて、小5のときから一度母子家庭になりまし

ここは年齢差別があるようなので年齢を隠して投稿しましたが、私は主さんの親の世代より更に上です。自分が実の父親または育ての父親になった両方の立場で考えてみました。
難しいですね。お互いが互いにいいようには言わないのが普通というか、よくある話ですからね。
しかし、やはり主さんの気持ちを最優先させるのが正義ではないでしょうか。ここでは正解は出てこないかもしれませんが、隠れて会うとか主さんにとって理不尽なこともあると思います。
いずれにしろ本来は主さんは悩むことではなく、大人たちの勝手なことから来る矛盾であることを念頭に入れて、考えてください。これは対立しろということではありません。嘘も方便、嘘がバレても堂々としてください。嘘がバレて表面上は謝っても内心では自分が正しいのだと思ってください。