一番辛かった時に、支えてくれたのは夫ではありませんでした。 流産した時は飲み会へ行き、悪阻の時はおれは役に立たないからと実家に帰され、出産の時は寝坊で連絡

思い遣りのない旦那様ですね。
辛い時に、寄り添って痛み分けする事もなく逃げる方。

私が主さんだったら、
話合って和解・お互いに別の解決方法を提案・譲歩できないなら、それまでセックスなんて２度としない。
元より、旦那様は支え合う気がないなら離婚します。

お子様を第一に、と言いたい所ですが、主さんの心が壊れないよう、自身を大切にして下さいね。
我慢し続ける事が、旦那様への愛情では無いと思いますよ。