そろそろ限界です。

１８歳まで主さんが育てわけではなく、そこから引き継いで、今、もう23歳ですよね。
母親の役目がほぼ終わった状態から、引き継いでるわけですし、そんな状況では無理があります。
離婚を切り出したりして、自分を追いつめて、自分の人生を無茶苦茶にしてまで、母親としての責任を果たす必要はないですよ。
無理な事は無理であきらめも必要だし、余裕のある範囲でやれば良いですよ。