父親が働かず、家事も全くしなくてとても虚しい思いをしています。 私は現在２４歳、資格取得の為にアルバイトをしており、その中から月３万円程ですが家に入れています

資格取得の件が落ち着いたら自活しましょう。
その際、弟さんも家を出られたいいですね。
数か月後とか2年後位それくらいに。

お母さんのことは気にしなくていいと思います。
私自身、主さん位の年齢の子の母親ですが、そう思います。
お母さんがお父さんと夫婦なのはお母さんの選択です。

お母さんのことが心配なら尚更、主さんと弟さんは外へ出た方がいいです。子どもが外に出てる方が、お母さんも逃げる場所が出来るわけですから、お母さんに選択肢が増えます。

主さんは、自分ファーストでいいと思います。