仕事か家族か

それをそのまま奥様に伝えてみては？
仕事が大変なのに、家帰ってそんな態度だと帰る気をなくすって。

お互い言いたい事も言えてないような状況で、先に離婚が浮かぶのって私からしたらすごく違和感を感じます。
それくらいで頭に離婚が浮かんじゃうのはダメですが、奥様の態度だってダメだって事を分からせた方がいいですよ。

帰宅が22時過ぎなんて、別にそこまで遅くないですし…。
帰宅した時、お子さんたちはもう眠ってますか？
4才と1才の子がいたら、奥様も今が子育てストレスのピークかもしれませんし、話を聞いてあげるだけでも違うと思いますよ。
億劫がらずに、夫婦の時間を少しでも取って意思疎通をする事です。