夜に子供がおもちゃを片付けなくて私が怒り、それを聞いていた旦那がため息つき、そのため息何と言ったら、もう夕食も洗い物も済ませお風呂入る前、私の事がムカつき狂った

問題の精査をしましょう？
片付けをしない
夜子供を連れて外に出る
暴力
全て別ですよ。
全て同じにするから一つも解決しないんです。

現在、過去、問題、理由、結果、其々を整理して話をする事をお勧めします。
落ち着かせるための外出に対し、過去の話を持ち出したらご主人もたまったもんじゃないです。
現在も暴力があるならすぐに通報してください。