浮気ですよね？

私も2さんと同じ考えです！

嫌だというのは伝えるべきだと思いますが、離婚届や実家に帰るまではやりすぎかなと。今は悲しさや怒りもあるでしょうが、少し落ち着いたら主さんも後悔すると思います。

旦那さんの「やめればいいんでしょ」という発言からは、主さんの不満についていまいち納得できない様子が伺えます。「やめろというならやめるけど何がそんなにいけないんだよ」って感じでしょうか…。
そこで主さんが感情的になってしまうのではなく、ちゃんと伝えましょう。

離婚届とか簡単に出すものではないと思います、本当にこれで離婚してもいいと主さんが思っているならいいと思いますが。でも不満を伝える手段として出すだけなら、旦那さんにもどうせ本当に離婚する気などないだろうに、ていうのは伝わると思いますし、めんどくさいと思われかねないのでは？(>_<)

主さんが旦那さんの行動について嫌な感情を持つのは普通のことだと思いますよ。過去に浮気された経験があったなら尚更敏感になってしまいますよね。そういう点も含めて伝えるべきだと思います。