私が悪いのかな？

浮気だと思います…。
浮気じゃないとしても、少なくとも主さんには言えない事。
入ったばかりの新人の女の子と付き合ってはいないけどお出かけした、とか。

一時的なもので数ヶ月で目を覚ますか、このまま本気の不倫に発展するかは分かりません。
逆ギレするタイプですから、決定的な証拠がないと浮気を認めないでしょう。
主さんがどうしたいか、冷静に考えて行動して下さい。