批判覚悟で吐き出させてください。この前、職場の方と二人きりで飲みました。お互い既婚者です。私とは歳は20くらい離れています。職場では、人数も

なるほどです。
結婚して異性から家族に変わる時が一番浮気に走りやすいのではと個人的には思います。
夫婦生活も減りがちですし。

今回のことは、おもにあなたではなく旦那さんの問題かもしれません。

「浮気しても良いよ」って本心なのでしょうか？
自分勝手な部分があり怒るかもしれないなら尚更本心では無い印象を受けます。言葉をストレートに受けない方が良さそうです。

それからこれも聞いたことがある事なのですが、
子供時代に父親に大切にされなかった人は、浮気に走りやすい傾向があるそうです。

あなたと旦那さんの年齢が離れていること、
彼とあなたの年齢が親子でもおかしくない年齢なのが気になるところです。