自分のしていることが不倫に相当するなんて全く思っていなかったのですが、皆様の投稿や回答を見ると、２人だけでご飯に行ったりドライブするのも不倫だと捉える方がいて驚

男性と2人で遊びに行くだけでは不倫では無いですが、恋愛関係は全くないということを立証する必要がありますね。
それができない限りは周囲から疑われても仕方がない。
それはもう気にするかしないかっていう話でしょう。

ご主人がいい顔をしないってことなら、結婚してからも男友達と遊ぶことを容認してくれるような人と結婚すればよかったんじゃないでしょうか？
他の方も書いてますがパートナーの嫌がることをしないというのは、家族関係の安定に必要なことです。
今のご主人との結婚を選んだのは主さん本人ですし、それを今更不満に思うのはおかしいと思いますが。