自分のしていることが不倫に相当するなんて全く思っていなかったのですが、皆様の投稿や回答を見ると、２人だけでご飯に行ったりドライブするのも不倫だと捉える方がいて驚

旦那さまのご理解があるならば、いいのかな？と思います。
でも、やはり家庭を持つ身となればそのあたりは配慮しなくてはいけないと思います。
ふたりだけでなく複数人数で合うとか・・・
私も男友だちがいますが、二人きりで会う事って滅多ないです。用事があればその用事だけで、一緒にお出かけやふたりで食事などはしません。またみんなで飲もうね！程度ですかね。

結婚しても、「男友達とふたりきりで出かけている」となれば、その他ご家族や知人からよくは思われないでしょう。ふたりの関係を知っている人にしかその関係は分からないですからね。