自分のしていることが不倫に相当するなんて全く思っていなかったのですが、皆様の投稿や回答を見ると、２人だけでご飯に行ったりドライブするのも不倫だと捉える方がいて驚

法的には性行為の有無で判断されるから、不倫とは言えない。
ただ、男女２人だけで過ごすのは、気持ちが変化し、性行為に繋がることが多いからタブーとされている。
独身者でも男女間の友人関係って賛否分かれるテーマだから、既婚者になったら関係見直しすることが多いと思う。
主や友人の現在の気持ちが永遠にずっと同じということはないだろうし、友人に至っては密かに主のことを異性として見ている可能性もあるから、不倫予備軍という位置づけだと思う。

今は、何もないから、主は罪悪感がなくて済んでいるけど、いつまでもこの関係が続くって断言できないよね？
主、友人のうち、どちらかの気持ちが少しでも変化すれば、今の関係が崩れて、不倫に進んでいく可能性は高いし、それに気付いたとしても止まれないと思う。

そもそも、ご主人がこの関係を嫌だと思っているなら関係を見直す必要があると思うな。
嫉妬深さや束縛の度合いに個人差はあるけど、大概の人は、自分の配偶者と２人きりで過ごしている異性のことを心良く思わないよ。
だから、ご主人はまともであって、まとも「過ぎる」ではないと思う。

気の置けない友人を１人失うことはとても残念だと思うだろうけど、極端に言えばご主人を捨てるか友人を捨てるかの選択だと思う。

主はどうしたいのかな？
友人を選択することもできるけど、友人として満点だとしても、異性や配偶者としては未知数でご主人よりも低い可能性もあることは覚えておいてね。
あと、友人を選択するなら、ご主人との関係をしっかり清算してからじゃないと厳しいね。相手が特定できるから、どんなに隠そうとしても調べることが容易だから。主が本当に不倫してしまって、それがご主人にバレたら、主からは離婚請求できなからね。