自分のしていることが不倫に相当するなんて全く思っていなかったのですが、皆様の投稿や回答を見ると、２人だけでご飯に行ったりドライブするのも不倫だと捉える方がいて驚

どちらかが既婚の場合は男女の友情って滅多に存在しません。大体過去にどちらかが好きだったことがあるとか、どちらかが内心異性として見ていたりするからです。
その他大勢で会うなら良いけど、わざわざ二人きりで会う理由がわからない。
既婚の場合、一番大切にすべきなのは友達では無く家族です。
なのでその家庭の仲がおかしくなるようであれば友情は成立していません。
どちらかの家庭がおかしくなりそうなのに「友人だから」との言い訳してでも会いたいと思うなら、それは純粋に友人では無く依存や恋心です。