どうしても納得いかないので皆さんのご意見をお聞かせ下さい。 高校を卒業して車を買いました。 その時の担当さんとかれこれ20年、車のお付き合いになります。

人の気持ちを考えられないとあなたみたいな人になっちゃうんでしょうね。
一度、その奥さんから連絡が来た時点で先を見て考えられるものだと思うんですが悪い事してないから関係無いとのような姿勢を継続させてしまう。

自分がされても気にしない、とは実際婚姻関係も持っておらずその奥さんの立場に立てないから理解しがたいだけだと思いますが二度も誤解を受けているのに何故その本人に話をしないんですか？
奥さんも心配するので今後は仕事以外の付き合いは辞めさせてもらうと一言いうだけで済む話なのに、何だかその営業マンの好意を気付きつつ心地よい気持ちを優先させているのではありませんか？
こちらに好意がなくとも周りから好意を受けるのは誰でも嫌な気持ちしませんからね。

けれど、ここまで相手の家庭をギクシャクさせてしまっているなら行動を見直しそれまでの繋がりを避けるはずなんですけどね。
もしかして そうなってる事少し楽しんでいません？
迷惑とか言いながら。

いくら２０年来の友人関係に発展していてもそこまでなったら距離置きますけどね。
奥さんの味方が多いと意見されていますがこれって一般的な考えだと思いますよ。
例えあなたはそうでは無いと言っても一般的に誤解されると言われているなら普通なら一線引いてそれまでの関係性を辞めますせんか？