付き合って4年以上(その前から何年も友人)の彼とは、趣味も合いお仕事のお手伝いもしたり、時にケンカや意見言い合いもしますがずっと仲良しです。たまに偶然街で遭遇し

まだ20代の若造ですが、奥様がいる時点で彼にとってあなたは二番目なのでは？と感じます。

あなたが一番に好きなら、離婚して一緒になっているでしょうし。都合の良い女としか思えません。

あなたがこそこそ付き合いたくないと思っているのならば、それをストレートに彼に伝えるしかないのではないでしょうか。その後の展開があなたにとって良い方向に転ぶとは思えませんが…。