腰に手をまわす

他の方も仰るように、主さんの気持ち見透かされてるから相手はそんなことしてきたのではないでしょうか。
主さんが望めば、友達以上の深い関係になると思います。
望まなくても、連絡を取り合ううちにそうなっていた、なんてことにもなりかねません。
そうなった時、主さんは強い気持ちで拒否出来ますか？
そうならずとも連絡を取り合っていただけで奥様に疑われた際、どう弁明されるおつもりですか？
下心があって近付いてくる女性なら、奥様は快くは思わないでしょうね。
あえて考えられ得る悪いパターンをいくつか挙げました。

先のことを考えて、早いうちに他の男性に目を向けるべきです。