不倫て何ですか？

基本的には肉体関係がないと不倫にはならないと思いますよ。
肉体関係がある確実な証拠(対象者二人の裸の写真とか)、またはそれを安易に予見できるのを確認できる証拠(ホテルに入るところとかホテルから出てくるところとか、旅先で同じ部屋に泊まるのを確認できる何かとか)がないとそれが不倫となるかはとても微妙な線です。
肉体関係の証拠がないなら、あくまでも友達としてご飯を食べに行ったとか、そういう話ではぐらかされたりと言う感じになると思われます。