身体目的じゃない不倫ってありますか？

継続的な配偶者以外との肉体関係を一般的に不倫と定義していますから、肉体関係が無ければ不倫とは言えません。
但し、配偶者が自分以外との親密な交際や恋愛を認めておらず、その関係を隠蔽している時点で不貞行為にあたりますから、配偶者が知るところになり、間男、間女もどきとの絶縁の申し入れを拒絶し交際を継続した場合、離婚案件に該当し慰謝料の請求をされた場合、過去の判例からも有責配偶者となる可能性は有ります。　
要は、肉体関係の有無に関わらず配偶者に隠匿する目的は、倫理上悪いと云う自覚が有り、保身をはかる為であり、肉体関係が無い事を免罪符にしているに過ぎないのです。
同時に己の行為を、自己満足に浸りたいが為自己中心的な独善的な行為と云う事を、真実の愛とか純愛などと虚飾したいが故だとも推測出来るのです。