会いたいとか言われると辛いと言う彼の心理

単純に、主さんが寂しがっていると心が痛むのではありませんか？
会いに行けないから。

でも、不倫だと悪い方に考えてしまいますね。
いつか終わってしまうという恐れがあるし、安心も出来ないからでしょうね。
これが、普通の付き合いで遠距離恋愛とかで会えないの相手の言葉なら、寂しいけどまた違いますよね。

なんでもない事も悩みに繋がるお付き合いはやめた方が良いです。