友達と食事していると私と会話している最中なのに周りの事が気になるのかキョロキョロ目が泳いでいる事があるんですが、なぜでしょうか？ とても不快に感じました。

分かります！

本人はただ気になってるだけで集中力がないんですね。
臆病な方やちょっと自意識過剰な方に多いのかなと思います。
無意識に情報を取り入れたいし、周りの刺激に敏感なんです。

自分のことないがしろにされてるみたいに感じますよね〜汗
私もかつてはそのタイプでしたが、
上記の理由の他に、ただ向かい合って
時間を共有するというのが得意ではありませんでした。
（本当はその場がとても楽しいです！）
目を合わせながら喋るのがキツいので
視線そらしながら話すこともありましたね…

今では相手の個性ととらえて、
話が成立してるならいいかなあと思うところです（笑）