すれ違う時… 普段あまり「ながら歩き」をしない人が、 ・こっちの顔を見た瞬間携帯を取り出す ・ずっと携帯見てすれ違う一瞬顔を上げて目が合った瞬間すぐ下

主さんが無意識かもしれませんが、その人を見過ぎで、その視線に気づいているため、
嫌いだから見ないで欲しいというアクションをしているのではないでしょうか。
逆にさらに意識させてしまっているけれど…
その人が普段はながら歩きをしないことを知っていますしね。
何度もやられているのは、目が合うのは相手だけでなく主さん側からも見ていないと成立しないので、相手が見ないで欲しいとアクションしているのにまだ見てくると思っているのかも。
その人は何か特徴的な見た目をしているのでしょうか。他人の視線を敏感に嫌がる人もいますし、主さんの方から見ないよう意識してあげてはどうでしょう。