本当に失礼な話で申し訳ないんですが、職場でろくに話もしてないのにこの人無理と思う相手がいます。そう思うからか相手も私にはあまり心を開いてないと思います。 でも

私はバイト先で、主さんと同じ状況です。
私も話せる相手とはとことん話すのですが、例の苦手な人に関しては、初対面で無理って思ってしまい、５ヶ月ぐらい一緒にバイトしてても苦手意識が消えず、壁を作って接してしまいます。
とりあえず、業務上で必要な会話だけは何とかできるから、それでいいと思っています。
合わないと思う相手と無理に仲良くする必要なんてないと思います。