会社でもしかしたら、 陰口言われてるかもとか実際どう思われてるのか…休みの日は色々悩みますが、 いざ会社の中で仕事するときは目の前の業務を淡々とこなし、

私も転職したとこです。
明るく対応されてて尊敬します。
私は忙しく余裕もないので無愛想この上ないです。。

うちは古い人たちばかりだし、たちも良くないようなので陰口言ってると思います。
目の前で言われたら、謝るなり反論するなりできますが、陰で言われてても何も出来ることないですよね。
世間話の一環だと気になさらないのをお勧めします。相手が誰でも何かしら言ってると思います。