職場の気になる男性に避けられてる気がします。 前は私がたまに出勤や退勤時間を合わせて話しかけて、雑談も増えて仲良くなれたかなと思ったら最近は全然合わなくな

考え過ぎ。あちらはあなたの好意に気付いてませんし、忙しい時に部署の違う年下社員にまで気をつかって、いちいち愛想笑いはしないでしょう。
後日、普通に対応したのはさほど忙しくなかっただけ。
忙しい時にいくらか無愛想になるのも忙しくない時には普通に社内の人に接するのも…特に当たり前の行動です。
つまりは、あなたに特別な感情はない、ということ。
その意味では、時間を合わせて話しかける行為もあなたが考えているほど、あちらは気にしてないし意識してないということでしょうね。