職場の女性に差し入れ持って行ったら「気を使わなくていいよ」って言われました。 迷惑だったかな？

そうかもしれないし、ただ申し訳ないと思っただけかもしれないし、それは普段のあなた方の関係性によるんじゃない？

俺も差し入れするけど、ありがとうございますって毎回受けとる女性もいれば、お返しできなくて申し訳ないのでって言う女性もいたよ。ちなみに上記の女性たちは、元直属の部下。今でも仲はいい方。

女性もいろいろだから、次に持っていった時に何て言われるかで判断してみてはどう？