私が悪かったのか教えて下さい。 １週間くらい前に同じマンションの挨拶する程度の方から急に、「服をあげたいから暇なときにいつでもいいのでこの番号に連絡下さい。」

『いつでもいい』=『本当にいつでもいい』
って訳じゃない。
貰うにしろ、断るにしろ、出来れば2、3日のうちに連絡すべきだったと思います。
１週間も放置されちゃいるのか、入らないのか分からないから。
まあ、別に服の話をした訳でもないのにいきなり古着を押し付けられそうになったなら、その人が変わってるのかな？と思うので気にしなければいいですよ。