職場の男性（20代）に手紙を渡しました。 事前に嫌なら渡さないので、、と彼に聞いたら、嫌じゃないです。と返事だったので、翌日くらいに渡しました。 渡

質問者さまはおいくつでしょうか。
その男性の対応からして、
あなたを見ていたのは好意的な目ではなく
俺のこと見られてないかな…と不安な気持ちがあったのかもしれません…。

すみません、すべて私の勝手なイメージですが
私だったら苦手な異性から好意を感じたら
その人に見られていないか不安になったり、
手紙をもらったら怖いのでやはり上の人に相談するかもしれません。

完璧に拒否のような態度を取られているようですので、
もうその男性には近づかない方がお互いにいいと思います。
職場で手紙を渡すとかは正直今の時代怖いと思います…。
厳しいことを言ってしまい申し訳ございません。