仕事に対する姿勢についてです。 職場の先輩いわく、私がある業務に対してやりたくないと言っていたということから、その業務内容から外されることがありました。他

一言でいうと、主さんって気難しい人だなと思いました。
主さんは「私は人間関係が悪化するのが怖い」といっていますが、周囲の人からすればこれほど付き合いづらい人はいないと思います。

やりたくない業務から「やりたくないならいいよ」と外してもらえたわけですよね？
それはどう考えたってあなたの為を想った好意です。
「ありがとう。苦手なことをやらずに済んで助かった」ってまず思うのが普通だと思うし、私が私なら「わがまま言ってすみません。でも助かりました。ありがとうございます」っていうけどな。
周囲に「主さんが『苦手』っていうから外されたみたい」って噂されてもその通りなんだから、誰かに直接聞かれても、私なら「そうなんです。●●先輩が庇ってくれて、有難いと思っています」ってしおらしく頭を垂れるようにしますね。

「苦手なことなら極力無理させないでおこう」と善意で配慮してもらったのにこの上文句言うんですか？

あなたは自分のことをまるで「人間関係に対して繊細過ぎるところがある」と考えているようですが、客観的には真逆だと思います。
繊細な人なら、自分に善意を向けてくれた人に対しては何をおいてもまず感謝すると思うし、人間関係を大切にする人でもやはり受けた恩に対してはきちんと感謝すると思います。
でもあなたの場合、そこは完全スルーで
「『やりたくないんだろうな』の一言で片づけられたら悲しいと相手を故意に避ける」「先輩から他の社員に広まったら」「バカにされたら」って全部「自分、自分」になっている。
ものすごく思考回路が自己中心的ですよ。
そのことにまず気付くべきだと思います。
特に、一方的に理由もわからず避けられた先輩の心が全く傷ついてないと思いますか？
そういう思いやりすら持てていないのならあなたは「繊細」とは対極の、ものすごく無神経な人だと思います。

>>裏で言うなら面と向かって言え
風潮ではなくその通りだと思います。
ですが、それは話す内容が失礼かどうかとはまた別の問題です。
先輩に面と向かって言うことが失礼なのではなく、あなたが言おうとしている本音が人としてひどすぎると思いますよ。

少しは自分のことを客観視しないとダメです。
あなたはものすごく付き合いづらい厄介な人です。
先輩がそれを今まで表に出してこなかったのはあなたを傷つけないようにするための思いやりでしょう。