常に周りのことを考えて行動や態度に表すように気を付けています。 が、悪口などを言わないと、腹黒いと言われ、きつい言い方をすると毒舌などと言われます。 言い方

これは特定の人に言われるんですよね？
グループのリーダー的存在の人とか？
それでもその人たちと付き合わないといけないのであれば、自分から悪口や意見を言わずに「そうだね」とか「そんなことがあったら辛いね」と同調するだけでいいと思います。
詳しく意見を求められた時は「その人とあまり付き合いがないからよくわからない」と返事するのはどうでしょう。