私は体が弱くたまに休んだり遅刻早退します。 体が弱い事は会社のに人は皆さん知っていてくれてとても優しく良くして下さっていましたが、最近皆さんが冷たいというかろ

体が弱い事を周りが理解してくれている＝だから欠勤遅刻早退しても何も思われない、とはなりませんよね。

どういう職種で主さんのポジションがどうなのか分かりませんが、普通仕事で穴を開けたら誰かに負担が行きますよね。
会社としては、そのフォローを誰かがして、業務に支障がないなら問題としませんが、他の同僚からしたら自分の負担が増えるんですから、あまりに頻繁ならうんざりしてしまうのも、仕方ないと思いませんか？

それと休み方というのもあると思います。
症状が分かりやすい、発熱咳・鼻水・嘔吐・下痢などなら体調不良と思いますが、倦怠感や疲労感だけでは、どこまで辛いのかも分かりません。
その中でどこまで我慢して欠勤遅刻早退するのか？
しかも出勤時間以外の過ごし方で体を労っていない様では、反感買うのも当然です。
普通は時間外の過ごし方に文句を言われる筋合いはないのですが、欠勤遅刻早退が多いなら、それを改善する努力が必要ですからね。

それと元々体力を必要とする職種なら、その選択自体が悪いという事になります。

実際の主さんがどうなのかは分かりませんが、頻繁に仕事に穴を開けているなら、周りの対応に不満をいう前に、自分の行動や言動をよく振り返った方が良いですよ。