職場で同僚が「ダウン症なら即堕ろすわ」って言ってて私はなんかカッとなって「そんな言い方しなくていいんじゃない！？世の中頑張って育ててる人もいるんだよ！不謹慎だよ

その言葉を聞いてあなたが発した言葉はおかしくもなんともないですよ。
多分大多数の人が同じように思うと思います。
そう思わなくてもそういう事を言う事自体に違和感感じますよね。

反論されたのは元々そういう事を平気で言う人だから、そんな人なのでしょう。

あなたも自分の考えに自信を持って。
そんな人の為に自己嫌悪に陥らなくてもいいですよ。