職場で同僚が「ダウン症なら即堕ろすわ」って言ってて私はなんかカッとなって「そんな言い方しなくていいんじゃない！？世の中頑張って育ててる人もいるんだよ！不謹慎だよ

そういう事を職場で口にしちゃう人なんだなーって思うだけでよかったかもね。
職場ですし、例え「え？」と思う発言を聞いたとしても、抗議したり、反応しないのが大人の対応かな。

パワハラとかセクハラとか、「やめてください！」って声を出さなきゃいけない場面も、もちろんあるけど、
今回はあなたのお子さんやあなたの人生を否定されたわけでもないし、
聞き流した方が賢い大人だったと思います。

不謹慎な発言には、同調する必要も、非難する必要もないんですよ。