介護職しています。　 男性スタッフに女性蔑視の人がいます。外面はいい人ぶってい…

介護職しています。　
男性スタッフに女性蔑視の人がいます。外面はいい人ぶっていますが、自分の事をたなに上げて人の容姿を見下す、非人格権です。先日もテレビで知名度ある会社で女性が男性上司にセクハラ受け、裁判沙汰になったニュースが流れていて。
男性スタッフの口から「大した事されてない。ちょっと触っただけでこんなに事を大きくして、」という発言。普段、そのスタッフ曰わく普段から「女性はいいですよね。お金に困ったら身体があるから」的な発言をする人。
そばでそんな事言われて、頭に来て咄嗟に「そんな事ないですよ。貴方の奥さんがされていたら嫌ですよねー」とやんわりと反論したら、珍しく黙りこんでしまいました。
その時はスルー出来ませんでした。
しかし、その後どうでもいい事に仕返しされましたが。
因みにこの男性スタッフは70過ぎのシニアヘルパー。今の職場を立ち上げた数人の中の一人。
他のシニア女性ヘルパーは女性なのに、いつも同じ土俵に立ち面白がって聞いてるだけ。時には下品な話しに乗っています。
以前より、私はシニアヘルパーからうざがられていますが、私がその方達の分の仕事もしています。要は私より断然昔から居るのに、事務仕事出来ない。手の掛かるご利用者のケアが出来ない。私にしわ寄せきています。
若い私が、やんわりと指示もしています。
今後も上記のような場面沢山あると思います。

反論した私はいけなかったでしょうか？
今後の事、アドバイスください。