男色家、で爆笑され疑問

レスを書いて下さりありがとうございます。まだ全てのレスを拝見しておりませんが、説明が足りない部分があったかもしれないので補足です。
同僚が男色家でいらっしゃることは、件の上司も含め部署の人間はおそらく皆知っています。同僚が入社してすぐに、たびたび周知なさっていましたので。おそらく話好きな方なのでしょう。特に恋愛話がお好きなのでしょう。
私個人は同僚の恋愛について特に何も思いませんし、何か意見を申し上げたこともありません。業務にも一切関係の無いことですし。（失礼な言い方になってしまいますが、その同僚に対して関心がないので。職場仲間としての礼儀は尽くしますが。）

上司には真面目な話の際、必要にかられて「彼は（あなた様もご存知でいらっしゃいますが）男色家でいらっしゃるので」と真顔で申し上げました。上司は大爆笑なさり、私は狐につままれたような気持ちになりました。
切手収集家とか愛妻家と違い、男色家は言ってはいけない言葉だったのかな？と単純に疑問でした。私は育ちが悪く無学で無教養な為、恥を忍んで皆様にお伺い致しました。