会社の連絡網に私の番号が載ってます。私は派遣社員として働いています。前の会社で、メールのやり取りで、こじれて、怖い体験(脅迫と取れるメールが届いた)をしたので、

話してみてもいいけど腫物扱いされるだろうね。
世の中自分の都合のいいようにはいかないですよね。
あなたは派遣とはいえそこで働いていて、そしてその職場の一員としてお給料をもらってます。
何かあった時にすぐあなたに連絡が着くように、あなたの居所がわかるようにしてるわけです。
怖い思いをしたのには同情しますが、義務と権利の義務の部分で会社には連絡先は知っておく権利がありそれを社員内で共有する権利もあります。
扱いで例えるならそうですね…日本国民としてあなたの戸籍や履歴は全て、区役所でも市役所でも県庁でも全部わかるようになっています。役人なんて何万人や何十万人います。あなたの居所にアクセスできる人は限られた人だけとはいえ、それでも何千人とたくさんいるわけです。

役所がそんな事するわけないと思いますよね。でも働いてるのは人間です。
会社も同じ理屈で動いてます。社内の人だけで社外の者は知る事はできず部外者は知る事ができないです。
もちろん上司や社長に言ってみてもいいですよ。
ただ…名簿の管理は必要に応じてなされていてしかるべき立場の人に既に限定されている事が普通で、主さんの様にその名簿自体に載せる事自体を拒否したいなら…かなり行き過ぎた要求をするおかしな人だ、と思われてしまうのが多いと思います。