なぜ周りの人じゃなく芸人さんや声優さんと話したいと言って話すと周りに構われなくて困った人と言われるのでしょうか？ 実際周りに来られても怖くて避けています。

子どもの頃から好きで、思い入れがあるのは全然良いと思うけれども
友達や恋人の候補ではありませんよね？
そもそも、プライベートの姿すら知らないわけだし、一緒に食事へ行ったり、デートをしたり、そういう対象ではないと思います。

芸人さんも、仕事中は仕事中の顔、プライベートではまた別な顔があるはずで、それはどの芸能人でも人間として当たり前のことです。
そしてその、仕事とプライベートの線引きを、無視してズカズカと乗り越えるべきではないよ。
そこは、ファンならばちゃんと理解してあげないと。