前の職場の部下だった人がいるのですが現在はお互い全く違う仕事をしているのにも関わらず、元上司だから子供になんかおもちゃでも買ってあげて下さいよとかお年玉たのしみ

自宅まで知ってるってのは厄介ですね。
居留守を使っているとバレても良いと思います。悪いけど用事があるから無理だと答えましょう。どんな用事？って聞かれたら、教えたくないと伝えれば良いと思います。しつこいようであればスルーしましょう。いちいち相手にしない。基本的に会わないようにして、連絡手段を携帯のみに限定。家にまで来ても玄関を開けちゃダメです。
都合よく使われて終わりです。
悪い噂を流されても、そもそも損得勘定で人付き合いをしてるような人達ですから人望は無いでしょうし、大きな被害を受けることはないと思います。
距離を取らないと、そのような人達と仲良く出来るんだと見られて、主さんの人間性を疑われることになるかもしれません。