手渡しのお給料を頂きたい

店主が何をするかわからなくて近付くのが怖いんです…。
家の近くのラーメン屋で働いてました。私はラーメンが好きなので色々なラーメン屋に食べに行きます。近くのラーメン屋さんの店主さんとは仲良くなりました。
バイト先にもお客様として行きましたが、あんな方とは思わなかった…。
突然、辞めた時に店主が知り合いのラーメン屋さん(よく食べに行くお店)に私のよくない話を電話で言っていたんです。
おかしいって言われました。
そこで働いている方が言ってました。知り合いもそこの店主も「変な店主だね」って呆れてましたが。
そうやって、陰でコソコソやる人間なんだって考えたらますます近付きたくない気持ちになりました。何故、他のお店に私の事を言いふらすのか理解できなくて…。私も社会人として駄目でしたが、店主も同じように駄目なのではないかと感じてしまう。
行けばまた悪口を言われるんだろうなと思うと足が動かない…。
こんな店主初めてで、どうしたらいいのか解らず、お給料は諦めようとしか考えが思い浮かびません。
次に何を言われされるか怖い。