彼を傷付けるような言葉を言ってしまいました。私は21歳で彼は20歳です。バイト先で彼からアタックされ、付き合ってはいないもののかなりラブラブな関係でした。

まぁ、あなたのしたことは完全に八つ当たりですね。
ご家庭が大変なことは分かりました。
でも、その事情と彼とは関係ありません。
彼を傷つける言葉を言ってもいい理由にはなりません。
なので、バイト先に言いふらさないでほしいと伝えたい気持ちは、あなたの一方的なワガママでしかないです。
彼だってあなたに言われたことに傷ついて、誰かに相談したくなったのでしょう。それがバイト先の方だっただけです。
諦めましょう。