私の祖父が…

私の祖父は、何年か前から私の母親のことを「お前の母親はバカだ」とか、私にすごく悪口を言ってきます。
私は母のことが大好きなので、それがすごく許せなくて、「おじいちゃんの方がバカだっ」って言い返します。
父親に言ってもどうしようもない、と対処してくれません…。
今まで色々言い返して来ましたが、変わりありません。
どうにかしてやめさせることは出来ないでしょうか…母が可愛そうで仕方ありません…(;_;)