老人虐待になりますか？

本当に介護が必要な時に、そんなチンピラの様な身内を頼るのが間違いなのです。と言っても高齢者がパートナーの介護をしながら、適切に公的な支援を受けるというのは、ハードルが高い。
あなたが取るべき行動は、あなたが徹底的に戦って、責任を持って祖父母を施設に入れ、キーパーソンとなって、きっちり関わっていく。
そこまでの労力がさけないなら、今の状況はやむ得ないものと受け入れ、一切関わらないことです。
中途半端に関わっていくということは、最悪の結果になります。
不適切な介護の元では、高齢者はみるみる衰えます。不適切な介護が不本意な結果を招けば、誰かが必ず責任を負うことになります。介護という世間の関心の高い事案で、その責任を逃れることは難しいことです。