老人虐待になりますか？

はい、アウトです。外出したいという人間を、家の中に押し込めたら、軟禁ですね。
財産を不当に差し押さえても詐取ですし、その部屋の中で何か起これば、冤罪なんて訴えても、状況証拠だけで有罪になるレベルです。検察がしくじっても、世間が許さないでしょう。
暴力を振るわなければ虐待じゃないっていう認識が、もう問題外です。
祖父母の周りに、ちゃんと世話をしようという人間は居ないのでしょうか。お金があるなら施設に入所させておかないと、今の状況で、突然死などの不測の事態になると、（例えばちょっとしたケガなどでも） 確実に警察が来ます。（病院が絶対に通報します）警察が生活実態を捜査すれば、事件性が疑われるでしょう。
何かあった時に警察沙汰になっても仕方ないと言うなら、今のままでいいと思います。家庭や施設で適切に介護されているケースでも、突然死などでは捜査が入るケースが有りますし、知識もやる気もない人間が介護すると、事故になる確率は低くはないです。