これは窃盗に当たらないのかわからないので教えてください。 私は今結婚しており、旦那と二人でアパートに住んでます。 実家には94歳になる祖母に母と父と姉の4人

法律的な話をします。

結論として、
窃盗(刑法235条)に当たります。

しかし親族間だと(国家が刑罰権行使するより親族間で解決した方が良いとの配慮から)刑が免除される特例(刑法244条1項)があり免除される可能性がありますが、犯罪自体は成立します。

そして特例が適用になるかですが、叔母さんが、(同居していないそうなので)所有者であるお祖母さまの直系の娘であればこの特例の対象となりますが、お祖母さまの息子さんの妻だと特例の対象とならず刑が免除されません。

ただ、所有者のみならず占有者との親族関係をも満たしたときに特例が適用になるので、お祖母さま以外の占有者、所有者が認められる物は別途、その人と直系血族であるか検討が必要です。

その辺は弁護士とかに聞けば分かると思いますが。

とにかく、叔母さんの行為をやめさせたいならば警察に訴えた方がいいと思います。
警察に訴えれば、親族の方の告訴があるとなり、検察官が起訴できるようになります。(刑法244条2項)

長々すみません。主さんのお悩みが、解決すると良いのですが。