家が裕福だと意地悪言われるの普通なの?

経験からの話です。

親がお金を持っている（と思われている）と、質素にしていても華やかにしていても、何かしら言われるものです。あまり相手にしないで、スルーをしている方が良いと思います。

それから自分と違う生活環境の人には、親からやって貰っている事を聞かれていないのにイチイチ言わない事です。
例え主さんにその気がなくて事実を話しているだけでも自慢していると受け取られるし、余計な神経を使って疲れますよ。下手すると集ろうとする人も現れます。