貧乏と言われ、何故か解らない。

洋服も使い捨てられる程度の安値な物を着、靴やバッグもノーブランドを使用、地味で質素な物を身に付けています。

↑パートさんの知ってること。

皆と昼食に行かないのは、経営者サイドとして、縦分ける様にしているだけですし、マイポット持参も、自分の好みの濃さのコーヒーが飲みたいだけ。
それなりに現金も持ってます。主人もローンが嫌いなので、いつでも現金払いです。車でも何でも。それでも現金は有ります。
ローンも無いし、家も同居だけどまだ新しいから買う必要ない。

↑パートさんの知らないこと。

見た目と普段の行動だけで判断されてるだけですよね。
いちいち気にしてたらきりがないと思います。
ひとを見た目で判断するなとかいうけどできない人間がいるからそんな言葉があるわけで。

そのパートさんの言い方がわからないのでバカにしてるのか軽い冗談なのかわかりませんが、お互いのコミュニケーション不足が原因じゃないでしょうか。