兄弟が私の親に家を建ててもらって、その嫁は働いてないという話題をすると 実の父は「（嫁は）お前に金くれって言わないんだから関係ない」という言い方をします。

もちろん「あんたに金くれって言わないんだから関係ない」って言っていいと思いますよ。
だって実際に主さんが働かない間もお姑さんに迷惑かけてないんでしょ？

ただし、ほぼ確実にお姑さんとの関係にはヒビが入るので、その前にご主人に「貴方に庇ってもらうのが無理なら私が自分で反論するけどいい？」って確認のワンクッションはあったほうが、夫婦関係のためにいいと思いますが。