妻が私に、 ｢同じ部屋にいると心がざわざわするので別の部屋に行って下さい｣ と子供の前でも平気で言うのですが、妻にとって私が生理的に受け付けない存在

寝室とは別に自室を与えるのが良いと思います。
仲良し家族でも、ふと ひとりになりたい「時がある」ってよくきく話です。
家事部屋というか 書斎みたいな、少しでもひとりになれる個室が家族全員にあれば そんな哀しいやりとりはなくなるのでは？と思います。既にあるのならすみません。
うちは そのように（夫婦と子供たち ×寝室と居室）いつかのために用意しています が、まだ ？ だいたいみんな居間にいますね。
なにかひとりで作業をしたりするときには「〇〇をするからちょっと篭るね〜」等も稀にあります。

家族でも あまり無理をして ずっと側にいると息が詰まる相手もいるのかもしれないですね。