自室があるパパさん、またはママさん

おかしいとか、そういうことではなく、入ってこられるのが嫌な人もいるでしょうね。
好みや考え方の問題だと思います。
旦那さんが嫌だと言うなら、お子さんには入らないように言えばいいのではと思います。
特に説明は、必要ないでしょう。
「お父さんは、お部屋では一人になりたいんだって。」と言っておけばいいと思います。

夫婦や家族でも、相手の好みや考え方は尊重するものだと思います。

ちなみに我が家には、旦那専用の部屋がありますが、子どもの出入りは自由です。
息子がパパっ子で、旦那が部屋でパソコンをしている間ピッタリへばりついていて、
すっかり操作を覚えてしまいました。
旦那の部屋にあるマンガを詠むのを楽しみにしていますが、必ず旦那に断ってから
部屋に入っています。