政府はいつになったら無性別（性自認が無性別の人も内摘可能、戸籍の性別空欄化）を認めてくれるんだろう…MTFは今後手術なしでも女性と認めるみたいな動きがあるのに…

いわゆる「見た目が中性ではない」と言う事でしょうか？

いずれにせよ、公衆浴場なら浴場のルールで、
入って良い方に、入れば良いと思います。
それが社会のルールですから。

申し訳ないかどうかの最終判断するのは利用者ではありません。
施設責任者です。
社会のルールを守った上で、迷惑を感じると言うなら、
感じる方の感性の方が、社会に合っていないと言う事です。