職場の上司と付き合っています。色々面倒なので社内では秘密にしています。なのであまり関わりすぎないようにと気にしているからなのか通常の会話でさえ避けられているよう

その女性に「彼は私の恋人です。私たち付き合ってるんです」と言えばいいじゃないですか。
私ならそうします。
そうしなければ、彼女もかわいそうだと思いますよ。
後で別方面から事実を知ったら、「私が『彼と目が合った』と喜んでいるのを見て、裏で二人で笑いものにしてたんじゃないか？」と恨まれても仕方がないですよ。
事ここに至って「職場だから隠しておく」ということを優先すべきではないと思います。

こういうことが煩わしいから職場恋愛はやめたほうがいいのだと思います。
やましいことがないのに周囲に隠さなければいけないようなお付き合いは、私ならしません。

主さんも、将来を考えている関係なら堂々とすればいいと思います。
そうでなければ今後も勘違いしてあなた方にアプローチしてくる異性は出てくるでしょう。
それは職場トラブルの原因にしかなりませんよ。