部下との関係に悩んでます。

問題は確信に触れない事ですかね。
会社への不満はないか？から話をし始めて、上司として職場改善に勤める義務もあるから率直に聞くけど俺の事に苦手意識あるかどうだ？と聞けばどうでしょうか。
二人の時がいいかとも思いますが他の社員同席もふまえて主の信頼できる仲間や奥さんにアドバイスを求めていいと思いますよ。
率直な意見だから反論しないで主が咀嚼して聞く姿勢と悪く見られているなら反省する姿勢も必要にもなります。一番は部下も理由があり、嫌がる事は正しいと思い込んでる訳ですから聞き分けないと対立だけに論点が向かうのはＮＧですよね。ただあなたの早とちり、意識し過ぎ！な事もあるかもですよ。

仕事のオンオフでガラリと変わる女性も珍しくないですし、褒めて伸ばす方がいいのもあると思いますのでそういうのも気兼ねなく言える環境作りにしていくのが理想かもしれません。

要望ばかりで疲れてしまうレスですみません。良い方向に展開するよう願ってます(^^)