苦手な部分があるとか、何か違和感あるとか、それは自分と合わない部分があるというか、相手の人柄や性格に対して感じる事だと思うんだよね。

でもその感じる事と、気になるとか好きという感情は別物だと思うんだよね。

気になったり好きになったけど、接してみて仲良くなって相手を知ってくると、人柄が微妙とか性格が微妙で残念だなみたいに感じる事は普通にあると思う。

つまり苦手だから、違和感あるから、それを感じた時点で気持ちが冷める場合もあれば、冷めない場合もあるというだけかと思う。

だから苦手とか違和感の程度によるのかと思う。それがさすがに無理となれば冷めると思うので、主さんの状況は相手に対してそういう嫌な部分はあるけど、まだ気になる存在ではあるという事かなと推察します。