人に対する気持ちに優劣をつけられない

僕は過去の自分の生活環境やいまの職場環境、自分の性格などを踏まえて
周囲には異性が非常に多く、友達も異性がかなりの割合を占めています。
なので異性の友達を作らないのが一番楽なのは承知しているのですが
普通の生活を営んでいく上で異性が介在しない生活はなかなか構築しづらいです。
無理やりあからさまに相手を遠ざける態度を取るのは何も悪い事をしていない
相手に疎外感や嫌悪感を与えることにもつながりますしこちらも心苦しいので
なるべくしたくありません。
しかし、自分の性格上ほれっぽいのでそれはそれで大変ですし
うまくやっている人たちはどのように健全な友人関係と恋愛関係を分けているのか
非常に知りたいです。

男友達が女性のタイプや顔がどうのスタイルがどうのという話をするなか
僕にはどの言葉も響きません。なぜなら僕が女性を異性として意識するのに
顔やスタイルは一切といっていいほど関係ないからです。
「え？あんなブスとよく一緒にいられるよな！」と言われることもあるし
「あんな美人さん知ってるなら紹介しろよ」と言われることもあるし
そのどちらでも異性として相手を意識してしまう部分があり、
見た目などで自分のなかで異性として意識するかしないかのラインがほぼないぐらい
なので、その中で自分が感情を押し殺して友達でいるのではなく
平然と他の人と同じように異性と友達としていられることは稀です。
つまり一般的に意識的に見てしまう見た目などは関係なく異性であれば
意識してしまうということです。
本当にどうしようもないですよね。