彼氏ではないですが、知人男性が会話中、食事中などに白髪交じりの顎髭をよくしごく癖があり気になってしまいます。 この方のこの癖は、髭を生やしている男性にはよ

癖というのは厄介なもので、やっている本人にまったく自覚はないものなんですね。
また人が不快に思うか思わないかも人それぞれだから微妙な判断ですね。

顎髭を触ること事態は誰にも迷惑かける行為にはならないことで癖になってるから男性にとっては「迷惑かけてない」という感覚で普段から食事中限らず何処にいても無意識に癖で触ってる人だと思います。
まぁ貧乏ゆすりや物を食べながらクチャクチャ音を出す事も無意識にやってしまう感覚と一緒でしょうね。

本人は自覚が無いと思いますし、止めて欲しいと思って言いたいんだったら素直に伝えていいと思います。
言う言わないはその人の自由なので。