告白されたのですが、一つだけ今のままでは受け入れられない面があるので、それを配慮するように約束するのは失礼ですか？ ずっと好きだった人で、一度私が告白して

普通に良いと思いますし、普通の女性なら彼氏として付き合うのには不向きな人物でしょう。
軽い、チャラいは結構…女性達からは不人気です。それは主さんが感じるように同じ事と、浮気しそうで怖いというのもあるので、お付き合いするにはかなりの勇気がいるでしょう
チャラい、軽い人とのお付き合いは正直に言ってしまえば大変です。

私は不安を持ちながら付き合いたくはないから、お断りするけどね。
まぁ良くも悪くも後は彼の気持ち次第です。貴方がいい恋愛が出来るかどうかは。
だから本当に付き合うのなら、言ってもいいと思う。
むしろそこまで軽くてチャラいような奴は、言わないと好き勝手やりそうです。

（そういうところが嫌で、付き合うか迷ってたの。偉そうに言うのもごめんなんだけど、守れるなら付き合ってもいいと思ってる。でも守れないなら付き合う自信がない）ってちゃんと言葉で伝えることが大切です。