彼が前に配慮がないことや傷つくことを色々言ってたことで、あのときのあれって、などと聞くと、それ本当にオレが言ったの？などと言われ言った本人は覚えていません…

他の方の回答（複数）読んでびっくりしました。
私はそんな男性とは付き合ったことはありません。
もちろん些細な「そんなこと言ったっけ？」はありますよ。
例えば「彼氏君は小学校の頃このアニメが好きだったんだよね？」「あれ、俺その話してたっけ？」とか。
でも「料理が好きと聞いていたのに年に数回」（料理するかしないかは客観的事実であり事実と反する発言を故意にしたのなら嘘）とか「配慮がない」なんて一歩間違えば暴言なのにそこまでの言葉を言った状況を覚えていない（自分の発言に無責任/相手の気持ちに無神経）とか、人としてあり得ない。
言葉の軽い、信用できない人として敬遠するようにしてきました。

平気で付き合える人ってよほど相手に不誠実さを補って余りあるほどの魅力を感じているんでしょうね。
私ならいくら時間を重ねても話を重ねても信頼関係が構築できないのでナシです。

主さんがモヤモヤしているのは、今まで信じてきた「彼」像が虚構だった、本当はどういう人なんだろう？っていう気持ちが芽生えているからだと思います。
私は好きだと思っていたけど、実際の彼は一体どういう人なのかわからなくなってしまった、ということかと。

きちんと話をしてあなた自身見極めたほうがいいと思いますよ。
私はきちんと話してしばらく様子を見た上で、どうせ後で「そんなこと言ったっけ？」になると感じた人は男女問わずそのまま疎遠にしています。