彼があまりにも起きようとしないことにイライラしています。 付き合う前は、11時とか11時半くらいに集合して、ランチ～夜ごはんまでの時間を共にすることが殆ど

つまんないから帰るね、で良いと思います。
お母さんみたいに寝ている彼氏さんにいつまでも寄り添っている必要はないです。お母さんになりたくないって思ってるけど、なんていうか起きてこない彼氏さんを見守る保護者の役割をすでに果たしちゃってるので。
遊んだり楽しむための付き合いであるので、本当に何の用もないなら一緒にいる意味はないぞで良いと思います。