私の心が狭いのでしょうか？

ごめんね、どっちかというと、狭いと思います。
というか、融通がきかない、という感じですね。

日曜日は一緒に過ごす習慣があったことや、主さんが楽しみにされていた気持ちは分かります。
でも、日曜日は一緒に過ごすことを約束していたわけではないのだから、彼が自分の用事を入れても構わないのではないかと思います。
それに、約束していたわけではなのだから、事後報告でも構わないでしょう。
事前になんでも相談しろというのは、堅苦しすぎると思います。

日曜日はまたやってきます。
一日くらい、先輩と過ごさせてあげてもいいじゃありませんか。

多少の予定の変更は「有りうること」と考えておいた方がいいと思います。
あまりガチガチにやると、彼が息苦しくなってしまいますよ。

長く付き合いたいなら、もう少し柔軟に対応された方がいいと思います。