泊まりの約束を無しにされました。お互い正社員で働いていて休みも合いません。私の方が仕事に余裕があるので時間を調整したり私なりに努力して関係構築をしています。

お付き合いされてどのくらいでしょうか？

お付き合いが進むと相手との距離が近くなり過ぎて、遠慮がなくなったり、わがままになったり、気遣いが疎かになったりします。
そして大抵、両方が、自分の方が相手に合わせているとか、自分の方が気を使っているとか言います。

私は距離が近くなり過ぎたせいだと思います。お相手の事が基本的に好きとのこと。少し離れてみるのは不可能ですか？
連絡を取らないとかそういう話ではなく、精神的に距離をとるという話です。