彼氏が連絡を返さなくなります。 疑問文や話の途中で返事が返って来なくなり、2-3日後に電話すると「連絡来ないなと思ってた」とか、「疲れてた」とか言われました。

主は途中と思ってても彼氏の中ではその話題は既に終わってるんじゃない？
また、用事がないと連絡してこないだけでは。
そもそもLINEで毎日やり取りしたい人もいれば、必要時のみで満足な人もいますから。
彼氏からLINEや電話がくるときもあるなら受け身ではないでしょう。その点は被害妄想すぎ。

明確な理由を知りたいなら直接聞くしかないです。