私はどういう対応をすればよかったのでしょうか？ 彼氏とこの前仕事終わりにご飯を食べにいきました。 彼氏は次の日休みでしたが、私は次の日も仕事で疲れていた

付き合っていてもはっきり断っていいんですよ。
疲れていたり、気分がどうしてものらない日もあります。明日の都合だってありますし。
セックスするならお互いに気遣いって必須だと思うんですよね。
どちらかの都合や欲を押し通してするものではないですから。

彼氏さんも無理にはしないと言いながら結局自分の欲望を優先したようなので、気持ちが冷めてしまうのも仕方ないと思います。
もし彼氏さんのほうも慣れていなかったんだとしたら、次からは嫌だと言ったらやめてほしいことをちゃんと伝えて様子を見てみるのもいいかもしれません。
もし慣れているんだとしたらお付き合い自体を考えちゃうかな。