「お世辞を言わない」と言うのは悪い事なのでしょうか？ 私は人に何か感想を聞かれた時、お世辞抜きで正直に答えています。 本を進められて感想を聞かれた時

言い方だね。
無理にお世辞を言わなくてもいいし、正直に言うのはいいけど、勧めた人にとっては良いと思ってるものだから否定に繋がるような言葉選びは避けた方が無難かも。

私にはまだちょっと難しすぎたけど、理解できたらきっと面白いんだろうね。

薄味に慣れちゃってるから味付けが濃く感じたけど、味自体は美味しかったよ。

とか、いろんな言い回しがあるからね。

好きじゃない。
合わない。

って、割と強い拒絶の言葉だから、それは確かに気をつけた方が良いかと。
その言葉を使わなくても、自分の正直な感想を伝える事は出来るから。
相手を不快にさせない言い回しを身に付けると楽になるよ。