男の子が二人（小5と小3）いるのですが、弟の方が可愛いと思えません。 真面目で手はかからないけれど、話しかけても「別に」とかのそっけない答えばかり、家族の会話

可愛げがあるタイプと、そうじゃないタイプなんでしょうね。
誰にもバレないなら、腹の中でどう思おうが勝手です。
ただ、家族なので、その感情がバレたら不味いよね。
そこだけ気をつけるしかないんじゃないですか？

うちの子は1人っ子なんだけど、生まれた時から可愛くて可愛くて、もし2人目が生まれて平等に愛せなかったらどうしようと不安になり、他にも色々理由があって2人目をやめました。
例え産んだ母親でも、何人も子供がいて全く同じ感情は無理な気がして。
だから、あなたの気持ちも分からなくはない。

子供は鋭いですからね。
親として一生バレないようにするのを責務として考えてはどうでしょうか？