小学4年の息子が居てる母子家庭ですが，私は彼氏いてますけど世間体からしたらどう思いますか

別に何とも思わないです。
子供を放ったらかしで彼氏にのめり込んでるなら問題ありだと思うけど、そうじゃないなら別に。
ただ小4って色々難しくなるし、特に男の子ってお母さん大好きだったりするから、彼氏に大事なお母さん取られちゃったなんて気持ちにさせない様に十分気をつけた付き合い方が鉄則かと。
将来的に再婚まで考えてる相手なのか、単なる彼氏としてなのか…にもよって、子供巻き込んだ付き合いなら慎重に行動した方が良いとは思います。