これだけで判断すると厳しい。
その物件がどんなのかがわからないし、あなたの資産もわからない。
まだ人生40年くらい残ってるけど、その物件がずっと満室であるかもわからないよね。
不動産なんて、維持費がかかるし、持ってるだけでお金が飛んでいくものだから、リスクがかなりあるもの。
人気物件で、手放すのが簡単で、いつでも処分できて、金額も大きいのであれば、話は別かもしれないけど。
これだけでは何が安泰かはわからない。

投資用物件の規模や状況が分からない。
首都圏築浅なのか？田舎なのか？
物件は1つなのか？物件の大きさはどれくらいか？
大規模修繕はいつかは絶対必要になるが
シュミレーションをしてみたらどうでしょうか？

貯金があまりないというのも
人によって差がある。
あまりないが2000万の人もいれば
5000万の人もいるし。
50万もあり得るし。

これでは回答が難しい。

収入源は投資でもサラリーでも何でもいいけど、家賃収入とバイトのみで生活したいってことですよね？
それが手取り40万円、年収にすると、600万前後？

主さん1人ならアリだと思いますが、家族持ちで、将来どう育つかまだわからないお子さんもいて...となると、私が妻なら、もしリタイアするならバイトをもっとフルでやるくらい頑張って欲しい。と言います。
リタイアの意味ある？てことになっちゃいますが。

余談ですが、私の身内が親の代から6戸くらいの小さめのアパート経営してます。
外壁塗装で200万～300万とか、屋根まで入れたらウン百万とか、共有部分の修繕にウン百万万とか、その他諸々、必要な工事や修繕とか結構大変だと言ってました。
10年に1度くらいの修繕もあるでしょうし、築浅ならもっと頻度も低いのかもしれませんが、古くなるほどかかるし、かけないと入居率も下がります。
自宅も投資住宅も、不動産って維持費かかりますよね。
自宅の維持費だけで大変と思ってる人が多いのに、他の不動産もとなったら結構心配。

それ不動産所得で手取は？所得税、住民税、固定資産、都市計画税、国保等頭に入ってますか？

主さんはこういうとこで重要な決断を相談するような位置にいる人には思えないんですが

家賃収入の推移が安定してかつ想定外のハプニングにも対応できる頭脳と対応力が備わってるのであれば、奥様とも話し合った末で思うように行動されたらいかがでしょう？
（私には高いランクのところでうまく立ち回ってきた人のその後など想像もできないのでアドバイスできません）

もっと働いて子供の学資保険払ってあげれば。

もっと働け…子供がいるなら働かないといけない…日本経済がおかしいなか、中東で戦争始めやがった…これから更におかしくなってどん詰まりになるかも。インフレ加速してお金の重さで売買なんて事になるかもね…

アルバイトして月40万円なら、会社員として定年まで働いて給与＋賞与＋退職金＋家賃収入（家賃収入は改修のため貯金に回す）で、老後は厚生年金＋家賃収入で暮らしたほうが楽な気がしますけどねw

まだまだお金はいるよ
これからもっと物価上がるから
投資用の物件のリフォームもビックリするほど上がる
余裕を持っていなきゃ