障害基礎年金を支給されていて、そんなに病状も悪くないとしたらあなたは働きますか？

私は障害者厚生年金を支給されてます。
医師からは働けるとなると貰えなくなると言われました。短期間くらいにしなさい。と
私は発達障害があります。人と上手く接する事か出来ません。目をあわす事も苦手です。
仕事をしようと考えて短時間で挑戦しましたが、途中から行けなくなりました。上司とももめて辞めました。
それからは家にいるこもってます。
今の状態で普通に暮らしていけるなら仕事はしなくてもいいのではないですか？年金だけでは足りないのですか？