私は現在25歳の男性です。2016年に大学を卒業して体調不良で介護職の内定を辞退。2016年4月～9月までアルバイト、2016年10月～12月契約社員として働き

主さんは御自分の事をよく理解していますね、そこまで理解していればはっきりした病名か納得した答えが知りたいのもわかります。

私は専門家でも何でもないのでごめんなさい。
うつ病と言ってるその医者はヤブ医者ではないですか。
セカンドオピニオンを受けたいとその医者に申しでてはどうでしょう。

あなたの一生に関わることですし、結果次第であなたの人生かわっていくかもしれません。
何かしらの障害があるのかもしれないけれど、大学を卒業出来る能力があるのだし、若いのだから諦めないで頑張って下さい。