出社初日で自分には合わないと思いました。辞めてもいいと思いますか？

少なくてもここでは主さんの職場を知ってるのは主さんだけですからね。それに他人にとってすごく良い職場でも、それが他の人にとってもすごくいい職場になるかは別です。
迷惑にはなるし、嫌な顔もされるでしょうね。じゃ、迷惑にならないため、相手に好かれるために今の職場で我慢して働くことがいいのか。すぐやめたら否定されるから周りの言うように我慢して長く働けば本当にその先に素晴らしいことが待ってるのか。そんなこと誰にもわかりません。
そもそも否定してる人は誰もが羨むような満足いくような仕事や働き方してるのかも不明です。
はい、主さん自身を信じて進みたい方向へいけばいいと思います。