車に軽く当たってしまったんですが 急いでたし「大丈夫です」って通り過ぎようとしたら降りてくるから走って逃げたら 「待って！当たってたから！当たってたから！待

当て逃げって軽く擦っても適用されるからね。
逃げたら犯罪者です。

あなたが歩行者であったとしても、車に凹みが出来れば加害者になり得ます、逃げれば尚立場が悪くなります。
凹みの修理についても保険が適用される為には、警察通して事故の状況が証明されなければなりません。

あなたに用事があるように、相手にも用事はありますし、更に手続きが色々と増えるのです。
どうしても立ち去りたいなら、十分な修理費を示談金として渡し、車に当たったことについては一切事故として被害者として申し出ることは無い等の念書を添えて、車の人に負担は掛けないことを形に残して、やり過ごすしか正当な方法はありません。

甘く見すぎていると、いつの間にか犯罪者扱いになりますよ。