好きな人に『ごはん行きましょ』と、思いきって伝えました。彼の返事は『今はバタバタしてるから、頃合いを見て行こ！』とのこと。これって断られてるのか、脈がまだあるの

脈があるかって、少しは期待できると思ってるから誘いたいってことじゃないんですか？
それ以前に、相手には奥さんがいて生まれたばかりの赤ちゃんまでいる人です。ご飯だけ行けば満足？
１度２人で食事しました。これで満足！ありがとうございましたってなりますかね？主さんだけでなく相手も含めて。最初から不倫相というよりは、そういう軽い気持ちから不倫って始まるものだと思いますけど。

というか、ご飯だけ行くくらいなら良いじゃんとでも思ってるなら、まずは相手の奥さんに言えますか？何も悪いと思ってないと言えるならできるはずです。
ご自身を正当化しようとしても無理ですよ。
みな不幸になるだけだと思います。主さんも含めて。
どうかその彼や奥さんや赤ちゃんのためにも諦めてほしいです。自分の欲のために巻き込まないで上げてください。
主さんだって、もし結婚して子供もできた時、旦那さんが隠れて他の女性に誘われて２人で食事行ってたらどう思いますか？