大学２年の時に妊娠しました。当時、彼よりも好きな人が居ましたが、その人のことは諦めて産む決心をして彼と結婚しました。 子供が生まれた頃は家庭も順調でしたが

元夫は離婚時どんな酷いことをあなた（または子ども）にしたのでしょうか。
とにもかくにも、子どもの実際のお父さんがその元夫であることは変わりないので、会うことに関して、周りがどうのこうの言えないのではないでしょうか。子どもも子どもなりに考えての行動だと思いますし…
それに、現夫（今のお父さん）に対してと、元夫に対しての感覚は全く別にものではないですか？元夫に会いたいからって、現夫に感謝してないわけではないですよね、きっと。
お子さんを信じて、任せてあげたら良いかと思います。