シングルマザーの方について質問なのですが、旦那さんがおらず、一人で生活費を稼いだり、子どもの世話をしたりして過ごしてると、精神的に辛く感じたりしないのでしょうか

職場の同僚さんなら、その方がお子さんの事やご自身の都合・体調不良などで欠・早・遅する場合などにフォローしてあげるとかでいいんじゃないかな。
これだけが一番その方にとって心強い事かと。

主さんの仰るとこの「精神的支え」ってのは、お互いを十分に理解しあっている同士でなければ無理な事です。
そこまでの関係性になるのはそう簡単な事ではありません。
職場という場所であれば尚更ね。

まずは冒頭にあるように、お相手が何か困り事があった時のみに手を差し伸べてあげたらいいのでは？
距離感間違えると仲良くなれるどころか嫌悪されてしまいますよ。