養護施設に入ってる我が子を勝手に連れ帰って来たら犯罪になりますか？ 1年半ほど前に精神が不安定になり、市役所の相談窓口に電話をかけ面接したところ、一時的に

その人(父親のパートナー)が言ってる事は気にせずに。
役所の人間と繋がりがあったとしても、そこから聞いた話ではないと思いますよ。

子が児童養護施設に入所＝なかなか返してくれない・母親(又は父親)の異性関係等で虐待の恐れがどうの…というような内容は、別に関係者からの情報漏洩が無くても、一般的に広まっているイメージとして誰でも思う事ですから。
特に今は連日ニュースでも悲しい事件が取り沙汰されている真っ最中ですよね。

彼らには守秘義務がありますのでね、それは田舎だからどうのは関係ありません。

引き取りたいならまずはあなたの生活環境をしっかり整える事です。
それがお子さんを引き取るための一番の近道です。
それ以外に何がありますか？