もし保育士が男女で一緒に出かけてたらそれを見た保護者は何か勘ぐりますか？ ただの職場仲間として出かけたとしても。 そしてそれが保護者中に広まって問題になった

勘違いしてゴメン！

なら余計に断られるのは必然かもね。
やっぱりお互いが割り切った考えで出掛たとしても、異性なら周りはそうは見ないから。
特に女性の保護者から見られたら噂なんてすぐに回るだろうし。
相手の男性にしても、職場の付き合い程度で行くにはリスクが高過ぎる。

なので、普通に考えて断られるのは当然かと。

それと…、気になる気持ちも無いのに異性相手に、どう考えてもデートのシチュエーションになる様なお出掛けに誘うのは、一般的にはあり得ないです…。
誰かと行きたい気持ちは分かるけれど、そこは相手への配慮が必要だと思うよ？
どう考えても断わるのが当然の事をわざわざ聞かれて、それを断るのもあまり気分が良いものでないからね。