私には１歳の娘がいます。 義理の姉には3歳の息子がいます。 その息子は、行動や言葉の発達を見ていると何か障害があると思います。 私が主人と娘と3人で義両親

いやいや、義姉も、義両親も何にも言わないなんて、その神経にびっくりです。
私なら、行かないで、ﾌﾟﾚｾﾞﾝﾄは送るか、主人に渡してもらいます。

一番に考えるのは娘さんのことです。
怪我、それも、傷が残るような怪我をささせられたり、万一、もっと最悪なことになったら、どうするんですか?

私も小学生の時に、遊びに来ていた母方の従兄弟に石を投げられたことがあり、(当たりはしませんでしたが)そのことを私の姉から聞いた父は、さすがに厳しい口調で叱りました。
普段、とても穏やかで優しい父だけに、従兄弟も半泣きでしたが、もちろん、それ以降はそんなことはしませんでした。

娘さんが傷つけられてからでは遅いです。
はっきり言って、行かなきゃいけない理由はないし、そんな子にろくに注意もしないのでは、先が思いやられます。
障害があるなしではなく、娘さんをちゃんと守ってあげてください。