俺は発達障がいあります。生活保護も受給しています。マンションの大家に部屋の合鍵を誰かに渡したか聞いたら、いや、渡していないと行ったいます。ウソか本当か分かりませ

お話は分かります。

女性の友人が住んでいた、大家と直接挨拶したりするような物件では、合い鍵で入られて下着をとられた、という話も聞いたことがあります。
なので、ご心配もまったくの的外れではないとは思います。
　
が、それを言い出したらすべての賃貸物件が信用できなくなってしまいます。
　
賃貸なら間に不動産屋さんがいませんか？
大家さんと直接話ができるような感じなんでしょうか。
　
一般的には、そのようなことが無いように、間に不動産屋が入りますし、火災保険に家財の保険がついていたりします。

もしどうしても気になるなら、もっとドライな間柄の物件に引っ越す、または実家に帰る、持ち家に住む、とかになってくると思います。