父の姉の旦那さん(義理の叔父)が亡くなったそうなんですが、父いわく私は行かなくて良いそうです。その理由が気になってるんですが、私は40近くてフリーターです。因み

家が近くて付き合いがあるなど、亡くなった伯父さんとの関係性にもよりますが、私の義父が亡くなったとき、うちは主人が長男で喪主でした。

そのときのことを言えば、義父の妻の兄弟の息子(つまりあなたの立場)はお通夜に参列されましたが、家族親戚として出席はされませんでしたよ。
葬儀は来なかったと思います。

あなたのお父さんの兄か、弟さんの奥さんが亡くなったときは参列もしくは出席されるものだと思いますよ。あなたと同じ名字ですよね？
親戚でも伯父さん関係は直系や分家であり同じ名字なら近いですが、
伯母さん関係は嫁に出た人なので縁が少し遠くなるんです。