人に迷惑をかけなければ何をしても良い、と言う考え方を正すためにはどうすれば良いでしょうか そのせいで人をイライラさせてしまったりして申し訳ない気持ちになり

＞人に迷惑をかけなければ何をしても良い
この考え方を持っているせいで、嫌な気分になっていると

考え方自体を見直してみてはいかがでしょうか？
「迷惑」について、迷惑の基準が人（共同体）によって異なるため

「迷惑をかけなければ、と抑止させる事は、必ず誰かの迷惑になる」

と私は思います。車に関する規制だったら、好き勝手乗り回していて楽しんでいた人にとっては大迷惑です。
タバコは嫌煙している人には大迷惑ですが、タバコ規制は喫煙している人には迷惑です。

迷惑の基準は異なるので、「迷惑をかけるな！」という圧力が迷惑になる人もいます。


これは極端な例ですが「殺人」は私にとって（おそらく多くの人にとっても）殺されたくないので迷惑行為です。多分、相談者さんにとっても迷惑行為です。
ですが、宗教とかで「神の教えを守る事」「理想の場所を作る事」等が一番大事で、更に「邪魔してくる異教徒の殺人は許容されている」場合
「殺人するな！それは絶対に許されない！」という殺人罪の存在がその宗教の人にとって迷惑になります。
（価値観が、神の教え＞人の命のため）

＞人に迷惑をかけなければ何をしても良い
人も迷惑も多種多様なので、この考え方はなかなか難しいと思います
＞（自分を含めた多くの）人に（多くの人の価値観での）迷惑をかけなければ何をしても良い
にすればある程度統一は出来るかもしれませんが、少数派を無視する事になりそうです。


上の文を読んで、もし相談者さんが
「迷惑」を行動しても良いか、悪いかの基準にするのはよくないかも…
と思えば、別の考え方がもてるかもしれません