私の場合も始めにnoという結論がでていたのでしたが、断る時に根拠が薄いので助けになればとヘルプさせていただきました。
私の場合も本業の方が魅力的であり、余暇の時間を潰してまで副業をする必要に迫られていないとうことをきちっと説明して断りました。

私を誘った相手は仕事内容にはそれほど満足をおいていなかったこと、その相手が何人か誘ったメンバーの中で仕事内容の満足に重点を置く生き方を選んでいる人がいなかったことからその反応は意外だと思われたようでした。

私からすると仕事内容の満足に重点を置かない生き方の人が沢山いることが逆に意外でした。

もし、そういった情報を断ることに使おうと思われているのであれば、それはあまりおすすめしません。なぜなら、誘った側には多かれ少なかれ、断られた場合の対処を考えておくと考えられますから、生半可な理論武装をしていっても、うまく覆すのはほとんど無理だからです。
おすすめするのは、自分の気持ちによって断る意思を伝えることです。私の場合は、次のような根本的理由により最初からNoという結論が出ていました。

1. 今の職業に満足していて、かつ今回紹介されたビジネスを本業としようとは思わない。
2. サイドビジネスを仮にやるのであれば、本業に対しても良い影響をもたらすものでなければやる意味は無い。
3. そのサイドビジネスに対して、自分の技能、経験を活かせる訳ではない（＝他の人でもできるビジネスだし、相手が言うほどおいしくないってこと）

これは自分の意志、生き方であり、相手から理論的に覆すことはほとんど不可能です。それでも色々言われた場合に備えて上記のような理論武装をしているわけですが、それは奥の手なのでそれを最初から出す気はありません。また、それを出そうと思う場合にはもう一段、相手によって覆すことのできない条件をもちかけて結論を出すつもりです。

まだ断りたい方が優勢、という段階で断ること中心にご説明しましたが、「得できなかったことについては後悔しない」という考えを持っていただければ、その判断はそれほど難しくないと思います。