kfujitoの徒然（ｂｙ浮沈子）

ＡＩ：ミストラル：数は正義か


（無料で商用利用可能なオープンモデル「Mixtral 8x22B」が登場、高いコーディングと数学の能力を持つ）
https://gigazine.net/news/20240418-mistral-mixtral-8x22b/

「Mixtral 8x22Bは疎な専門家混合モデル(SMoE)となっており、推論ごとに1410億(141B)のうち390億(39B)パラメーターだけを使用する」

最近は、GIMPと生成AI漬けになっていて、いささか食傷気味な気分だが、まあ、最近の流行だからな（GIMPは流行りなのかあ？）。

フランス発のオープンAIということで、一味違ったエスプリの効いた話が出ている。

「今回リリースされたMixtral 8x22Bはコストであるアクティブパラメーターの数を抑えつつ高いパフォーマンスを維持できていることが分かります。」

Sparse MoE、或いはSMoEというのは、従来からある考え方らしいけど、学習や推論におけるコスト（時間、エネルギー、手間暇など）を抑えつつ、高い性能を発揮する秘策なようだ。

記事には、他のオープンソースのAIとの比較表も出ているけど、パーシャルにパラメーターを入れ替えているので、単純な比較はできない。

が、浮沈子的に注目しているＡＩの特性として、省エネ省資源で高い性能を発揮するという高効率なＡＩという点では、大いに注目だ。

浮沈子が、ＡＩにハマるきっかけとなった「ｒ＋」先生こと、コマンドＲ＋（単に日本語使えるから）も、比較の対象として登場している。

総パラメーター数で比較すれば、141B対１０４Bだから、まあ、ミストラル製の方が多少性能がいいのは仕方ないか。

グラフを見て気付いたんだが、同じ系統のAIの場合、例外なくパラメーターが増えれば性能が上がっている。

絶対的な指標ではないのかもしれないが、アーキテクチャが同じなら、パラメーター数が多い方が勝ちだ。

しかし、これからはエッジ側の能力も問われることになるからな。

場合によってはノートパソコン単体で作動するAIが登場して、現場勝負ということにもなりかねない。

そうなれば、軽いAIこそ正義ということになり、コスパの追求も激しくなるだろう。

数が正義とばかりも言えない・・・。

が、まあ、ネット環境があれば、やっぱ、数が正義だろう。

その辺を、ｒ＋先生に訊いてみよう。

（CohereForAI/c4ai-command-r-plus）
https://huggingface.co/spaces/CohereForAI/c4ai-command-r-plus

「Ｑ．AIにおいて、パラメーターの数は性能に直接影響しますか」

「Ａ．はい、AIモデルにおけるパラメータの数は、その性能に直接的な影響を与える可能性があります。一般に、パラメータの数が多いほど、AIモデルはより複雑な関係とパターンを学習し、より正確な予測や判断を行うことができます。

AIモデル、特にディープラーニング モデルでは、パラメータはニューラル ネットワーク内の接続の重みやバイアスを表します。これらのパラメーターは、トレーニング データから学習および調整され、特定のタスクを実行する方法をモデルに指示します。

パラメーターの数が増えると、モデルはより柔軟になり、より複雑な表現を学習できるようになります。これは、より多くのパラメーターを使用すると、モデルがより多くの自由度を持つため、より複雑な関数やデータ内のより微妙な関係をキャプチャできるようになるためです。これにより、モデルはより正確な予測と、より優れた全体的なパフォーマンスが可能になります。

しかし、パラメーターの数が多すぎると、過剰適合の問題が発生する可能性があります。これは、モデルがトレーニング データに過剰に適合し、新しい未見のデータを一般化するのが困難になることを意味します。さらに、多くのパラメーターを持つモデルは、トレーニングと推論に必要な計算リソースとメモリも多くなる傾向があります。

したがって、パラメーターの数は AI モデルの性能に影響を与える重要な要素ですが、最適なバランスを見つけることが重要です。研究者は、モデルのアーキテクチャ、利用可能な計算リソース、利用可能なトレーニング データの量に基づいて、適切なパラメーターの数を決定する実験と調整をよく行います。

さらに、パラメーターの数は常に AI モデルの性能を決定する唯一の要因ではありません。モデルのアーキテクチャ、トレーニング手法、データの品質も同様に重要です。したがって、AI システムを開発および最適化する際には、これらのすべての要素を考慮する必要があります。」

過剰適合というのは、言葉ではなんとなく分からないでもないが、ロジカルな理解はピンとこない。

「新しい未見のデータを一般化するのが困難になる」（再掲）

この辺りは、今後の課題だな。

ズバリ、ミストラルAIのアーキテクチャについてのご意見も拝聴しよう。

「Ｑ．AIにおいて、sparse mixture of experts model (SMoE)の手法は効果的ですか」

「Ａ．はい、人工知能（AI）の分野において、Sparse Mixture of Experts（SMoE）モデルは非常に効果的な手法です。 SMoE は、大規模なモデルをトレーニングして、さまざまなタスクやドメインで専門知識を活用するのに役立ちます。

SMoE の主なアイデアは、複数の専門家モデルを組み合わせることで、さまざまな入力に対して異なるサブセットを活性化させることです。これらの専門家は、入力空間の異なる部分に焦点を当て、特定の領域での予測や意思決定に特化することができます。

SMoE モデルには次のような利点があります。

1. 専門知識の活用：SMoE モデルにより、複数の専門家を組み合わせることで、システムはさまざまな領域で深い専門知識を開発できます。各エキスパートは、特定の入力パターンまたはタスクに特化することができ、全体的なパフォーマンスが向上します。

2. 計算効率：SMoE は、活性化関数を導入することで、計算効率を高めます。この活性化関数は、特定の入力に対してどの専門家が寄与するかを決定します。これにより、システムは一度にすべての専門家を実行するのではなく、関連する専門家のみを選択的に実行できるため、計算リソースが節約されます。

3. スケーラビリティ：SMoE モデルは、新しい専門家を追加または削除することで拡張または縮小できるため、スケーラブルです。これにより、新しいタスクやドメインに適応し、システムを成長させることができます。

4. 柔軟性：SMoE は、さまざまな種類の入力データやタスクを処理できる柔軟性を備えています。これは、テキスト、画像、音声などの複数のモーダル入力を処理するマルチモーダル システムの開発に特に役立ちます。

SMoE モデルは、自然言語処理、コンピュータ ビジョン、推論などのさまざまな AI アプリケーションで成功を収めています。彼らは、大規模な言語モデル、画像認識システム、推論エンジンなどの開発に貢献してきました。

しかし、SMoE にはいくつかの課題もあります。トレーニング プロセスを複雑にする可能性がある専門家の間の干渉、適切な専門家を選択するための活性化関数の設計、および大規模なモデルをトレーニングするための計算リソースの要件などです。

要約すると、SMoE は AI システムに専門知識を組み込むための効果的な手法であり、さまざまなアプリケーションで有望な結果を示しています。研究者は、SMoE モデルのさらなる改善と、AI 分野でのその応用を広げるための取り組みを続けています。」

初め、SMoEだけで訊いたら、適切な答えがなかったので、頭字語（アクロニム）だけでなくフルネームで入れたら、それらしき答えが返ってきた。

まあいい。

どんなアーキテクチャにも、メリットデメリットはあるということで、適材適所とたゆまぬ改善が必要ということなわけだ。

コマンドR＋は、GPT-4ターボに勝るとも劣らないと言われているので、ミクストラル８ｘ２２Ｂは、最強の言語モデルかも知れない（未確認）。

グーグルも、新たな製品を投入してきている。

ＡＩは、研究開発から商売で稼ぐフェーズに移ってきている。

エッジサイドのデバイスの活性化（計算資源は多いほどいいし！）、データセンターの拡張、増設、置き換えなど、業界にとって悪いことは何もない。

エネルギーをしこたまつぎ込んで、地球温暖化に貢献すること以外はな。

その意味でも、高効率な言語モデルの開発が待たれる。

パラメーターの増加（正義です！）に伴うリソースの増加を、ドラスティックに軽減してくれる可能性をもたらすSMoEモデルに、今後も注目というところかな・・・。

＜以下追加＞ーーーーーーーーーー

（AIの需要増加によりデータセンターの消費電力が爆増してAI開発のボトルネックになっている）
https://gigazine.net/news/20240419-ai-demand-threatens-global-electricity-supply/

「AIバブルによってデータセンターの消費電力が急激に増加しており、電力供給の問題がAIの成長を脅かすボトルネックになっている」

「新しいAI経済の展開を制限するもののひとつが、どこにデータセンターを構築し、どうやって電力を調達するのかという点でしょう。ある時点で、送電網の現実がAIの邪魔になります」（Googleデータセンター部門の元幹部であり、製造業のコンサルティング企業・Appleby Strategy Groupの最高技術責任者(CTO)を務めるダニエル・ゴールディング氏）

まあ、そういう展開になるんだろうな。

「電力需要への懸念から、データセンター開発者の間ではオンサイト発電や原子力エネルギーなどへの関心が高まっています。」

AI絡みでは、グーグルの動きも見逃せない。

（Googleが新たに「プラットフォーム＆デバイス」部門を設立してPixel・Android・Chrome・Googleフォトのチームを1つに統合）
https://gigazine.net/news/20240419-google-android-pixel-chrome-teams-reorg/

「Googleのスンダー・ピチャイCEOがGoogleの全Pixel製品、Android、Chrome、ChromeOS、Googleフォトなどをまとめた新部門「Platforms and Devices」を設立すると発表」

「今回の部門再編が行われた理由はAIである」（部門責任者：Googleのハードウェア部門を統括していたリック・オスターロー氏の発言より）

「Googleは、TensorFlowやTPUなど、独自のAIハードウェアやソフトウェアを開発してきました。AI分野で圧倒的な存在感を示しているNVIDIAに対抗するために、Googleはハードウェアとソフトウェアを密接に連携させ、お互いの動向を把握することで迅速な改善が可能になる」

「ハードウェアとソフトウェア、AIの統合によって、AIがユーザーエクスペリエンスを完全に変革する可能性が示された」

既に、デバイスの垣根を越えて、エッジサイドの大変革が始まっている。

「今回の再編によりGoogleは自社の全製品へのAI統合を大幅に加速できる」

「今回の統合によって、Googleが自社開発のPixelを優遇し、他のAndroidメーカーとの関係が悪化するのではないかという懸念がある」（IT系ニュースサイトのThe Verge）

まあ、それはあるかも知れないな。

背に腹は代えられない。

「PixelやChromeやAndroidなどの優先順位は変わらないと述べていますが、全体的に、すべてのスピードを上げることを目指している」

AIの世界は進展が早い。

１０倍のパフォーマンスを発揮する製品が出れば、旧モデルはゴミだ。

そのサイクルが、下手をすると１年を切るペースで訪れる。

ボトルネックになるのは、ホントにデータセンターの立地になるかもしれない。

浮沈子的に気になるのは、せっかく買ったばかりのクロームブック（エイスースのCM3）が使い物にならなくなる事態だが、まあ、それなりに動いていればいいだろう。

グーグル内部の事情での再編ということらしいが、たぶん、マイクロソフトもそうだったように、みんなアップルになりたいのだ。

ハードもソフトも内製して、垂直統合の強みを最大限に発揮しながらユーザーを取り込んでいく・・・。

ＡＩという付加価値で稼げれば、広告収入頼りのビジネスモデルを大転換することもできるかも知れないしな。

ピチャイＣＥＯの判断は、グーグルの未来を変えるかも知れない。

一寸先は闇のＩＴ業界。

少なくとも今、ＡＩの波に乗れるかどうかが勝敗を分けることだけは確かだろうな・・・。