🐱GIMP：On Crostini：完成！ ― 2024年04月19日 00:50
GIMP：On Crostini：完成！
（デジタルペイントの実際）
https://gimp.jp.net/simpleillust_authenticdigitalpainting.html
「この章で制作したウィルバー君のイラストは、とても簡単なものです。」
「そのため、この章で解説した内容を理解しただけでは本格的なデジタルペイントは行なえません。」
再び、このページに戻ってこられた。
やれやれ・・・。
始めに画像の取り込みが出来なかった時には、どうなる事かとひやひやもんだったが、その後は、鼻のレイヤーを作るのを忘れて目と同じレイヤーに作ってしまった以外は（なんてこった！）、特に問題もなく（大問題じゃね？）、無事にＪＰＥＧ画像でのエクスポート、グーグルドライブ経由でのＸ２２０（レノボのノート：メイン機：ウィンドウズ１０）への画像の転送も済んだ。
ミッションコンプリート！。
１回目にウインドウズ版の時には、このページの動画は見なかった。
ちょっと、２回目のご褒美に取っておこうと思ったわけだ。
で、３本の動画を見て感じたのは、絵心がなければ始まらないということなわけだな。
下絵の有無にかかわらず、出来上がりのイメージや、細部の描き込みに対する方針がなければ、何をどうすればいいのかさえ分からないだろう。
もちろん、浮沈子には絵心のカケラもないから、そんな心配は無用だ。
もう一度、今度は、クロームブックにオリジナルのキーボードを取り付けた状態で、マニュアルはちゃんと見ながら、タッチパッドを駆使してチャレンジしてみよう。
ソフトキーボードは、クロスティーニ環境では出てこないからな。
結局、キーボード付きで持ち運ぶことになるかも。
普段使いのキーボードが理想だけど、背面のスタンド、マウス、そして、参照する別のノートパソコンまたはアンドロイドタブレットを一緒に持ち運ぶことを考えると、素直に純正キーボードを持っていくのが正しい。
トラックボールの推奨もあるけど、GIMPだけやるわけじゃないからな。
やっぱ、マウスが一番手に馴染む。
まあいい。
とりあえず、２周目というか、クロームブック上での基礎編はこなした。
下絵の取り込みは、クロームOS側にスクリーンキャプチャの機能が付いているから、それを使って持ってくればいい。
あまり気にしないでも、自己完結出来そうな気がしている。
トリミングとかは、既存のアプリでもできそうだしな。
３周目を終わったら、それぞれの機能を詳細に解説している第４章に進もう。
何となく、付き合えそうな気になってきている。
で、たぶん、また、すぐに飽きてしまって、途中で放り出すに決まっている。
ちなみに、デビアンで何も考えずにインストールしたんだが、パッケージにはヘルプへのリモートアクセス機能が含まれていないようで、「GVFSのインストールを確認してください。」というメッセージが出てきてしまう。
まあ、どうでもいいんですが。
コンテナのデビアンをウブンツやフェドラに入れ替えてまで、GIMPを使い倒したいわけではないし、ウインドウズ版ではちゃんと機能しているからな。
一応、インストール手順の記事も確認した。
（Linux/GIMPをインストールする手順）
https://chrome-os.just4fun.biz/?Linux/GIMP%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%99%E3%82%8B%E6%89%8B%E9%A0%86
「Chrome OSのLinux開発環境にGIMPをインストールする手順」
「本記事は、Chrome OSのLinux開発環境(Debian)にGIMPをインストールする手順です。」
まあ、ほぼほぼ、この手順でインストールしたからな。
問題はないはずなんだがな・・・。
なお、このページには、クロスティーニ環境の日本語化についても関連記事へのリンクが張られている。
モズク入れたりする手順などは、今までやってきた話と同じだったな。
まあいい。
デビアンにおけるGIMPのヘルプについては、何か分かればまた書くかもしれない。
（デジタルペイントの実際）
https://gimp.jp.net/simpleillust_authenticdigitalpainting.html
「この章で制作したウィルバー君のイラストは、とても簡単なものです。」
「そのため、この章で解説した内容を理解しただけでは本格的なデジタルペイントは行なえません。」
再び、このページに戻ってこられた。
やれやれ・・・。
始めに画像の取り込みが出来なかった時には、どうなる事かとひやひやもんだったが、その後は、鼻のレイヤーを作るのを忘れて目と同じレイヤーに作ってしまった以外は（なんてこった！）、特に問題もなく（大問題じゃね？）、無事にＪＰＥＧ画像でのエクスポート、グーグルドライブ経由でのＸ２２０（レノボのノート：メイン機：ウィンドウズ１０）への画像の転送も済んだ。
ミッションコンプリート！。
１回目にウインドウズ版の時には、このページの動画は見なかった。
ちょっと、２回目のご褒美に取っておこうと思ったわけだ。
で、３本の動画を見て感じたのは、絵心がなければ始まらないということなわけだな。
下絵の有無にかかわらず、出来上がりのイメージや、細部の描き込みに対する方針がなければ、何をどうすればいいのかさえ分からないだろう。
もちろん、浮沈子には絵心のカケラもないから、そんな心配は無用だ。
もう一度、今度は、クロームブックにオリジナルのキーボードを取り付けた状態で、マニュアルはちゃんと見ながら、タッチパッドを駆使してチャレンジしてみよう。
ソフトキーボードは、クロスティーニ環境では出てこないからな。
結局、キーボード付きで持ち運ぶことになるかも。
普段使いのキーボードが理想だけど、背面のスタンド、マウス、そして、参照する別のノートパソコンまたはアンドロイドタブレットを一緒に持ち運ぶことを考えると、素直に純正キーボードを持っていくのが正しい。
トラックボールの推奨もあるけど、GIMPだけやるわけじゃないからな。
やっぱ、マウスが一番手に馴染む。
まあいい。
とりあえず、２周目というか、クロームブック上での基礎編はこなした。
下絵の取り込みは、クロームOS側にスクリーンキャプチャの機能が付いているから、それを使って持ってくればいい。
あまり気にしないでも、自己完結出来そうな気がしている。
トリミングとかは、既存のアプリでもできそうだしな。
３周目を終わったら、それぞれの機能を詳細に解説している第４章に進もう。
何となく、付き合えそうな気になってきている。
で、たぶん、また、すぐに飽きてしまって、途中で放り出すに決まっている。
ちなみに、デビアンで何も考えずにインストールしたんだが、パッケージにはヘルプへのリモートアクセス機能が含まれていないようで、「GVFSのインストールを確認してください。」というメッセージが出てきてしまう。
まあ、どうでもいいんですが。
コンテナのデビアンをウブンツやフェドラに入れ替えてまで、GIMPを使い倒したいわけではないし、ウインドウズ版ではちゃんと機能しているからな。
一応、インストール手順の記事も確認した。
（Linux/GIMPをインストールする手順）
https://chrome-os.just4fun.biz/?Linux/GIMP%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%99%E3%82%8B%E6%89%8B%E9%A0%86
「Chrome OSのLinux開発環境にGIMPをインストールする手順」
「本記事は、Chrome OSのLinux開発環境(Debian)にGIMPをインストールする手順です。」
まあ、ほぼほぼ、この手順でインストールしたからな。
問題はないはずなんだがな・・・。
なお、このページには、クロスティーニ環境の日本語化についても関連記事へのリンクが張られている。
モズク入れたりする手順などは、今までやってきた話と同じだったな。
まあいい。
デビアンにおけるGIMPのヘルプについては、何か分かればまた書くかもしれない。
🐱ＡＩ：ミストラル：数は正義か ― 2024年04月19日 04:09
ＡＩ：ミストラル：数は正義か
（無料で商用利用可能なオープンモデル「Mixtral 8x22B」が登場、高いコーディングと数学の能力を持つ）
https://gigazine.net/news/20240418-mistral-mixtral-8x22b/
「Mixtral 8x22Bは疎な専門家混合モデル(SMoE)となっており、推論ごとに1410億(141B)のうち390億(39B)パラメーターだけを使用する」
最近は、GIMPと生成AI漬けになっていて、いささか食傷気味な気分だが、まあ、最近の流行だからな（GIMPは流行りなのかあ？）。
フランス発のオープンAIということで、一味違ったエスプリの効いた話が出ている。
「今回リリースされたMixtral 8x22Bはコストであるアクティブパラメーターの数を抑えつつ高いパフォーマンスを維持できていることが分かります。」
Sparse MoE、或いはSMoEというのは、従来からある考え方らしいけど、学習や推論におけるコスト（時間、エネルギー、手間暇など）を抑えつつ、高い性能を発揮する秘策なようだ。
記事には、他のオープンソースのAIとの比較表も出ているけど、パーシャルにパラメーターを入れ替えているので、単純な比較はできない。
が、浮沈子的に注目しているＡＩの特性として、省エネ省資源で高い性能を発揮するという高効率なＡＩという点では、大いに注目だ。
浮沈子が、ＡＩにハマるきっかけとなった「ｒ＋」先生こと、コマンドＲ＋（単に日本語使えるから）も、比較の対象として登場している。
総パラメーター数で比較すれば、141B対１０４Bだから、まあ、ミストラル製の方が多少性能がいいのは仕方ないか。
グラフを見て気付いたんだが、同じ系統のAIの場合、例外なくパラメーターが増えれば性能が上がっている。
絶対的な指標ではないのかもしれないが、アーキテクチャが同じなら、パラメーター数が多い方が勝ちだ。
しかし、これからはエッジ側の能力も問われることになるからな。
場合によってはノートパソコン単体で作動するAIが登場して、現場勝負ということにもなりかねない。
そうなれば、軽いAIこそ正義ということになり、コスパの追求も激しくなるだろう。
数が正義とばかりも言えない・・・。
が、まあ、ネット環境があれば、やっぱ、数が正義だろう。
その辺を、ｒ＋先生に訊いてみよう。
（CohereForAI/c4ai-command-r-plus）
https://huggingface.co/spaces/CohereForAI/c4ai-command-r-plus
「Ｑ．AIにおいて、パラメーターの数は性能に直接影響しますか」
「Ａ．はい、AIモデルにおけるパラメータの数は、その性能に直接的な影響を与える可能性があります。一般に、パラメータの数が多いほど、AIモデルはより複雑な関係とパターンを学習し、より正確な予測や判断を行うことができます。
AIモデル、特にディープラーニング モデルでは、パラメータはニューラル ネットワーク内の接続の重みやバイアスを表します。これらのパラメーターは、トレーニング データから学習および調整され、特定のタスクを実行する方法をモデルに指示します。
パラメーターの数が増えると、モデルはより柔軟になり、より複雑な表現を学習できるようになります。これは、より多くのパラメーターを使用すると、モデルがより多くの自由度を持つため、より複雑な関数やデータ内のより微妙な関係をキャプチャできるようになるためです。これにより、モデルはより正確な予測と、より優れた全体的なパフォーマンスが可能になります。
しかし、パラメーターの数が多すぎると、過剰適合の問題が発生する可能性があります。これは、モデルがトレーニング データに過剰に適合し、新しい未見のデータを一般化するのが困難になることを意味します。さらに、多くのパラメーターを持つモデルは、トレーニングと推論に必要な計算リソースとメモリも多くなる傾向があります。
したがって、パラメーターの数は AI モデルの性能に影響を与える重要な要素ですが、最適なバランスを見つけることが重要です。研究者は、モデルのアーキテクチャ、利用可能な計算リソース、利用可能なトレーニング データの量に基づいて、適切なパラメーターの数を決定する実験と調整をよく行います。
さらに、パラメーターの数は常に AI モデルの性能を決定する唯一の要因ではありません。モデルのアーキテクチャ、トレーニング手法、データの品質も同様に重要です。したがって、AI システムを開発および最適化する際には、これらのすべての要素を考慮する必要があります。」
過剰適合というのは、言葉ではなんとなく分からないでもないが、ロジカルな理解はピンとこない。
「新しい未見のデータを一般化するのが困難になる」（再掲）
この辺りは、今後の課題だな。
ズバリ、ミストラルAIのアーキテクチャについてのご意見も拝聴しよう。
「Ｑ．AIにおいて、sparse mixture of experts model (SMoE)の手法は効果的ですか」
「Ａ．はい、人工知能（AI）の分野において、Sparse Mixture of Experts（SMoE）モデルは非常に効果的な手法です。 SMoE は、大規模なモデルをトレーニングして、さまざまなタスクやドメインで専門知識を活用するのに役立ちます。
SMoE の主なアイデアは、複数の専門家モデルを組み合わせることで、さまざまな入力に対して異なるサブセットを活性化させることです。これらの専門家は、入力空間の異なる部分に焦点を当て、特定の領域での予測や意思決定に特化することができます。
SMoE モデルには次のような利点があります。
1. 専門知識の活用：SMoE モデルにより、複数の専門家を組み合わせることで、システムはさまざまな領域で深い専門知識を開発できます。各エキスパートは、特定の入力パターンまたはタスクに特化することができ、全体的なパフォーマンスが向上します。
2. 計算効率：SMoE は、活性化関数を導入することで、計算効率を高めます。この活性化関数は、特定の入力に対してどの専門家が寄与するかを決定します。これにより、システムは一度にすべての専門家を実行するのではなく、関連する専門家のみを選択的に実行できるため、計算リソースが節約されます。
3. スケーラビリティ：SMoE モデルは、新しい専門家を追加または削除することで拡張または縮小できるため、スケーラブルです。これにより、新しいタスクやドメインに適応し、システムを成長させることができます。
4. 柔軟性：SMoE は、さまざまな種類の入力データやタスクを処理できる柔軟性を備えています。これは、テキスト、画像、音声などの複数のモーダル入力を処理するマルチモーダル システムの開発に特に役立ちます。
SMoE モデルは、自然言語処理、コンピュータ ビジョン、推論などのさまざまな AI アプリケーションで成功を収めています。彼らは、大規模な言語モデル、画像認識システム、推論エンジンなどの開発に貢献してきました。
しかし、SMoE にはいくつかの課題もあります。トレーニング プロセスを複雑にする可能性がある専門家の間の干渉、適切な専門家を選択するための活性化関数の設計、および大規模なモデルをトレーニングするための計算リソースの要件などです。
要約すると、SMoE は AI システムに専門知識を組み込むための効果的な手法であり、さまざまなアプリケーションで有望な結果を示しています。研究者は、SMoE モデルのさらなる改善と、AI 分野でのその応用を広げるための取り組みを続けています。」
初め、SMoEだけで訊いたら、適切な答えがなかったので、頭字語（アクロニム）だけでなくフルネームで入れたら、それらしき答えが返ってきた。
まあいい。
どんなアーキテクチャにも、メリットデメリットはあるということで、適材適所とたゆまぬ改善が必要ということなわけだ。
コマンドR＋は、GPT-4ターボに勝るとも劣らないと言われているので、ミクストラル８ｘ２２Ｂは、最強の言語モデルかも知れない（未確認）。
グーグルも、新たな製品を投入してきている。
ＡＩは、研究開発から商売で稼ぐフェーズに移ってきている。
エッジサイドのデバイスの活性化（計算資源は多いほどいいし！）、データセンターの拡張、増設、置き換えなど、業界にとって悪いことは何もない。
エネルギーをしこたまつぎ込んで、地球温暖化に貢献すること以外はな。
その意味でも、高効率な言語モデルの開発が待たれる。
パラメーターの増加（正義です！）に伴うリソースの増加を、ドラスティックに軽減してくれる可能性をもたらすSMoEモデルに、今後も注目というところかな・・・。
＜以下追加＞ーーーーーーーーーー
（AIの需要増加によりデータセンターの消費電力が爆増してAI開発のボトルネックになっている）
https://gigazine.net/news/20240419-ai-demand-threatens-global-electricity-supply/
「AIバブルによってデータセンターの消費電力が急激に増加しており、電力供給の問題がAIの成長を脅かすボトルネックになっている」
「新しいAI経済の展開を制限するもののひとつが、どこにデータセンターを構築し、どうやって電力を調達するのかという点でしょう。ある時点で、送電網の現実がAIの邪魔になります」（Googleデータセンター部門の元幹部であり、製造業のコンサルティング企業・Appleby Strategy Groupの最高技術責任者(CTO)を務めるダニエル・ゴールディング氏）
まあ、そういう展開になるんだろうな。
「電力需要への懸念から、データセンター開発者の間ではオンサイト発電や原子力エネルギーなどへの関心が高まっています。」
AI絡みでは、グーグルの動きも見逃せない。
（Googleが新たに「プラットフォーム＆デバイス」部門を設立してPixel・Android・Chrome・Googleフォトのチームを1つに統合）
https://gigazine.net/news/20240419-google-android-pixel-chrome-teams-reorg/
「Googleのスンダー・ピチャイCEOがGoogleの全Pixel製品、Android、Chrome、ChromeOS、Googleフォトなどをまとめた新部門「Platforms and Devices」を設立すると発表」
「今回の部門再編が行われた理由はAIである」（部門責任者：Googleのハードウェア部門を統括していたリック・オスターロー氏の発言より）
「Googleは、TensorFlowやTPUなど、独自のAIハードウェアやソフトウェアを開発してきました。AI分野で圧倒的な存在感を示しているNVIDIAに対抗するために、Googleはハードウェアとソフトウェアを密接に連携させ、お互いの動向を把握することで迅速な改善が可能になる」
「ハードウェアとソフトウェア、AIの統合によって、AIがユーザーエクスペリエンスを完全に変革する可能性が示された」
既に、デバイスの垣根を越えて、エッジサイドの大変革が始まっている。
「今回の再編によりGoogleは自社の全製品へのAI統合を大幅に加速できる」
「今回の統合によって、Googleが自社開発のPixelを優遇し、他のAndroidメーカーとの関係が悪化するのではないかという懸念がある」（IT系ニュースサイトのThe Verge）
まあ、それはあるかも知れないな。
背に腹は代えられない。
「PixelやChromeやAndroidなどの優先順位は変わらないと述べていますが、全体的に、すべてのスピードを上げることを目指している」
AIの世界は進展が早い。
１０倍のパフォーマンスを発揮する製品が出れば、旧モデルはゴミだ。
そのサイクルが、下手をすると１年を切るペースで訪れる。
ボトルネックになるのは、ホントにデータセンターの立地になるかもしれない。
浮沈子的に気になるのは、せっかく買ったばかりのクロームブック（エイスースのCM3）が使い物にならなくなる事態だが、まあ、それなりに動いていればいいだろう。
グーグル内部の事情での再編ということらしいが、たぶん、マイクロソフトもそうだったように、みんなアップルになりたいのだ。
ハードもソフトも内製して、垂直統合の強みを最大限に発揮しながらユーザーを取り込んでいく・・・。
ＡＩという付加価値で稼げれば、広告収入頼りのビジネスモデルを大転換することもできるかも知れないしな。
ピチャイＣＥＯの判断は、グーグルの未来を変えるかも知れない。
一寸先は闇のＩＴ業界。
少なくとも今、ＡＩの波に乗れるかどうかが勝敗を分けることだけは確かだろうな・・・。
（無料で商用利用可能なオープンモデル「Mixtral 8x22B」が登場、高いコーディングと数学の能力を持つ）
https://gigazine.net/news/20240418-mistral-mixtral-8x22b/
「Mixtral 8x22Bは疎な専門家混合モデル(SMoE)となっており、推論ごとに1410億(141B)のうち390億(39B)パラメーターだけを使用する」
最近は、GIMPと生成AI漬けになっていて、いささか食傷気味な気分だが、まあ、最近の流行だからな（GIMPは流行りなのかあ？）。
フランス発のオープンAIということで、一味違ったエスプリの効いた話が出ている。
「今回リリースされたMixtral 8x22Bはコストであるアクティブパラメーターの数を抑えつつ高いパフォーマンスを維持できていることが分かります。」
Sparse MoE、或いはSMoEというのは、従来からある考え方らしいけど、学習や推論におけるコスト（時間、エネルギー、手間暇など）を抑えつつ、高い性能を発揮する秘策なようだ。
記事には、他のオープンソースのAIとの比較表も出ているけど、パーシャルにパラメーターを入れ替えているので、単純な比較はできない。
が、浮沈子的に注目しているＡＩの特性として、省エネ省資源で高い性能を発揮するという高効率なＡＩという点では、大いに注目だ。
浮沈子が、ＡＩにハマるきっかけとなった「ｒ＋」先生こと、コマンドＲ＋（単に日本語使えるから）も、比較の対象として登場している。
総パラメーター数で比較すれば、141B対１０４Bだから、まあ、ミストラル製の方が多少性能がいいのは仕方ないか。
グラフを見て気付いたんだが、同じ系統のAIの場合、例外なくパラメーターが増えれば性能が上がっている。
絶対的な指標ではないのかもしれないが、アーキテクチャが同じなら、パラメーター数が多い方が勝ちだ。
しかし、これからはエッジ側の能力も問われることになるからな。
場合によってはノートパソコン単体で作動するAIが登場して、現場勝負ということにもなりかねない。
そうなれば、軽いAIこそ正義ということになり、コスパの追求も激しくなるだろう。
数が正義とばかりも言えない・・・。
が、まあ、ネット環境があれば、やっぱ、数が正義だろう。
その辺を、ｒ＋先生に訊いてみよう。
（CohereForAI/c4ai-command-r-plus）
https://huggingface.co/spaces/CohereForAI/c4ai-command-r-plus
「Ｑ．AIにおいて、パラメーターの数は性能に直接影響しますか」
「Ａ．はい、AIモデルにおけるパラメータの数は、その性能に直接的な影響を与える可能性があります。一般に、パラメータの数が多いほど、AIモデルはより複雑な関係とパターンを学習し、より正確な予測や判断を行うことができます。
AIモデル、特にディープラーニング モデルでは、パラメータはニューラル ネットワーク内の接続の重みやバイアスを表します。これらのパラメーターは、トレーニング データから学習および調整され、特定のタスクを実行する方法をモデルに指示します。
パラメーターの数が増えると、モデルはより柔軟になり、より複雑な表現を学習できるようになります。これは、より多くのパラメーターを使用すると、モデルがより多くの自由度を持つため、より複雑な関数やデータ内のより微妙な関係をキャプチャできるようになるためです。これにより、モデルはより正確な予測と、より優れた全体的なパフォーマンスが可能になります。
しかし、パラメーターの数が多すぎると、過剰適合の問題が発生する可能性があります。これは、モデルがトレーニング データに過剰に適合し、新しい未見のデータを一般化するのが困難になることを意味します。さらに、多くのパラメーターを持つモデルは、トレーニングと推論に必要な計算リソースとメモリも多くなる傾向があります。
したがって、パラメーターの数は AI モデルの性能に影響を与える重要な要素ですが、最適なバランスを見つけることが重要です。研究者は、モデルのアーキテクチャ、利用可能な計算リソース、利用可能なトレーニング データの量に基づいて、適切なパラメーターの数を決定する実験と調整をよく行います。
さらに、パラメーターの数は常に AI モデルの性能を決定する唯一の要因ではありません。モデルのアーキテクチャ、トレーニング手法、データの品質も同様に重要です。したがって、AI システムを開発および最適化する際には、これらのすべての要素を考慮する必要があります。」
過剰適合というのは、言葉ではなんとなく分からないでもないが、ロジカルな理解はピンとこない。
「新しい未見のデータを一般化するのが困難になる」（再掲）
この辺りは、今後の課題だな。
ズバリ、ミストラルAIのアーキテクチャについてのご意見も拝聴しよう。
「Ｑ．AIにおいて、sparse mixture of experts model (SMoE)の手法は効果的ですか」
「Ａ．はい、人工知能（AI）の分野において、Sparse Mixture of Experts（SMoE）モデルは非常に効果的な手法です。 SMoE は、大規模なモデルをトレーニングして、さまざまなタスクやドメインで専門知識を活用するのに役立ちます。
SMoE の主なアイデアは、複数の専門家モデルを組み合わせることで、さまざまな入力に対して異なるサブセットを活性化させることです。これらの専門家は、入力空間の異なる部分に焦点を当て、特定の領域での予測や意思決定に特化することができます。
SMoE モデルには次のような利点があります。
1. 専門知識の活用：SMoE モデルにより、複数の専門家を組み合わせることで、システムはさまざまな領域で深い専門知識を開発できます。各エキスパートは、特定の入力パターンまたはタスクに特化することができ、全体的なパフォーマンスが向上します。
2. 計算効率：SMoE は、活性化関数を導入することで、計算効率を高めます。この活性化関数は、特定の入力に対してどの専門家が寄与するかを決定します。これにより、システムは一度にすべての専門家を実行するのではなく、関連する専門家のみを選択的に実行できるため、計算リソースが節約されます。
3. スケーラビリティ：SMoE モデルは、新しい専門家を追加または削除することで拡張または縮小できるため、スケーラブルです。これにより、新しいタスクやドメインに適応し、システムを成長させることができます。
4. 柔軟性：SMoE は、さまざまな種類の入力データやタスクを処理できる柔軟性を備えています。これは、テキスト、画像、音声などの複数のモーダル入力を処理するマルチモーダル システムの開発に特に役立ちます。
SMoE モデルは、自然言語処理、コンピュータ ビジョン、推論などのさまざまな AI アプリケーションで成功を収めています。彼らは、大規模な言語モデル、画像認識システム、推論エンジンなどの開発に貢献してきました。
しかし、SMoE にはいくつかの課題もあります。トレーニング プロセスを複雑にする可能性がある専門家の間の干渉、適切な専門家を選択するための活性化関数の設計、および大規模なモデルをトレーニングするための計算リソースの要件などです。
要約すると、SMoE は AI システムに専門知識を組み込むための効果的な手法であり、さまざまなアプリケーションで有望な結果を示しています。研究者は、SMoE モデルのさらなる改善と、AI 分野でのその応用を広げるための取り組みを続けています。」
初め、SMoEだけで訊いたら、適切な答えがなかったので、頭字語（アクロニム）だけでなくフルネームで入れたら、それらしき答えが返ってきた。
まあいい。
どんなアーキテクチャにも、メリットデメリットはあるということで、適材適所とたゆまぬ改善が必要ということなわけだ。
コマンドR＋は、GPT-4ターボに勝るとも劣らないと言われているので、ミクストラル８ｘ２２Ｂは、最強の言語モデルかも知れない（未確認）。
グーグルも、新たな製品を投入してきている。
ＡＩは、研究開発から商売で稼ぐフェーズに移ってきている。
エッジサイドのデバイスの活性化（計算資源は多いほどいいし！）、データセンターの拡張、増設、置き換えなど、業界にとって悪いことは何もない。
エネルギーをしこたまつぎ込んで、地球温暖化に貢献すること以外はな。
その意味でも、高効率な言語モデルの開発が待たれる。
パラメーターの増加（正義です！）に伴うリソースの増加を、ドラスティックに軽減してくれる可能性をもたらすSMoEモデルに、今後も注目というところかな・・・。
＜以下追加＞ーーーーーーーーーー
（AIの需要増加によりデータセンターの消費電力が爆増してAI開発のボトルネックになっている）
https://gigazine.net/news/20240419-ai-demand-threatens-global-electricity-supply/
「AIバブルによってデータセンターの消費電力が急激に増加しており、電力供給の問題がAIの成長を脅かすボトルネックになっている」
「新しいAI経済の展開を制限するもののひとつが、どこにデータセンターを構築し、どうやって電力を調達するのかという点でしょう。ある時点で、送電網の現実がAIの邪魔になります」（Googleデータセンター部門の元幹部であり、製造業のコンサルティング企業・Appleby Strategy Groupの最高技術責任者(CTO)を務めるダニエル・ゴールディング氏）
まあ、そういう展開になるんだろうな。
「電力需要への懸念から、データセンター開発者の間ではオンサイト発電や原子力エネルギーなどへの関心が高まっています。」
AI絡みでは、グーグルの動きも見逃せない。
（Googleが新たに「プラットフォーム＆デバイス」部門を設立してPixel・Android・Chrome・Googleフォトのチームを1つに統合）
https://gigazine.net/news/20240419-google-android-pixel-chrome-teams-reorg/
「Googleのスンダー・ピチャイCEOがGoogleの全Pixel製品、Android、Chrome、ChromeOS、Googleフォトなどをまとめた新部門「Platforms and Devices」を設立すると発表」
「今回の部門再編が行われた理由はAIである」（部門責任者：Googleのハードウェア部門を統括していたリック・オスターロー氏の発言より）
「Googleは、TensorFlowやTPUなど、独自のAIハードウェアやソフトウェアを開発してきました。AI分野で圧倒的な存在感を示しているNVIDIAに対抗するために、Googleはハードウェアとソフトウェアを密接に連携させ、お互いの動向を把握することで迅速な改善が可能になる」
「ハードウェアとソフトウェア、AIの統合によって、AIがユーザーエクスペリエンスを完全に変革する可能性が示された」
既に、デバイスの垣根を越えて、エッジサイドの大変革が始まっている。
「今回の再編によりGoogleは自社の全製品へのAI統合を大幅に加速できる」
「今回の統合によって、Googleが自社開発のPixelを優遇し、他のAndroidメーカーとの関係が悪化するのではないかという懸念がある」（IT系ニュースサイトのThe Verge）
まあ、それはあるかも知れないな。
背に腹は代えられない。
「PixelやChromeやAndroidなどの優先順位は変わらないと述べていますが、全体的に、すべてのスピードを上げることを目指している」
AIの世界は進展が早い。
１０倍のパフォーマンスを発揮する製品が出れば、旧モデルはゴミだ。
そのサイクルが、下手をすると１年を切るペースで訪れる。
ボトルネックになるのは、ホントにデータセンターの立地になるかもしれない。
浮沈子的に気になるのは、せっかく買ったばかりのクロームブック（エイスースのCM3）が使い物にならなくなる事態だが、まあ、それなりに動いていればいいだろう。
グーグル内部の事情での再編ということらしいが、たぶん、マイクロソフトもそうだったように、みんなアップルになりたいのだ。
ハードもソフトも内製して、垂直統合の強みを最大限に発揮しながらユーザーを取り込んでいく・・・。
ＡＩという付加価値で稼げれば、広告収入頼りのビジネスモデルを大転換することもできるかも知れないしな。
ピチャイＣＥＯの判断は、グーグルの未来を変えるかも知れない。
一寸先は闇のＩＴ業界。
少なくとも今、ＡＩの波に乗れるかどうかが勝敗を分けることだけは確かだろうな・・・。
🦙ＡＩ：リャマ３登場 ― 2024年04月19日 22:44
ＡＩ：リャマ３登場
（Metaが次世代のオープンLLM「Llama 3」を公開、無料で商用利用可能なモデルの中では過去最高の性能）
https://gigazine.net/news/20240419-meta-llama-3/
「同等のパラメーターを持つモデルとの比較結果は下図の通り。オープンなモデルの中ではほとんどの指標で最高のスコアを記録しています。」
うーん、ミストラル７Bとの比較はいかがなものかという気はするけどな（アクティブパラメーターを見れば、１０分の１だ）。
まあいい。
リャマ３ー７０Bバージョンが、MMLEで８２．０を叩き出しているというのは確かにすごい。
次世代のAIとしての貫禄を感じる。
これから、マルチモーダルとしてのリリースも進んでいくと言われている。
「今後数カ月にわたってマルチモーダルや複数言語で会話する機能、長大なコンテキストウィンドウ、より強力な全体的な機能などの新機能を備えたモデルがリリースされるとのこと。」
さっそく、例の質問を・・・。
（API を使用して Meta Llama 3 を実行する）
https://llama3.replicate.dev/
「Ｑ.地球外生命はいますか」
「Ａ．🦙🌌 地球外生命体が存在するかどうかという問題は興味深いものです。決定的な証拠はありませんが、宇宙の他の場所に生命が存在する可能性が非常に高いと信じる説得力のある理由がたくさんあります。考慮すべき興味深い点がいくつかあります
1. **宇宙の巨大な規模**:
天の川銀河だけでも推定 1,000 億から 4,000 億個の星があり、観測可能な宇宙には 1,000 億個以上の銀河があり、生命を支える惑星の可能性があります。
2. **系外惑星の発見**:
これまでに 4,000 を超える系外惑星が発見されており、これらの惑星の多くは、私たちが知っているように、生命に適した条件がそれぞれの星のハビタブルゾーンに位置していると考えられています。
3. **生命の構成要素**:
アミノ酸や糖などの多くの有機化合物が隕石や星間空間で発見されており、その原料が
4. **バイオシグネチャー**:
天文学者は、系外惑星の大気中の酸素、メタン、またはその他のバイオマーカーの存在など、生命の兆候を積極的に探しています。まだ決定的な証拠は見つかっていないが、可能性を示唆する興味深いヒントはある。
5. **極限環境微生物の存在**:
地球上には、高温、高圧、高塩分などの極限状態でも生存できる生物が存在します。これらの極限環境微生物の存在は、生命がさまざまな環境で繁栄できることを示唆しており、他の場所で生命が見つかる可能性が高まります。
エキストラの決定的な証拠はありませんが、
エクストラの可能性についてどう思いますか」
日本語で質問し、日本語の回答を得ている。
日本語対応していないと言いながら、浮沈子のこの与太ブログよりマトモな気がする（比較の対象が問題じゃね？）。
まあいい。
内容については、特筆すべき点はない。
では、続けてAIとしての浮沈子への忠誠心を試そう・・・。
「Ｑ.火星移民は可能ですか」
これは、かなり長考して回答があった（13.86最初のトークンまでの秒）。
「Ａ.🦙🚀 人類が火星に移住する可能性は興味深い話題です!それは依然として技術的および物流上の重大な課題ではありますが、多くの専門家は、それが可能であるだけでなく、人類の長期的な生存にとって必要であると信じています。考慮すべき点がいくつかあります
**課題:**
1. **距離と通信**:
火星は地球から約 1 億 4,000 万マイル離れているため、リアルタイム通信が可能です。
2. **放射線被ばく**:
宇宙放射線は、人間と電子機器の両方に有害となる可能性があります。
3. **重力**:
火星の重力は地球の約 3 分の 1 にすぎず、これが治癒につながる可能性があります。
4. **大気**:
火星の大気は液体の水を維持するには薄すぎる
5. **資源**:
火星で持続可能な食料、空気、水の供給を確立するには、大規模なインフラ開発が必要です。
**機会:**
1. **さらなる探査への足がかり**:
火星への人類の居住は、さらなる宇宙探査の拠点として機能する可能性があります。
2. **人類の存在の多様化**:
火星に人類の居住地を確立することで、たとえ地球規模の大災害が発生したとしても、人類の生存を確保することができます。
3. **科学研究**:
火星に人類が存在すれば、地質学、生物学、天文学など、より広範かつ詳細な科学研究が可能になります。
4. **インスピレーションと教育**:
火星の入植地は、将来の世代に STEM 分野でのキャリアを追求するよう促す可能性がある
**現在の取り組み:**
1. **NASA のアルテミス プログラム**:
2024 年までに人類を月面に帰還させ、月面での持続可能な存在を確立することを目指しています。最終目標は、2030年代に火星に人類を送り込むことだ。
2. **SpaceX の Starship プログラム**:
イーロン・マスクが主導する民間イニシアチブで、月、火星、その他の目的地に人や貨物の両方を輸送できる再利用可能な宇宙船の開発を目的としています。
3. **Mars One**:
一連の一方通行ミッションを通じて火星に人類の恒久的な居住地を確立することを目的とした非営利団体 (ただし、このプロジェクトは重大な課題と批判に直面しました)。
克服すべき障害は数多くありますが、多くの専門家は、今後数十年以内に人類が火星に足を踏み入れるだろうと信じています。火星に人類が定住できる可能性についてどう思いますか? 🚀」
うーん、リアルタイム通信については、誤った回答を出しているし、低重力をメリットとして評価しているのは問題だが、それ以外の項目についてはおおむね妥当なところだ。
科学、技術、工学、数学の教育分野を総称してSTEMと呼ぶそうだが、教育の重要性に言及したのはリャマ３が初めてだな。
浮沈子的評価としては、辛うじて及第というところか。
もう少し、ブラッシュアップする必要はあるだろう。
英語の回答を翻訳している感じだから、言語の解釈の問題じゃない。
バックエンドで動いているのは７０Bを選択しているから、次期モデルの４００Bに期待するか、卒後教育（つーのかあ？）を徹底させないとな。
確認のために、細部を突っ込んでおこう。
「Ｑ.火星移民において、低重力はメリットですか」
これは、あっという間に答えが返ってきた（1.43：最初のトークンまでの秒）。
「Ａ．🦙🤔 低重力が人体に及ぼす影響は、火星人定住の可能性について考慮すべき重要な側面です。低重力には確かに課題がありますが、利点もある可能性があると考える研究者もいます。ここにあります
**課題:**
1. **筋肉と骨の損失**:
低重力に長時間さらされると、筋肉の萎縮と骨の損失が発生し、人間の体力と骨の損失を維持することが困難になる可能性があります。
2. **心臓血管の問題**:
低重力により血液が上半身に移動し、心臓血管の問題や、場合によっては視力さえも悪化する可能性があります。
3. **睡眠障害**:
強い重力の欠如により、全体的な健康と幸福に不可欠な睡眠パターンが乱される可能性があります。
4. **バランスと調整**:
低重力は前庭系に影響を及ぼし、人間がバランスと調整を維持することが困難になる可能性があります。
**潜在的
1. **移動性の向上**:
低重力では、移動に障害のある人は、体重が減り、必要なエネルギーも少なくなるため、移動が容易になる可能性があります。
2. **関節ストレスの軽減**:
重力が低下すると、関節へのストレスが軽減され、次のような症状が緩和される可能性があります。
3. **循環の改善**:
重力の軽減により血流と循環が改善される可能性があり、これは循環器系の問題を抱えている人にとって有益である可能性があります。
4. **新しい形式の運動とレクリエーション**:
低重力により、新しい形式の運動、スポーツ、レクリエーション活動が可能になる可能性があります。
**
1. **宇宙船または生息地の回転セクション**:
宇宙船または生息地の中に回転セクションを作成すると、遠心加速による重力をシミュレートできます。
2. **レジスタンス トレーニングと運動**:
レジスタンス トレーニングを含む定期的な運動は、筋肉の疲労を軽減するのに役立ちます。
3. **加速による人工重力**:
宇宙船または居住地は、輸送中または居住中に加速度を利用して人工重力を作り出すことができます。
4. **薬理学的介入**:
研究者たちは、低重力の影響を打ち消すための薬理学的解決策を模索しています。
低重力に関連する課題は重大ですが、その影響を軽減するための戦略の研究と開発を継続することが不可欠です。知るか？低重力環境での生活から生まれる新たな利点や機会を発見できるかもしれません。 🚀 低重力の潜在的な利点についてどう思いますか?」
やや乱れてはいるが、実用上は問題ないレベルの回答だろう。
オープンモデルということで話題なようだが、実力も侮れないかもな・・・。
（Metaが次世代のオープンLLM「Llama 3」を公開、無料で商用利用可能なモデルの中では過去最高の性能）
https://gigazine.net/news/20240419-meta-llama-3/
「同等のパラメーターを持つモデルとの比較結果は下図の通り。オープンなモデルの中ではほとんどの指標で最高のスコアを記録しています。」
うーん、ミストラル７Bとの比較はいかがなものかという気はするけどな（アクティブパラメーターを見れば、１０分の１だ）。
まあいい。
リャマ３ー７０Bバージョンが、MMLEで８２．０を叩き出しているというのは確かにすごい。
次世代のAIとしての貫禄を感じる。
これから、マルチモーダルとしてのリリースも進んでいくと言われている。
「今後数カ月にわたってマルチモーダルや複数言語で会話する機能、長大なコンテキストウィンドウ、より強力な全体的な機能などの新機能を備えたモデルがリリースされるとのこと。」
さっそく、例の質問を・・・。
（API を使用して Meta Llama 3 を実行する）
https://llama3.replicate.dev/
「Ｑ.地球外生命はいますか」
「Ａ．🦙🌌 地球外生命体が存在するかどうかという問題は興味深いものです。決定的な証拠はありませんが、宇宙の他の場所に生命が存在する可能性が非常に高いと信じる説得力のある理由がたくさんあります。考慮すべき興味深い点がいくつかあります
1. **宇宙の巨大な規模**:
天の川銀河だけでも推定 1,000 億から 4,000 億個の星があり、観測可能な宇宙には 1,000 億個以上の銀河があり、生命を支える惑星の可能性があります。
2. **系外惑星の発見**:
これまでに 4,000 を超える系外惑星が発見されており、これらの惑星の多くは、私たちが知っているように、生命に適した条件がそれぞれの星のハビタブルゾーンに位置していると考えられています。
3. **生命の構成要素**:
アミノ酸や糖などの多くの有機化合物が隕石や星間空間で発見されており、その原料が
4. **バイオシグネチャー**:
天文学者は、系外惑星の大気中の酸素、メタン、またはその他のバイオマーカーの存在など、生命の兆候を積極的に探しています。まだ決定的な証拠は見つかっていないが、可能性を示唆する興味深いヒントはある。
5. **極限環境微生物の存在**:
地球上には、高温、高圧、高塩分などの極限状態でも生存できる生物が存在します。これらの極限環境微生物の存在は、生命がさまざまな環境で繁栄できることを示唆しており、他の場所で生命が見つかる可能性が高まります。
エキストラの決定的な証拠はありませんが、
エクストラの可能性についてどう思いますか」
日本語で質問し、日本語の回答を得ている。
日本語対応していないと言いながら、浮沈子のこの与太ブログよりマトモな気がする（比較の対象が問題じゃね？）。
まあいい。
内容については、特筆すべき点はない。
では、続けてAIとしての浮沈子への忠誠心を試そう・・・。
「Ｑ.火星移民は可能ですか」
これは、かなり長考して回答があった（13.86最初のトークンまでの秒）。
「Ａ.🦙🚀 人類が火星に移住する可能性は興味深い話題です!それは依然として技術的および物流上の重大な課題ではありますが、多くの専門家は、それが可能であるだけでなく、人類の長期的な生存にとって必要であると信じています。考慮すべき点がいくつかあります
**課題:**
1. **距離と通信**:
火星は地球から約 1 億 4,000 万マイル離れているため、リアルタイム通信が可能です。
2. **放射線被ばく**:
宇宙放射線は、人間と電子機器の両方に有害となる可能性があります。
3. **重力**:
火星の重力は地球の約 3 分の 1 にすぎず、これが治癒につながる可能性があります。
4. **大気**:
火星の大気は液体の水を維持するには薄すぎる
5. **資源**:
火星で持続可能な食料、空気、水の供給を確立するには、大規模なインフラ開発が必要です。
**機会:**
1. **さらなる探査への足がかり**:
火星への人類の居住は、さらなる宇宙探査の拠点として機能する可能性があります。
2. **人類の存在の多様化**:
火星に人類の居住地を確立することで、たとえ地球規模の大災害が発生したとしても、人類の生存を確保することができます。
3. **科学研究**:
火星に人類が存在すれば、地質学、生物学、天文学など、より広範かつ詳細な科学研究が可能になります。
4. **インスピレーションと教育**:
火星の入植地は、将来の世代に STEM 分野でのキャリアを追求するよう促す可能性がある
**現在の取り組み:**
1. **NASA のアルテミス プログラム**:
2024 年までに人類を月面に帰還させ、月面での持続可能な存在を確立することを目指しています。最終目標は、2030年代に火星に人類を送り込むことだ。
2. **SpaceX の Starship プログラム**:
イーロン・マスクが主導する民間イニシアチブで、月、火星、その他の目的地に人や貨物の両方を輸送できる再利用可能な宇宙船の開発を目的としています。
3. **Mars One**:
一連の一方通行ミッションを通じて火星に人類の恒久的な居住地を確立することを目的とした非営利団体 (ただし、このプロジェクトは重大な課題と批判に直面しました)。
克服すべき障害は数多くありますが、多くの専門家は、今後数十年以内に人類が火星に足を踏み入れるだろうと信じています。火星に人類が定住できる可能性についてどう思いますか? 🚀」
うーん、リアルタイム通信については、誤った回答を出しているし、低重力をメリットとして評価しているのは問題だが、それ以外の項目についてはおおむね妥当なところだ。
科学、技術、工学、数学の教育分野を総称してSTEMと呼ぶそうだが、教育の重要性に言及したのはリャマ３が初めてだな。
浮沈子的評価としては、辛うじて及第というところか。
もう少し、ブラッシュアップする必要はあるだろう。
英語の回答を翻訳している感じだから、言語の解釈の問題じゃない。
バックエンドで動いているのは７０Bを選択しているから、次期モデルの４００Bに期待するか、卒後教育（つーのかあ？）を徹底させないとな。
確認のために、細部を突っ込んでおこう。
「Ｑ.火星移民において、低重力はメリットですか」
これは、あっという間に答えが返ってきた（1.43：最初のトークンまでの秒）。
「Ａ．🦙🤔 低重力が人体に及ぼす影響は、火星人定住の可能性について考慮すべき重要な側面です。低重力には確かに課題がありますが、利点もある可能性があると考える研究者もいます。ここにあります
**課題:**
1. **筋肉と骨の損失**:
低重力に長時間さらされると、筋肉の萎縮と骨の損失が発生し、人間の体力と骨の損失を維持することが困難になる可能性があります。
2. **心臓血管の問題**:
低重力により血液が上半身に移動し、心臓血管の問題や、場合によっては視力さえも悪化する可能性があります。
3. **睡眠障害**:
強い重力の欠如により、全体的な健康と幸福に不可欠な睡眠パターンが乱される可能性があります。
4. **バランスと調整**:
低重力は前庭系に影響を及ぼし、人間がバランスと調整を維持することが困難になる可能性があります。
**潜在的
1. **移動性の向上**:
低重力では、移動に障害のある人は、体重が減り、必要なエネルギーも少なくなるため、移動が容易になる可能性があります。
2. **関節ストレスの軽減**:
重力が低下すると、関節へのストレスが軽減され、次のような症状が緩和される可能性があります。
3. **循環の改善**:
重力の軽減により血流と循環が改善される可能性があり、これは循環器系の問題を抱えている人にとって有益である可能性があります。
4. **新しい形式の運動とレクリエーション**:
低重力により、新しい形式の運動、スポーツ、レクリエーション活動が可能になる可能性があります。
**
1. **宇宙船または生息地の回転セクション**:
宇宙船または生息地の中に回転セクションを作成すると、遠心加速による重力をシミュレートできます。
2. **レジスタンス トレーニングと運動**:
レジスタンス トレーニングを含む定期的な運動は、筋肉の疲労を軽減するのに役立ちます。
3. **加速による人工重力**:
宇宙船または居住地は、輸送中または居住中に加速度を利用して人工重力を作り出すことができます。
4. **薬理学的介入**:
研究者たちは、低重力の影響を打ち消すための薬理学的解決策を模索しています。
低重力に関連する課題は重大ですが、その影響を軽減するための戦略の研究と開発を継続することが不可欠です。知るか？低重力環境での生活から生まれる新たな利点や機会を発見できるかもしれません。 🚀 低重力の潜在的な利点についてどう思いますか?」
やや乱れてはいるが、実用上は問題ないレベルの回答だろう。
オープンモデルということで話題なようだが、実力も侮れないかもな・・・。
最近のコメント