🤗ＡＩ：OpenELM ― 2024年04月25日 11:37
（画像は、前の記事の関連です。）
ＡＩ：OpenELM
（Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開）
https://www.itmedia.co.jp/news/articles/2404/25/news103.html
「「OpenELM」（ELMはEfficient Language Model、効率的な言語モデルの略）をHugging Faceで公開」（Hugging Faceというはリポジトリの一つらしい。）
「パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億」
うーん、ビミョーだ・・・。
「米Microsoftも前日、iPhoneで稼働可能なSLM「Phi-3」を公開している。」
真っ向勝負だな。
ヴァージは、うがった記事を書いている。
（Apple の新しい AI モデルは、AI が iPhone にどのように導入されるかを示唆しています）
https://www.theverge.com/2024/4/24/24139266/apple-ai-model-openelm-iphone-laptops-strategy
「同社の当面の野心は「AI を Apple デバイス上でローカルに実行させる」という領域にしっかりと据えられているようだ。」
ヴァージに限らず、業界はそう睨んでいるようだが、果たしてエッジサイドの展開が確定的なのかどうかは分からない。
「Microsoft が最近リリースした Phi-3 モデルは38 億パラメータで底を打っていますが、Google の Gemma は 20 億パラメータのバージョンを提供」
オープンELMは、これらと比べても一桁小さい。
ユーザーの手元で、ローカルに動くAIは、依然として幻のままだ。
研究レベルの話だから、これをトレンドや商品展開と結びつけるのは危険だ。
が、技術的には何でもできると見せつけることは重要だな。
アップルにとっては、株価対策に過ぎないかもしれない（そうなのかあ？）。
検索したら、ハグフェイスのページもヒットした。
（OpenELM: オープンソースのトレーニングおよび推論フレームワークを備えた効率的な言語モデル ファミリ）
https://huggingface.co/apple/OpenELM
「公開されているデータセットでトレーニングされたこれらのモデルは、安全性の保証なしで利用できます。したがって、これらのモデルは、ユーザーのプロンプトに応じて、不正確、有害、偏った、または不快な出力を生成する可能性があります。したがって、ユーザーと開発者は徹底的な安全性テストを実施し、特定の要件に合わせた適切なフィルタリング メカニズムを実装することが不可欠です。」
生のままのAIなわけで、そのままプロンプトを投げるわけにはいかない。
ヤバいな・・・。
ヤバ過ぎ！。
日進月歩のAI。
いや、秒進分歩か・・・。
＜以下追加＞ーーーーーーーーーー
（AppleがiPhoneやiPadでローカルに動作するオープンソースの言語モデル「OpenELM」をリリース）
https://gigazine.net/news/20240425-apple-openelm-open-source-models/
「OpenELMの特徴の1つが、Transformerの各レイヤーにおけるパラメーター数を変化させることでモデル全体のパラメーターを効率的に配分する「layer-wise scaling」という手法」
「入力に近いレイヤーではアテンションやフィードフォワードのための潜在パラメーターの次元を小さくし、出力に近づくにつれて徐々にレイヤーを広げていきます。」
「従来の言語モデルでは、全てのレイヤーで同じ設定を持つことが一般的」
「言語モデルに特定のタスクを行うための指示を与え、そのタスクに特化した学習を行う「Instruction Tuning」を適用」
「加えて、OpenELMはLow-Rank Adaptation(LoRA)やDecomposed Low-Rank Adaptation(LoRA)など、パラメーター効率のいいファインチューニング(微調整)を行う方法が適用可能」
小技連発！。
神は細部に宿る・・・。
まあ、どうでもいいんですが。
「The Vergeは「メールの文面作成などテキスト関連のタスクをAppleデバイス上で効率的に実行する」可能性に期待」
マルチモーダルじゃなくてえ？。
うーん、エッジサイドこそ、そっちのニーズが高くなるような気がするんだがな。
まあいい。
比較対象として挙げられているOLMoのページも覗いてみた。
（オープン言語モデル: OLMo）
https://allenai.org/olmo
「データ、トレーニング コード、モデル、評価コード」
AI研究者が必要とするリソースを揃えたフレームワークだ。
（アレン AI 研究所）
https://en.wikipedia.org/wiki/Allen_Institute_for_AI
「マイクロソフトの共同創設者で慈善家の故ポール アレン氏によって 2014 年に設立」
「オルモ（つーのかあ？）：」
「2023 年 5 月 11 日、AI2 は、他の最先端の言語モデルのパフォーマンスに匹敵することを目的としたオープン言語モデルである OLMo を開発していると発表」
「2024 年 2 月に、コード、中間スナップショットとログを含むモデルの重み、Dolma トレーニング データセットのコンテンツを含むオープンソース化が行われ、利用可能な最もオープンな最先端のモデルになりました。」
AI業界は、R＆Dと商業的収穫とが同時並列的に行われている。
オープンAIを巡るイーロンマスクのゴタゴタは、そういう状況の中で起こったわけだ。
オープンとは何か。
（米OpenAI、“イーロン・マスク氏の訴訟”に反論 メール文面も公開 “Open”の意味も明らかに）
https://www.itmedia.co.jp/news/articles/2403/06/news139.html
「マスク氏は、（OpenAIの）ミッションがAGIをオープンソース化することではないと理解していた。マスク氏に対して『OpenAIの“Open”は、AIの構築後、誰もがAIの成果から恩恵を受けられるべきだということを意味する」（AGI：Artificial General Intelligence：汎用型人工知能）
世の中には、様々な「オープン」があるもんだな・・・。
ＡＩ：OpenELM
（Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開）
https://www.itmedia.co.jp/news/articles/2404/25/news103.html
「「OpenELM」（ELMはEfficient Language Model、効率的な言語モデルの略）をHugging Faceで公開」（Hugging Faceというはリポジトリの一つらしい。）
「パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億」
うーん、ビミョーだ・・・。
「米Microsoftも前日、iPhoneで稼働可能なSLM「Phi-3」を公開している。」
真っ向勝負だな。
ヴァージは、うがった記事を書いている。
（Apple の新しい AI モデルは、AI が iPhone にどのように導入されるかを示唆しています）
https://www.theverge.com/2024/4/24/24139266/apple-ai-model-openelm-iphone-laptops-strategy
「同社の当面の野心は「AI を Apple デバイス上でローカルに実行させる」という領域にしっかりと据えられているようだ。」
ヴァージに限らず、業界はそう睨んでいるようだが、果たしてエッジサイドの展開が確定的なのかどうかは分からない。
「Microsoft が最近リリースした Phi-3 モデルは38 億パラメータで底を打っていますが、Google の Gemma は 20 億パラメータのバージョンを提供」
オープンELMは、これらと比べても一桁小さい。
ユーザーの手元で、ローカルに動くAIは、依然として幻のままだ。
研究レベルの話だから、これをトレンドや商品展開と結びつけるのは危険だ。
が、技術的には何でもできると見せつけることは重要だな。
アップルにとっては、株価対策に過ぎないかもしれない（そうなのかあ？）。
検索したら、ハグフェイスのページもヒットした。
（OpenELM: オープンソースのトレーニングおよび推論フレームワークを備えた効率的な言語モデル ファミリ）
https://huggingface.co/apple/OpenELM
「公開されているデータセットでトレーニングされたこれらのモデルは、安全性の保証なしで利用できます。したがって、これらのモデルは、ユーザーのプロンプトに応じて、不正確、有害、偏った、または不快な出力を生成する可能性があります。したがって、ユーザーと開発者は徹底的な安全性テストを実施し、特定の要件に合わせた適切なフィルタリング メカニズムを実装することが不可欠です。」
生のままのAIなわけで、そのままプロンプトを投げるわけにはいかない。
ヤバいな・・・。
ヤバ過ぎ！。
日進月歩のAI。
いや、秒進分歩か・・・。
＜以下追加＞ーーーーーーーーーー
（AppleがiPhoneやiPadでローカルに動作するオープンソースの言語モデル「OpenELM」をリリース）
https://gigazine.net/news/20240425-apple-openelm-open-source-models/
「OpenELMの特徴の1つが、Transformerの各レイヤーにおけるパラメーター数を変化させることでモデル全体のパラメーターを効率的に配分する「layer-wise scaling」という手法」
「入力に近いレイヤーではアテンションやフィードフォワードのための潜在パラメーターの次元を小さくし、出力に近づくにつれて徐々にレイヤーを広げていきます。」
「従来の言語モデルでは、全てのレイヤーで同じ設定を持つことが一般的」
「言語モデルに特定のタスクを行うための指示を与え、そのタスクに特化した学習を行う「Instruction Tuning」を適用」
「加えて、OpenELMはLow-Rank Adaptation(LoRA)やDecomposed Low-Rank Adaptation(LoRA)など、パラメーター効率のいいファインチューニング(微調整)を行う方法が適用可能」
小技連発！。
神は細部に宿る・・・。
まあ、どうでもいいんですが。
「The Vergeは「メールの文面作成などテキスト関連のタスクをAppleデバイス上で効率的に実行する」可能性に期待」
マルチモーダルじゃなくてえ？。
うーん、エッジサイドこそ、そっちのニーズが高くなるような気がするんだがな。
まあいい。
比較対象として挙げられているOLMoのページも覗いてみた。
（オープン言語モデル: OLMo）
https://allenai.org/olmo
「データ、トレーニング コード、モデル、評価コード」
AI研究者が必要とするリソースを揃えたフレームワークだ。
（アレン AI 研究所）
https://en.wikipedia.org/wiki/Allen_Institute_for_AI
「マイクロソフトの共同創設者で慈善家の故ポール アレン氏によって 2014 年に設立」
「オルモ（つーのかあ？）：」
「2023 年 5 月 11 日、AI2 は、他の最先端の言語モデルのパフォーマンスに匹敵することを目的としたオープン言語モデルである OLMo を開発していると発表」
「2024 年 2 月に、コード、中間スナップショットとログを含むモデルの重み、Dolma トレーニング データセットのコンテンツを含むオープンソース化が行われ、利用可能な最もオープンな最先端のモデルになりました。」
AI業界は、R＆Dと商業的収穫とが同時並列的に行われている。
オープンAIを巡るイーロンマスクのゴタゴタは、そういう状況の中で起こったわけだ。
オープンとは何か。
（米OpenAI、“イーロン・マスク氏の訴訟”に反論 メール文面も公開 “Open”の意味も明らかに）
https://www.itmedia.co.jp/news/articles/2403/06/news139.html
「マスク氏は、（OpenAIの）ミッションがAGIをオープンソース化することではないと理解していた。マスク氏に対して『OpenAIの“Open”は、AIの構築後、誰もがAIの成果から恩恵を受けられるべきだということを意味する」（AGI：Artificial General Intelligence：汎用型人工知能）
世の中には、様々な「オープン」があるもんだな・・・。
コメントをどうぞ
※メールアドレスとURLの入力は必須ではありません。 入力されたメールアドレスは記事に反映されず、ブログの管理者のみが参照できます。
※なお、送られたコメントはブログの管理者が確認するまで公開されません。
※投稿には管理者が設定した質問に答える必要があります。