🐱AI:北極に舞う雪2024年04月27日 00:59

北極に舞う雪
AI:北極に舞う雪


(無料で商用利用可能なSQL生成・コーディング・命令フォローなどのエンタープライズタスクに最適化された大規模言語モデル「Snowflake Arctic」が登場)
https://gigazine.net/news/20240426-arctic-open-efficient-foundation-language-models-snowflake/

「トップレベルのエンタープライズ向け大規模言語モデル(LLM)」

この記事の面白いところは、記事本文の中ではAIとは一言も言ってないところだな。

タイトルだけ見た時には、AIの記事とは、一瞬、気付かなかった。

が、もちろん、AIそのものであることは間違いない。

「トレーニングにかかる費用は200万ドル(約3億1000万円)未満」

これが安いのか高いのかは値ごろ感がないので分からないが、比較表に登場しているデータブリックスのDBRXが15億円くらいという記事があったように記憶しているから(つーことは、それが安いと宣伝しているわけだな)、それと比べても安いと言うことなんだろう。

「トレーニングに必要な計算量はアクティブパラメーターの数とトレーニングトークンの積に比例するとのこと。トレーニング効率が高いモデルでは、ユーザーが手頃にカスタムモデルを作成できるというメリットがあります。」

これからのAIは、この「トレーニング効率の高さ」が一つの指標になるのかもしれない。

「Snowflake Arcticでは独自のDense-MoEハイブリッドトランスフォーマーアーキテクチャを使用」

「合計128人の「専門家」に合計4800億(480B)パラメーターが振り分けられており、トレーニングと推論では専門家の中から合計170億(17B)パラメーターだけが使用」

もう、MoEは当たり前で、そのMoEの出来不出来が問われる話だ。

「フェーズごとに学習内容を変更し、最初の1兆(1T)トークン分にあたるフェーズ1では常識的な推論など一般的なスキルを学習し、後半のフェーズ2とフェーズ3でコーディングや数学など複雑な内容を学習する」

「トレーニングだけでなく推論も効率良く行える」

「少ない計算量で高いパフォーマンスを発揮する」

AIにおける省エネ省資源に注目している浮沈子は、この辺りの指標には興味を惹かれるところだ。

が、まあ、ベンチマーク自体は「並み」の性能という感じだな(画像参照)。

むしろ、リャマ3の70Bやミクストラル8x22Bのバランスの良さが光る。

MoEは、確かにコスト効率は高いかもしれないけど、中規模以下のモデルで絶対性能が突出して高いわけではない。

スケーラビリティの良さを最大限に生かして、超巨大LLMに展開してこそ真価を発揮するような気がする(未確認)。

デモページがあると言うので、早速、例の質問を・・・。

(スノーフレーク北極)
https://arctic.streamlit.app/

「Q.地球外生命はいますか」

「A.私は地球外生命が存在するかどうかに関する具体的な情報を持っていませんが、科学者は、宇宙には多くの惑星があり、それらの惑星上で生命が誕生する可能性があると考えています。しかし、現時点では、地球外生命の存在は確証されていません。」

「Q.火星移民は可能ですか」

「A.火星への移民は、現在技術的に可能ですが、まだ実現していません。火星への旅行や滞在は非常に困難であり、長期間の宇宙飛行や火星上での生活に考慮すべき多くの問題があります。これらの問題には、宇宙飛行時の人体への影響、火星上での生活環境(例えば、空気、水、食料など)、火星での建設や維持管理などが含まれます。

科学者やエンジニアは現在、火星への移民を可能にするために多くの研究や開発を行っていますが、まだ完全な火星移民は実現していません。今後もこの分野での進展が期待されています。」

シンプルで常識的な範囲での回答で、まあまあの出来な気がする。

放射線や重力などの、身体的リスクへの具体な言及はないけど、ショートアンサーとしては十分だ。

SQLの生成やコーディングなどにフォーカスしてチューニングしていると言うので、そっちの能力に期待というところか。

このところ、毎日のようにAI絡みの記事が上がっている。

(NVIDIAのジェンスン・フアンCEOが「H200」搭載AIシステムをOpenAIのサム・アルトマンCEOに直接手渡す)
https://gigazine.net/news/20240426-nvidia-ceo-hand-delivers-h200-openai/

「NVIDIAは2023年11月に、AIおよびハイパフォーマンス・コンピューティング(HPC)向けのGPU「H200」を発表」

先日、H200の記事をフォローしたばかりなのにな・・・。

「2024年3月末にはH200の出荷が始まった」

「現地時間の2024年4月24日、なんとNVIDIAのフアンCEOが重要な顧客であるOpenAIに直接H200搭載AIサーバーのDGX H200を送り届けた」

「世界初のNVIDIAのDGX H200が、『AI、コンピューティング、そして人類の発展』にささげるために、ジェンスンによってOpenAIに手渡されました」(OpenAI共同創業者のグレッグ・ブロックマン氏)

「H200は前世代の「H100」と比較して推論速度が2倍、x86 CPUと比べてHPC性能が110倍になっているとアピールされています。」

「H200の性能は前世代のH100から大きく進歩しており、NVIDIAの「AIワークロードをスーパーチャージするための世界で最も強力なGPU」という主張に反論する人はほとんどいない」(テクノロジー系メディアのTom's Hardware)

既にこのブログでも取り上げたように、N社の製品リリースは、次世代のブラックウェルアーキテクチャであるB200シリーズに焦点が移っている。

今年後半と言われるタイミングは多少ずれ込むかもしれないけど、H100やH200の数倍の言われるパフォーマンスは、その他大勢(AMD、インテル、エトセエトセ・・・)を、再び大きく突き放すに違いない。

他社は、そのタイミングで、H100の競合製品を投入することになる。

勝負にならないだろうな。

そんな、ハードウェア、開発環境の爆速化と、スノーフレークアーティクルな効率を追求したLLMが両輪となって、AIの性能は一層向上して区に違いない。

その流れには、チップ製造技術の進展も絡んでくる。

(TSMCが1.6nm世代の半導体製造プロセス「A16」を2026年中に量産開始すると発表)
https://gigazine.net/news/20240426-tsmc-a16-arrive-in-2026/

「私たちは、AIがデータセンターだけでなく、パソコン、モバイル機器、自動車、さらにはモノのインターネットでも稼働する世界を迎えようとしています。TSMCでは、お客様のAIに関するビジョンを実現するために、最も包括的な技術を提供しています。それは、世界最先端のシリコンから最も幅広い先進パッケージングと3D ICプラットフォームのポートフォリオ、そしてデジタルの世界と現実の世界を統合する特殊技術に至るまで及びます」

1.6ナノメートル(16オングストローム)というのが、どれ程凄まじいかといえば、DNAの塩基対より短いという例えがピンとくる(浮沈子だけかあ?)。

(細胞から個体へ - ゲノム・遺伝子・タンパク質)
https://tsukuba.riken.jp/topics/assets/genome.pdf

「1塩基対の直径は2nm」

べらぼーめ・・・。

人類はとうとう、分子レベルでの微細加工を商業化するまでに至っている。

21世紀は、まぎれもなく訪れている。

20世紀人間な浮沈子は、微細加工技術がサブミクロン(100ナノメートル未満)になったところで、息切れしてトレースを諦めたからな。

現在は、極端紫外線リソグラフィーが最先端だ。

(極端紫外線リソグラフィー)
https://en.wikipedia.org/wiki/Extreme_ultraviolet_lithography

「インテル、キヤノン、ニコン (当時のこの分野のリーダー) に加え、オランダの企業ASMLとシリコンバレー グループ (SVG) もライセンスを求めていました。」(1990年代)

「日本企業は当時強力な技術的競争相手であり、米国企業を犠牲にして税金で資金提供された研究から利益を得るべきではないと考えられていたため、議会は日本企業に必要な許可を拒否した。」

「2001 年に SVG は ASML に買収され、ASML が重要なテクノロジーの唯一の後援者となりました。」

まあ、いろいろ紆余曲折があったわけだ。

「かつては中小企業だった ASML はスキャナー生産の世界リーダーとなり、この最先端技術の独占企業」

「米国のライセンス所有者はオランダ当局にこれらの機械を中国に販売しないよう圧力をかけました。」

記事には、重箱の隅を突っつく話が山ほど出ているが、ばっさり割愛する。

まあ、どうでもいいんですが。

前にも書いたけど、AIはAIチップを製造することは出来ないからな。

AIがシンギュラリティを超えても、AIチップを作り出すことは出来ないだろう(たぶん)。

って、いつまで言ってられるのかな・・・。

🐱ウクライナ降伏不可避:存続2024年04月27日 04:35

ウクライナ降伏不可避:存続


(「国家存続できない」 ベラルーシのルカシェンコ大統領がウクライナに対露停戦交渉求める)
https://www.sankei.com/article/20240426-5FSJBDQLTRMYZPM75GCRFT6IKE/

「いま交渉を始めなければ国家として存続できなくなる恐れがある」(ロシアの同盟国ベラルーシのルカシェンコ大統領)

「ウクライナ軍では兵員不足が進んでいる」

「露軍がやや優勢なものの、両国軍とも「手詰まり」に陥っている」

「膠着(こうちゃく)状態にある今こそが和平合意に最も適したタイミング」

クレムリンの代弁者だからな。

鵜呑みにはできない。

が、ウクライナが兵員不足というのは、当たっているかもしれない。

(ウクライナ、在外男性に従軍促す 領事サービス停止で圧力)
https://www.bbc.com/japanese/articles/c4n1e3g41nlo

「ウクライナ政府は、兵士の動員を強化する施策の一環として、国外にいる18歳から60歳までの男性国民に対する領事サービスを停止する。」

「ウクライナ政府は昨年12月に在外ウクライナ人男性に帰国を「呼びかけた」後、彼らが国外で受ける可能性のある重要なサービスを拒否することで、さらに圧力をかけようとしているとみられる。」

「ウクライナ政府は、1000キロメートル以上に及ぶ前線を防衛するため、追加の兵力を切実に必要としている。」

「ウクライナの各都市の街頭には、祖国を守るために志願するよう兵士たちが促すポスターが貼られている。」

「しかし志願したい人たちはとっくに志願し、前線で死んでいるか、負傷しているか、疲れ果てているかのいずれかだ。」

うーん、ヤバいな・・・。

ヤバ過ぎ!。

(徴兵対象のウクライナ帰還に協力 「どんな支援も可能」―ポーランド国防相)
https://www.jiji.com/jc/article?k=2024042500710&g=int

「ウクライナ支援のためにわれわれがどれだけ力を尽くさねばならないかを耳にする中、ウクライナ人の若者をホテルやカフェで見かければ、多くの国民が憤りを覚えると思う」

こういうのも、なかなか厳しい状況を反映している話だ。

「欧州連合(EU)によると、今年1月時点で、約430万人のウクライナ人が域内に滞在しており、うち約86万人が成人男性。」

国家の存続が問われている時に、国外でぶらぶらしてるなどとはもってのほかという話だが、それも選択の一つだろう。

国民は国家の所有物ではない(まあ、そう思ってる国家は多いでしょうけど)。

欧州は、ロシアの脅威をようやく我がこととして感じ始めているようだ。

(スペインもパトリオットシステム提供を拒否、少数の迎撃弾提供に同意)
https://grandfleet.info/european-region/spain-also-refuses-to-provide-the-patriot-system-but-agrees-to-provide-a-small-number-of-interceptor-missiles/

「スペインはウクライナにパトリオットシステムを提供するようEU・NATO加盟国から圧力を受けていた」

「国防省がパトリオット提供を拒否した」「政府は少数の迎撃弾提供に同意した」「スペインが備蓄している迎撃弾は約50発しかない」

やれやれ・・・。

結局、米国が本格的支援を開始しなければ、欧州はウクライナ戦線を支え切れないわけだ。

問題だな・・・。

「ウクライナの空を完全に保護するにはパトリオットシステムもしくはSAMP/Tが26セット(レーダー、管制システム、発電機、複数のランチャーで1セット)必要」

「ひとまず7セット確保を目標」

現在は、ドイツが1セット提供することを表明しただけ・・・。

「ギリシャに続きスペインもパトリオット提供を拒否した。」

「自国の安全保障を損なう行動はとらない」(ギリシャ政府の報道官)

「パトリオットやS-300のウクライナ提供に応じない」(ミツォタキス首相)

「国防省がパトリオット提供を拒否した」「政府はEU・NATOの加盟国から圧力を受けて少数の迎撃弾提供に同意した」(スペイン)

「スペインにはドイツから購入したパトリオットシステムが3セットしかなく、内1セットはトルコのアダナに配備(シリアからトルコ領に向けて撃ち込まれるミサイル迎撃のため派遣中)され、内2セットはバレンシアの基地にあり、その内の1セットはスペイン人やウクライナ人の訓練のため使用されている。ウクライナはトルコに配備しているパトリオットを提供するよう要請してきたが国防省が拒否した。政府は代替案としてパトリオットの迎撃弾提供に同意した」

もともと50発しかないからな・・・。

「しかも弾道ミサイルの迎撃に対応したPAC-3ではなくPAC-2(MIM-104DもしくはMIM-104E)」

まあいい。

いずれにしても、背に腹は代えられない。

戦況については、悲惨な状況だが、先行き明るい話題があるわけでもないところが問題だ。

パトリオットの供与をめぐるあれこれは、結局、欧州がウクライナをどう見ているかということを明確にしている。

更には、欧州内部における相互不信も浮き彫りにした。

「もしEUが我が国の安全保障を確保すると明確に約束するのであれば支援を検討するが、NATO加盟国同士の争い(トルコとの対立)に約束を提供するのは不可能だ」「もし防空システムの譲渡を行うならギリシャが財政的負担を負わないこと、同等のシステム供給を約束することが最低条件に条件になる」(ギリシャメディアのKathimerini)

やれやれ・・・。

自国の将来の防空を犠牲にしてまで、ウクライナを支援しようという気はさらさらない。

国家は正義では動かない。

国益で動く。

欧州にとってのウクライナ支援に伴う国益は、来るべきロシアとの欧州大戦争において、如何に有利な環境を作るか、つまり、ロシアの高価値目標(戦略爆撃機とか、A50とか、潜水艦とか揚陸艦など)の破壊であって、ウクライナ国民の安全じゃないってことなわけだ(そうなのかあ?)。

もちろん、高価値目標の破壊は、ウクライナ戦線への若干の貢献は認められるとしても、おそらくはそれが主目的とは思えない。

まあ、戦闘機を爆撃に投入するなど、ロシア側もなりふり構わずに戦力をつぎ込んでいるということはあるけどな。

まあ、どうでもいいんですが。

(米国防次官、ウクライナに送ったGLSDBは上手く機能しなかったと示唆)
https://grandfleet.info/us-related/us-undersecretary-of-defense-suggests-glsdb-sent-to-ukraine-did-not-work-well/

「ウクライナに送ったGLSDBは期待外れ」

「空対地兵器を地上発射型の長距離攻撃兵器に変換してウクライナに送ったが上手く機能しなかった」「ウクライナ人は何度か試したのち諦めた」

こっちもやれやれな話だが、手抜きして開発した兵器がクズだっただけだ(確か、B社の提案だったような記憶も・・・)。

米国は、それだけ切羽詰まっていたわけで、今後の展開にも不安が残る。

(GLSDB)
https://ja.wikipedia.org/wiki/GLSDB

「ボーイング社は、小直径爆弾(SDB)の発射のために、M26ロケット弾に用いる専用の追加コンテナを提案した。」

「ボーイング社は、GLSDBが長距離精密攻撃のギャップを埋め、小型弾頭を用いることで戦略目標に対する大型ロケット弾を温存させることができると考えている。」

「GLSDBの射程は150 km 」

「実戦での使用:
ロシア国防省は2023年3月28日、初めて実戦使用を確認しロシア軍の防空システムにより撃墜、続く3月30日にはGrom-2も撃墜されたと発表した。ウクライナにある政府はどちらも使用していないと否定するコメントを出した。」

航空万能論の記事には、GPS誘導に対する懸念が示されていて、他の兵器の状況も気になるところだ。

アウディーイウカ方面の防衛ラインについても、状況は良くない。

(アウディーイウカ北側の防衛ラインが崩壊、ソロヴィオーヴェにロシア国旗が登場)
https://grandfleet.info/war-situation-in-ukraine/defense-line-north-of-audiiuka-collapses-russian-flag-appears-in-soloviove/

「アウディーイウカ北の防衛ラインがどこまで崩壊するのか予測がつかない。」(ブログ管理人)

「ロシア軍がノボカリノベ集落内を前進してT0511を越えた」「ロシア軍がソロヴィオーヴェとノボバフムティフカの南で前進した」(ウクライナ人が運営するDEEP STATE)

「ロシア軍がオチェレティネ北東部を制圧した」「ウクライナ軍はオチェレティネからアルハンヘルヅケに向った撤退した」「これをロシア軍が追い掛けて戦闘がアルハンヘルヅケで発生している」(ロシア人ミルブロガーが運営するRYBAR)

「ロシア軍がオチェレティネ、ソロヴィオーヴェ、ノボバフムティフカ周辺で見せる南北の動きはウクライナ軍に新たな後退を強いるかもしれない。」(ブログ管理人)

冒頭引用したベラルーシのルカシェンコ大統領の記事では、戦況は膠着状態というけど、それも怪しくなってきている。

米国の軍事支援の再開で、戦線崩壊が食い止められるかどうかは分からない。

中長期的には兵力不足が懸念され、欧州のウクライナ離れも心配の種だ。

そりゃあ、口先では支援すると言い、安全保障協定も結んだだろうけど、それが実際に機能するかどうかは別の話だ。

ロシアが、ウクライナに投じている以上の兵器を生産し、侵攻前より軍隊の規模が拡大している今、次に何かが起こると考えるのが自然だろう。

軍人さんは、ドンパチ以前に危機に備えるのが仕事だから、政治家や国民に警鐘を鳴らす。

そのレベルでは、間違いなく欧州大戦争は起こる。

(ドイツ国防相、ロシアの生産能力はウクライナでのニーズを上回っている)
https://grandfleet.info/european-region/german-defense-minister-says-russias-production-capacity-exceeds-needs-in-ukraine/

「ロシア軍の戦力回復は予想を上回る」「ロシアは国防支出の増加と戦時経済による合理化によって生産された大部分または一部が前線ではなく倉庫に向かっている」「楽観的な見方をすればプーチンの用心深さを示す結果だとも言えるが、私は何かの計画に基づいた結果、何かを企んでいる可能性があると思っている」(カボリ米陸軍大将)

「ロシアの生産能力はウクライナでのニーズを上回り備蓄が積み上がっている」「ロシアは国防支出の増加と戦時経済による合理化によって生産された大部分または一部が前線ではなく倉庫に向かっている」「楽観的な見方をすればプーチンの用心深さを示す結果だとも言えるが、私は何かの計画に基づいた結果、何かを企んでいる可能性があると思っている」(ドイツのピストリウス国防相)

「現在の消耗レベルで「まもなくロシアの武器・弾薬は尽きる」と期待するのは止めたほうが良い」(ウクライナ国防省情報総局のスキビツキー副局長?)

このままウクライナに支援を続け、成り行きに任せているとどうなるかは想像に難くない。

(「ベトナム同様の大失敗に終わる」 ロシア、米のウクライナ支援に反発)
https://www.sankei.com/article/20240421-AYVJU7PTSJNORBQ7FVXFF3GKWM/

「特別軍事作戦の目標は完全に達成される」(ロシア外務省のザハロワ情報局長)

国内向けのプロパガンダだからな。

だが、以下の発言は事実になるだろう。

「ゼレンスキー(ウクライナ大統領)らの苦悩は長引き、一般のウクライナ人は『大砲の餌食』として死を強要される」

ロシアが侵攻を続ける限り、そして、徹底抗戦が続く限り。

それは、ロシア人にとっても同じだ。

ルカシェンコは、プーチンも説得したのかな・・・。