🤗AI:中国製GPU&LLM2024年05月31日 06:26

AI:中国製GPU&LLM


(中国製GPUで学習した純中国製LLM「MT-infini-3B」が「Llama3-8B」を超える性能を示し中国単独で高性能AIを開発できることが明らかに)
https://gigazine.net/news/20240530-china-ai-gpu-moore-threads/

「アメリカ政府は中国によるAI研究を軍事上の脅威と捉えており、中国に対して高性能半導体の禁輸措置を実施」

「そんな中、Moore Threadsは2023年12月に独自開発のAI研究用GPU「MTT S4000」を発表」

「MTT S4000は単精度(FP32)において25TFLOPSの性能を発揮することや、CUDAとの互換性も保持している」

一応、H100 PCIeの性能を確認しておく。

(NVIDIA H100 Tensor Core GPU)
https://resources.nvidia.com/ja-jp-gpu

「項目:H100 SXM:H100 PCIe:H100 NVL(注1)
FP32:67 TFLOPS:51 TFLOPS:134 teraFLOPS」

「(注1)暫定仕様。変更される可能性があります。NVLink ブリッジとペアになった 2 枚の H100 NVL PCIe カードの仕様を示します。」

3種類の規格がよく分からなかったので、関連記事も読んだ。

(NVIDIA GPU選定のポイント:「SXMとPCIeの違いとは?」メリットやデメリットについて徹底比較)
https://www.tomorrow-net.co.jp/topics-blog-20240325/

「SXM GPUは、NVLinkおよびNVSwitch相互接続テクノロジーを使用」

「GPU間のデータの交換は、PCIeバスの制限によって速度が低下することなく行われます。」

「一方、PCIe接続の場合、GPU間のデータ交換はPCIeレーンを介して行われます。」

「GPU間のデータ転送には、PCIeの制限が影響し、速度が低下する可能性があります。」

で、注1のとおり、PCIeバス接続では遅くなっちまうのを2枚ブリッジ接続すると、速度の低下が抑えられてSXMの2倍にあたる速度が出せるというわけだ比較するなら実際に大規模データセンターで使われるだろうSXMの方が適切な気がするな。

さて、これを中華GPU(MTT S4000)と比較すると、やっぱH100の方が高速なわけで、まだまだな感じだ(67 TFLOPS対25TFLOPS:2.68倍)。

まあいい。

ところが、中華チップ(型式は明示されていませんが)でトレーニングしたLLMの方は、まんざらでもない成績を出してる。

「MT-infini-3Bはパラメーター数30億の言語モデルで、学習にかかった期間は合計13.2日とのこと。なお、Moore Threadsは学習に使用したGPUのモデル名を明らかにしていません。」

「表を見ると、MT-infini-3Bはパラメーター数80億のLlama3-8Bを上回る性能を示していることが分かります。」

うーん、英語版のMMLUは、あんまパッとしないけどな。

まあいい。

「MT-infini-3Bは中国製GPUを用いて最初から最後まで学習された最初の大規模言語モデルです」(无聞芯穹の夏立雪CEO)

輸出規制を受けている中、純国産でLLMが構築できたことは、単なる見栄じゃない。

既に、次世代のチップがリリースされているエヌビディアだが、うかうかしていると後ろから追い上げてくる連中に脅かされる羽目になりかねない(そうなのかあ?)。

(中国のGPUメーカー「Moore Threads」がAIトレーニングやデータセンター向けGPU「MTT S4000」を発表)
https://gigazine.net/news/20231220-moore-threads-mtt-s4000/

「公式発表によると、MTT S4000のMUSIFYツールはNVIDIAのCUDAとの完全な互換性があるとのことです。」

CUDAは、名目上はエヌビディア製チップでないと使えないことになってるみたいだからな。

「MTT S4000に搭載されている独自のMUSIFYツールは、NVIDIAのCUDAと完全な互換性があるため、CUDAプラットフォーム上で作成したコードをMUSAのプラットフォームに移行することが容易にできるため、移行のコストを抑えつつ、パフォーマンスの低下がなくなります」(Moore Threads)

「さらにMoore ThreadsはMTT S4000を約1000枚搭載したAIトレーニングクラスターの「KUAE Intelligent Computing Center」を発表。このKUAE Intelligent Computing Centerは、MTT S4000とRDMAネットワーキング、分散型のストレージ、統合クラスター管理ソフトウェアを組み合わせたものです。」

「MTT S4000単体での販売を行う予定はなく、KUAE Intelligent Computing Centerに関心を持つ大口顧客に向けて販売する」

開発速度としては、1年で2倍程度のパフォーマンス向上(MTT S2000(2022年4月発表)12TFLOPS→MTT S4000(2023年12月)25TFLOPS:同一比較かどうかは不明)を果たしているから、今後に期待というところか。

まあ、どうでもいいんですが。

今後、大手企業は自社でLLMの追加学習を行っていくことになると言われている。

AIが企業間競争のツールである以上、そこでも差別化していかなければ競争に勝ち残れない。

技術開発、製造、営業、企業経営、財務管理、エトセエトセでAIを巡る熾烈が戦いが繰り広げられる。

AI自体の淘汰も激しいだろう。

サムアルトマンは、単一の汎用AIに、特化されたAIが凌駕されるとしている。

(汎用AIが特化型モデルを不要に=サム・アルトマン氏最新インタビュー)
https://www.newsweekjapan.jp/yukawa/2024/05/ai-25.php

「個人的に興味深かったのは、アルトマン氏がいずれ1つの汎用AIモデルが特化型AIモデルを不要にすると考えているところ。」

その一方で、エッジサイドの軽量AIは、コンシューマー市場で重宝されるようになるだろう。

特種用途(医療など)では、専用にチューニングされたAIが生き残るかも知れない。

そのうち、AIチップの設計もAIが行うようになるだろう(もう、してるのかも:未確認)。

人間は、AIを生かしておくための「雑用」をこなす存在になり、電気を作ったり、ネットワークを維持することに専念するのかもしれない。

人工知能が発達すれば、人間は創造的な仕事や研究に専念できるというバラ色な未来は消えた。

クレイというスパコン会社があって(現在はヒューレットパッカードエンタープライズの子会社)、クレイ1という最初の機種は、周りにベンチみたいなのがあるヘンテコなデザインだった。

(Cray-1)
https://ja.wikipedia.org/wiki/Cray-1

「ベクトル型スーパーコンピュータである。この種類のコンピュータの基本構成を確立し、当時世界最高速」

内部が見えるようになっている画像を見ると、ベンチの下には液冷の配管やタンクが入っている(そうだたのか・・・)。

「1975年、クロック80MHzでピーク性能160MFLOPSのCray-1が発表された。」

メガヘルツ(メガ(10の6乗):死語?)かあ・・・。

「80MFLOPS(ピーク160MFLOPS)のCray-1」

ついさっき、テラ(10の12乗)フロップスの記事を読んでた浮沈子は、半世紀前のコンピューターの世界を朦朧として彷徨うことになる。

「クレイの設計者は多くの時間を冷却システムに費やした。このために2枚の基板の間に銅板を挟んで背中合わせにした。銅板は熱をケースの端へ送り出すので、そこにフロンの通るパイプを設置して熱を交換し、筐体下部の冷却装置でフロンを冷却した。」

「Cray-1について出願された特許は冷却システムの設計に関するものだけだった。」

へえーっ、それは知らなかったな・・・。

「配線の長さを少しでも短くするため、筐体は "C" のような形に配置された。速度に影響するものはその形の内側の端に置かれ、配線の長さを少しでも短くした。」

あの特異な形には、(当時としては)ちゃんとした理由があったわけだ。

「最初のモデルCray-1Aは、フロン冷却システムを含めて重量5.5トンであった。」

浮沈子が、この話を持ち出したのは、AIが人間の仕事を奪ってしまった後、残った仕事はスパコンの周りを掃除することだけになるという妄想からだが、お掃除ロボット(ルンバとかあ?)が出来ちまった以上、それもなくなっちまって、クレイ1のベンチに座って昼寝するしかないわけだ(そうなのかあ?)。

まあ、どうでもいいんですが。

現代のスパコンは、データセンターという大工場になっちまって、掃除は大変な仕事だろう(未確認)。

電源だって、専用の発電所(原発だそうですが)を設置する話まで出ている。

ちなみに、世界最大のデータセンターは、中国内モンゴル自治区にあるチャイナテレコムのデータセンターだそうだ。

(世界5大データセンター)
https://fineproxy.org/ja/the-5-largest-data-centers-in-the-world/

「1070万平方フィートチャイナテレコムの内モンゴル・インフォメーション・パークは、物理的な広さでは世界最大のデータセンターである。」(994062.528平方メートル)

別記事では、2番目も中国。

「中国移動も700万平方フィートの面積を持つ巨大なデータセンターです。」

これが、どれ程の広さかは分からない。

100万平方メートルと言われてもな(1km×1km)。

東京ドームは、建築面積で46,755平方メートルだそうだ。

計算すると21.261倍。

べらぼーめ・・・。

「データセンターの未来:
データセンターの将来は、規模も重要だが、自動化、AI主導の管理、グリーンエネルギー・ソリューション、より局所的で効率的なデータ処理を約束するエッジ・コンピューティングなどの革新的な技術や実践にもある。」

おっと、データセンターの未来もAI絡みか。

管理やエッジコンピューティングも出てくる。

その意味でも、AIの未来は、AIが決めるんだろうな・・・。

🐱欧州大戦争:戦争当事者2024年05月31日 13:46

欧州大戦争:戦争当事者


(バイデン米大統領、ウクライナに供与した武器使うロシア領攻撃を限定容認=米高官)
https://www.bbc.com/japanese/articles/c3gg15v5jy5o

「アメリカのジョー・バイデン大統領は30日、アメリカが供与した兵器でウクライナがロシア国内の標的を攻撃することを限定的に認めた。」

「ただし、標的は北東部ハルキウ州周辺に限るという。」

「ウクライナが「ウクライナ部隊を攻撃している、あるいは攻撃しようとしているロシア軍に反撃する」目的で、アメリカの武器を使用できるようにするよう、自分の部署が指示された」(米高官)

「ロシア国内での陸軍戦術ミサイルシステム(ATACMS)の使用や長距離攻撃を禁止する方針は、変わっていない」

「ウクライナ攻撃のため飛んでくるロシア軍機を、ロシア領空で撃墜してはいけないとは、言ったことはない」(アメリカ政府関係者)

まあ、どこまでがホントかは知らないが、この小出し感というか、具体的で個別的条件付けが出来るところが何とも言えない。

戦争をしているのは誰なのか。

「これまでのすべての段階において、我々は必要に応じて適応し、調整してきた」(アントニー・ブリンケン米国務長官)

「そして、今後もまさにそうする」(同上)

「ウクライナに大量の武器を供与しているアメリカは、エスカレーションを恐れて緩和を拒否してきた。」

適応と調整は必要だ。

際限のない武器の供与(核弾頭付き弾道ミサイルとかあ?)と、無制限の使用(モスクワOK?)はヤバ過ぎる。

そりゃあ、ウクライナがどう使うかは、最終的に彼らが決めるんだろうが、実質的には米国の制御下に置かれている。

支援を打ち切られたらどうなるのかは、この半年でいやという程分かってきたしな。

ウクライナの未来はウクライナが決めるんだろうが、ウクライナの現在は米国が決めている。

米国政府の対応の変化で、戦況が大きく変わるとは思えないけど、これからも制限緩和、供与される武器の拡大は続くということなわけだ。

建前上の対称戦が全面解禁になったわけでもなければ、ウクライナとロシアが対等の戦力で対峙しているわけでもない。

越境使用区域が限定されたことから、東部戦線など既存の戦闘区域での戦況には影響ないしな。

おそらく、スムイ州などでの侵入にも大きな影響はないだろう。

実際、侵入してからでないと、そのために集結していたと示すことは難しい。

ただし、侵入の拡大、奥地への進軍を抑止する効果は期待できるし、空爆に対しても一定の効果を発揮するかもしれない。

が、それは必用な防空システムが提供され、十分なミサイルが供給された時の話だ。

製造ラインが限られていることから、西側全体で使われる防空ミサイルの供給には限界がある。

滑空弾を積んだ航空機を、片っ端から撃墜するわけにはいかないのだ。

関係筋の情報では、元々越境しての航空機への防空ミサイル(米国提供)の使用は禁じられていないという話だしな(未確認?)。

そこは、何も変わらない可能性もある。

陸上部隊に対する、地域限定の中距離レベルの攻撃力の増加程度だ。

また、ベラルーシとの国境からの侵入に対して、どういう展開になるかについては、今後の課題と言える。

ベラルーシ国内に展開しているロシア軍の陸上部隊を、ベラルーシ内にミサイルぶっ放して攻撃するのかあ?。

ロシアは、そういう手立てを選択する可能性もある。

「そして、今後もまさにそうする」(ブリンケン:再掲)

適応と調整は続き、ウクライナが「負けない戦争」を続ける支援(!)は継続される(そういうことかあ?)。

一方、ロシアは美味しいプレゼントをもらった。

戦場の小競り合いをネタに、「西側が仕掛けた」口実を、まんまと手に入れた。

しめしめ・・・。

このパターンは、成功体験としてウクライナ戦線で今後も取り続けられる可能性がある。

欧州大戦争の引き金を西側に引かせる際の参考にもなる。

例えば、エストニアとの国境に、大量の軍隊を終結させ、ちょこっとだけ侵入してNATOに越境攻撃させるとかな。

そりゃあ、先に侵入したことは問題だが、過剰な反撃を促す前例を作ることが出来る。

紛争をエスカレートさせる「装置」だ。

ロシア側が、何を考えているかは分からない。

行き当たりばったりの無計画な行動で、ウクライナ側の反撃を受けてやむなく停滞しているのかもしれない。

越境攻撃が有効と思わせるために、幾分後退したり撤退する可能性もないとは言えない。

ウクライナが簡単に補充できない兵員というリソースを消耗させるために、最も効率的な手法を確立しようとしているようにも見える。

浮沈子的には、部分的とはいえ、米国が方針転換したことはショックだ。

もっと言えば、ウクライナにとって、戦況の悪化はそうせざるを得ないところまで進んでいるともいえる。

(ロシアの攻勢作戦評価、2024年5月30日)
https://www.understandingwar.org/backgrounder/russian-offensive-campaign-assessment-may-30-2024

「ウクライナ軍は最近ヴォフチャンスク(ボルチャンスク)付近に前進し、ロシア軍は最近ハシフ・ヤール(チャシブヤール)、アヴディーイウカ、ドネツィク市付近とヘルソン州東岸(左岸)に前進した。」(カッコ内、一部浮沈子補足)

殆ど動きがなかったドニエプル川東岸に、僅かだがロシア側の進軍が認められた。

全ての前線で圧力を加えている中で、ウクライナ軍の綻びが表面化しつつあるのかもしれない(未確認)。

ボルチャンスク市内のウクライナ軍の反撃は、今のところ小規模に留まっている。

調子に乗って、ロシアの罠に落ちないように、慎重に対応しているのかもしれない。

前線は、長期戦を睨んで、事実上の膠着状態が続いている。

本当の激戦は、兵器の製造や調達能力を巡って、はるか銃後で起こっている。

その状況に適応し、前線での展開を調整する作業は、ロシア側でも続いている。

欧州大戦争は、もう始まっている(今日は、特に断定的!)。

ひょっとすると、次のロシアの侵入点は、バルト3国のどこかかも知れない。

イニシャチブは、プーチンが握っているように見えるんだがな・・・。

<以下追加>ーーーーーーーーーー

(ドイツもロシア領攻撃容認=ウクライナ支援、米英仏に同調)
https://sp.m.jiji.com/article/show/3250475

「ロシアの侵攻を受けるウクライナが、自衛目的で独政府が供与した武器でロシア領を攻撃することを認めたと発」(ドイツのヘーベシュトライト政府報道官)

ドイツよ、お前もか・・・。

(中国がウクライナ和平の国際会議への参加見送りへ 中国側が求める条件満たさず)
https://www.sankei.com/article/20240531-6VINHVHL65KHFB5EUGNNLQMMLA/

「ロシアによる侵略を受けるウクライナが提唱する和平案実現を目指して6月15~16日にスイスで開かれる国際会議への参加が「難しい」と表明」(中国外務省の毛寧(もう・ねい)報道官)

「バイデン米大統領は欠席する観測が強まっている。」

やれやれ・・・。