🐱ＧＩＭＰ:文字を入れる ― 2024年04月16日 03:40
ＧＩＭＰ:文字を入れる
（文字を入れる）
https://gimp.jp.net/simpleillust_text.html
「文字を入れる：
・文字を打つ
・文字を移動する
・文字の再編集
・文字をフチどる
・文字を光らせる」
文字レイヤーは、いろいろ特殊事項が多く、これまでの描画レイヤーと比べると扱いが難しい。
レイヤーが自動的に作成されたり、縁取りは選択範囲を拡張して重ねたり、光らせる「影」を濃くするのに、レイヤーをコピーして重ねたりする。
ヘロヘロだ・・・。
この後、背景を追加したりするんだろうが、今日はここまで。
日本語の文字を画像に追加するために、GIMPをマスターしようなどと考えていた浮沈子が愚かだと、よーっく理解できた。
まあいい。
後悔先に立たず。
後から悔やむから、「後悔」なわけだ。
残りの課題は２つになった。
・背景を追加する
・JPEG形式でエクスポート
まあ、エクスポートは、既にやっているからな。
ちなみに、ブログに上げている画像は、スクリーンキャプチャーをウインドウズのペイントで切り取ったもの。
そう、ウインドウズ版のGIMPを使ってるからな。
一通り基礎編が終わった段階で、最初からもう一度、クロームブックに苦労してインストールしたデビアンリナックス上のGIMP（日本語化済み！）で、同じことが出来るかどうかを確認するつもりだ（えーと、高性能の拡大鏡が必要だけどな）。
やれやれ・・・。
ちなみに、操作は既に忘却の彼方だからな。
しかし、今度はマニュアルが２４インチモニターで読めるという、得難いメリットがある。
まあ、どうでもいいんですが。
今日は、ちょっとした発見があった。
今までも気になっていたんだが、ＧＩＭＰのバージョンは２．１ではない！。
２．１０（２＋１０）という記法なわけだ。
ところが、以前のバージョンが２．８となっているので、浮沈子はこっちの方が新しいとばかり思ってたんだがな。
さにあらず・・・。
文字の背景を光らせる（つーか、色付きの影を付ける）レイヤーの選択が、２．８と２．１０とでは異なるという話が出ていたので、ようやく謎が解けたわけだ。
あとわずかで基礎編は終わる。
別に、GIMP使いになりたいわけじゃない。
クロームブック上で、このブログに添付している画像の加工（線を描いたり、文字を入れたり）することをやりたいだけ。
で、そっちの方はグーグルのオマケソフト（グーグル図形描画（google drawings）：ウェッブサービス？）で出来ることが分かっている。
じゃあ、何のためにGIMPの使い方を調べているのか。
正直言って、成り行きとしか言いようがない。
基礎編が終わって、応用編（知っておきたい機能、こんな時はどう加工する？、データや機能の追加など）に進むかどうかは分からない。
スクリプトは手を出さないし、ツールの詳細については、必要があればその都度調べてもいい。
いずれにしても、もう暫くは、GIMPと付き合う。
うーん、浮沈子は、ペイントで十分なんだがな・・・。
（文字を入れる）
https://gimp.jp.net/simpleillust_text.html
「文字を入れる：
・文字を打つ
・文字を移動する
・文字の再編集
・文字をフチどる
・文字を光らせる」
文字レイヤーは、いろいろ特殊事項が多く、これまでの描画レイヤーと比べると扱いが難しい。
レイヤーが自動的に作成されたり、縁取りは選択範囲を拡張して重ねたり、光らせる「影」を濃くするのに、レイヤーをコピーして重ねたりする。
ヘロヘロだ・・・。
この後、背景を追加したりするんだろうが、今日はここまで。
日本語の文字を画像に追加するために、GIMPをマスターしようなどと考えていた浮沈子が愚かだと、よーっく理解できた。
まあいい。
後悔先に立たず。
後から悔やむから、「後悔」なわけだ。
残りの課題は２つになった。
・背景を追加する
・JPEG形式でエクスポート
まあ、エクスポートは、既にやっているからな。
ちなみに、ブログに上げている画像は、スクリーンキャプチャーをウインドウズのペイントで切り取ったもの。
そう、ウインドウズ版のGIMPを使ってるからな。
一通り基礎編が終わった段階で、最初からもう一度、クロームブックに苦労してインストールしたデビアンリナックス上のGIMP（日本語化済み！）で、同じことが出来るかどうかを確認するつもりだ（えーと、高性能の拡大鏡が必要だけどな）。
やれやれ・・・。
ちなみに、操作は既に忘却の彼方だからな。
しかし、今度はマニュアルが２４インチモニターで読めるという、得難いメリットがある。
まあ、どうでもいいんですが。
今日は、ちょっとした発見があった。
今までも気になっていたんだが、ＧＩＭＰのバージョンは２．１ではない！。
２．１０（２＋１０）という記法なわけだ。
ところが、以前のバージョンが２．８となっているので、浮沈子はこっちの方が新しいとばかり思ってたんだがな。
さにあらず・・・。
文字の背景を光らせる（つーか、色付きの影を付ける）レイヤーの選択が、２．８と２．１０とでは異なるという話が出ていたので、ようやく謎が解けたわけだ。
あとわずかで基礎編は終わる。
別に、GIMP使いになりたいわけじゃない。
クロームブック上で、このブログに添付している画像の加工（線を描いたり、文字を入れたり）することをやりたいだけ。
で、そっちの方はグーグルのオマケソフト（グーグル図形描画（google drawings）：ウェッブサービス？）で出来ることが分かっている。
じゃあ、何のためにGIMPの使い方を調べているのか。
正直言って、成り行きとしか言いようがない。
基礎編が終わって、応用編（知っておきたい機能、こんな時はどう加工する？、データや機能の追加など）に進むかどうかは分からない。
スクリプトは手を出さないし、ツールの詳細については、必要があればその都度調べてもいい。
いずれにしても、もう暫くは、GIMPと付き合う。
うーん、浮沈子は、ペイントで十分なんだがな・・・。
🐱ＡＩ：AI Index Report ― 2024年04月16日 23:49
ＡＩ：AI Index Report
（「AIは人間より高性能だが一部のテストでは人間の方が優秀」「高性能AIの学習コストは数百億円」などをまとめたスタンフォード大学のレポート「AI Index Report 2024」が公開される）
https://gigazine.net/news/20240416-ai-index-report-2024/
「スタンフォード大学はAIの能力や研究状況などをまとめたAI Index Reportを2017年から毎年公開しています。」
ギガジンは昨年の版についても記事にしている。
（「AI開発で企業は学会よりも先行」「AIは環境を助けると同時に害も」「世界最高の新人科学者はAI」「AIの悪用に関するインシデントの数は急速に増加」などAIの実態をレポートする「AI Index Report 2023」をスタンフォード大学が公開）
https://gigazine.net/news/20230405-artificial-intelligence-index-report/
今年の記事にあるリンクを辿ると、下の方に各年の版がリンクされていて、インタラクティブな展開で概要から詳細に至るまで読むことが出来る。
AI Index Report 2024 – Artificial Intelligence Index
https://aiindex.stanford.edu/report/
もちろん、英語サボってた浮沈子は、グーグル自動翻訳が頼りだ。
で、傾向を見ると面白いことに気付く。
２０１７：１０１ページ：中国語、ウルドゥー語、韓国語
２０１８：９４ページ：中国語、日本語、韓国語、フランス語
２０１９：２９１ページ：翻訳版なし（以下同じ）
２０２１：２３０ページ
２０２２：２３０ページ
２０２３：３８６ページ
２０２４：５０２ページ
PDFのページ数が、不連続に増えている。
翻訳版がなくなった事情についてはよく分からない（未確認）。
AI業界のトレンドを知るには、格好の資料だろうな。
内容については、それぞれの年の版で概要が示されているし、それ程難しくはないのでそちらに委ねる。
２０２３年版には、エネルギー消費についての記述があったので、事例として取り上げてみよう。
この項は、第２章に登場する。
「第 2 章: 技術的パフォーマンス：
・・・
・AI は環境に貢献すると同時に、環境に害を及ぼします。」
「新しい研究は、AI システムが環境に深刻な影響を与える可能性があることを示唆しています。 Luccioni et al., 2022 によると、BLOOM のトレーニング走行では、ニューヨークからサンフランシスコまでの片道旅行で飛行機を利用する 1 人の旅行者の 25 倍の二酸化炭素を排出しました。それでも、BCOOLER のような新しい強化学習モデルは、AI システムを使用してエネルギー使用量を最適化できることを示しています。」
記事は、スタンフォードの原文から自動翻訳（PDF、資料とも１２０ページから）。
「計算リソースと AI のトレーニングと推論に必要なエネルギーが環境に与える影響についての懸念が高まっています。 AI システムの炭素強度を追跡するための標準的なベンチマークはありませんが、このサブセクションでは、AI と環境の関係を調査しているさまざまな研究者の発見を総合します。 AI の環境への影響に関する研究を実施することは、推定値が大きく異なり、その妥当性がまだ最終的に確立されていないため、困難でした。 そのために、AI インデックスは、2022 年の Luccioni らによる最近の論文の研究に焦点を当てています。AI モデルの規模が拡大し続け、より普遍的に導入されるにつれて、AI 研究コミュニティがその効果を意識的に監視することがますます重要になるでしょう。 AI システムは環境に影響を与えます。」（イントロダクション？）
「2.8 環境」
「選択された大規模言語モデルの環境への影響」
「AI システムによって排出される炭素排出量は、モデル内のパラメーターの数、データセンターの電力使用効率、グリッドの炭素強度など、多くの要因によって決まります。」
「電力使用効率 (PUE) は、データセンターのエネルギー効率を評価するために使用される指標です。 これは、コンピュータ装置に供給されるエネルギーに対する、空調を含むコンピュータ データ センター施設で使用されるエネルギーの総量の比率です。 PUE が高くなるほど、データセンターの効率は低下します。」
「図 2.8.1 は、GPT-3、Gopher、OPT、BLOOM という 4 つの大規模な言語モデル間でこれらの要素をどのように比較するかを示しています。」
「二酸化炭素排出量を報告するための会計手法が標準化されていないため、これらのモデルの二酸化炭素排出量を直接比較することは困難です。」
「比較された 4 つの言語モデルのうち、GPT3 が最も多くの炭素を放出し、Gopher の 1.4 倍、OPT の 7.2 倍、BLOOM の 20.1 倍でした。」
「図 2.8.2 は、炭素排出量の推定値を実際の例に相対化したものです。 例えば、BLOOMの訓練走行では、平均的なアメリカ人が1年間に使用する二酸化炭素排出量の1.4倍、乗客1名がニューヨークからサンフランシスコまで往復する場合の25倍の二酸化炭素を排出した。 BLOOM のトレーニングでは、アメリカの平均的な家庭に 41 年間電力を供給するのに十分なエネルギーを消費しました。」
図の２．８．１は、以下の通り（項目の翻訳はテキトー）。
「一部の機械学習モデルの環境への影響、2022 年（出典: ルッチョーニ他、2022）」
モデル名：パラメータ数（ビリオン）：電力使用効率（PUE）：グリッド炭素強度（gC02eq/kWh）：消費電力（MWh）：二酸化炭素相当排出量（トン）：←とPUEとの積（トン）：
・Gopher：280：1.08：330：1,066：352：380
・BLOOM：176：1.20：57：433：25：30
・GPT-3：175：1.10：429：1,287：502：552
・OPT：175：1.09：231：324：70：76.3
データセンターの電力使用効率はあんま変わらないけど、言語モデルによる消費電力の差はベラボーだ。
図の２．８．１は、ギガジンの記事にも引用されているので割愛する。
この項の最後には、コラムが添えてある。
「物語のハイライト:
AI を使用してエネルギー使用を最適化する」
おっと、昨日のAI先生（ｒ＋）と同じ観点だな。
「AI システムのトレーニングには、非常に多くのエネルギーが消費される場合があります。」
「同時に、最近の研究では、AI システムを使用してエネルギー消費を最適化できることが示唆されています。」
「2022 年、DeepMind は、Google のデータセンターの冷却手順を最適化するために、BCOOLER (BVE ベースの COnstrained Optimization Learner with Ensemble Regularization) と呼ばれる強化学習エージェントをトレーニングした 2021 年の実験の結果を発表しました。」
「図 2.8.3 は、BCOOLER の特定の実験による省エネ結果を示しています。」
「3 か月にわたる実験の終了時点で、BCOOLER は約 12.7% のエネルギー節約を達成しました。 BCOOLER は、ビル管理者が好む冷却快適レベルを維持しながら、これらの節約を達成することができました。」
「一部の BCOOLER 実験の長期にわたるエネルギー節約結果
（出典: Luo et al.、2022）」
図の 2.8.3も省略する。
うーん、改善としては大した効果はないな。
言語モデルの選択の方が、はるかに効果的な気がする。
が、AIが自らの首を絞めることはないだろう。
例によって、今日もＡＩ先生（ｒ＋）に訊いてみよう。
（CohereForAI/c4ai-command-r-plus）
https://huggingface.co/spaces/CohereForAI/c4ai-command-r-plus
「Ｑ．ＡＩにおいてエネルギー効率が高い言語モデルは何ですか」
「Ａ.エネルギー効率が高い言語モデルは、AIコミュニティでますます注目を集めているトピックであり、いくつかの主要なアプローチがあります。
1. 圧縮モデル：これらのモデルは、パラメーターの数を減らすことによって、エネルギー効率を高めるように設計されています。例えば：
・DistillBERT：BERTモデルを圧縮したバージョンで、オリジナルのBERTモデルと比較してサイズが小さく、処理速度が速く、エネルギー効率が高いです。
・MobileBERT：モバイルデバイスや組み込みシステムでの使用に焦点を当てた、小型で効率的なBERTモデルです。
2. 量子的モデル：量子コンピューティングの原理を利用して、エネルギー効率の高い計算を可能にします。例えば：
・Quantum BERT：IBMによって開発された、量子コンピューティングと古典的なニューラルネットワークを組み合わせたモデルです。
・AnnealingBERT：このモデルは、シミュレーテッド・アニーリングと呼ばれる量子着想技術を利用して、エネルギー効率の高い推論を可能にします。
3. 効率的なアーキテクチャ：これらのモデルは、エネルギー効率の高いアーキテクチャ設計に重点を置いています。例えば：
・EfficientNet：スケーラブルなモデルアーキテクチャで、計算効率を最大化するためにネットワークの幅、高さ、解像度を調整します。
・MobileNet：モバイルデバイスでの効率的な推論のために設計された軽量なCNNアーキテクチャです。
4. 低ランク近似：このアプローチでは、大規模な行列をより小さな低ランク近似に置き換えることで、計算とメモリ要件を削減します。例えば：
・Low-Rank BERT：オリジナルのBERTモデルよりも大幅に少ないパラメーターを使用しながら、同様の性能を維持します。
5. プリトレーニングされたモデルの蒸留：大規模なモデルをより小さなモデルに蒸留することで、エネルギー効率を高めることができます。例えば：
・TinyBERT：BERTモデルを蒸留して、より小型で効率的なモデルを作成します。
以上の例は、エネルギー効率の高い言語モデルを開発するための一般的なアプローチの一部です。研究者は、計算量を減らし、AIシステムのエネルギー消費を削減するための新しい技術を絶えず開発しています。」
具体なモデル名を聞きたかったんだがな（Ｉ社のBERTだけかあ？）。
この辺りを、分かりやすく解説してくれている記事も見つけた。
（生成AIって環境に悪いの？ 専門家がChatGPTのカーボンフットプリントを解説）
https://www.gizmodo.jp/2023/06/chatgpt-app-ai-is-generative-ai-bad-for-the-environment.html
「｢ジェネレーティブ（生成）｣とは、AIアルゴリズムが複雑なデータを生産する能力のことをいいます。他には｢ディスクリミネーティブ（識別）｣。こちらは一定の選択肢の中から1つを選ぶというものです。」
「識別」ＡＩって、聞いたことなかったけどな。
「ローンの申請を許可するか否かの判定がこれにあたります。一方で、生成（ジェネレーティブ）AIは、文章や画像、ショート動画など、より複雑なアウトプットが可能」
まあいい。
「音声リプライを生成するスマートスピーカーや検索ワードの提案など、生成AI自体は以前から広く使用されてきました。しかし、人間の言葉のようなテキストやリアルな画像を生成できるのようになったのは最近のことです。」
「2019年に研究者たちによって明らかにされたのは、1億1000万のパラメーターを持つ生成AIモデルBERTが消費するエネルギーは、大陸横断往復1人分の飛行機の消費エネルギーと同等」
「GPT-3のパラメーターは1750億と非常に大きく、研究員の予測では1287メガワット時の電力を消費し、552トンの二酸化炭素を排出」
「フランスのBigScienceプロジェクトが開発したオープンアクセスのBLOOMモデルは、サイズこそGPT-3に近いですが、カーボンフットプリントは非常に低く、消費電力は433メガワット時、二酸化炭素排出量（Co2eq）は30トン」
この辺りの言語モデルは、スタンフォードの資料にも挙がっている。
「ほんの数年前まで、BERTやGPTというモデルを使っていたのは主に研究所の人間でした。それが変わったのが2022年11月30日（現地時間）、OpenAIがChatGPTをリリースした日です。」
「公開されている最新データによれば、今年3月のChatGPTのアクセス数は15億回を超えています。」
１年以上前の話だからな。
まあいい。
「1つ利点としては、検索エンジンを使用するよりもチャットbotの方が直接的に情報を取得できること。検索結果ページのリンク一覧の代わりに、答えがでてきますからね（答えの正確性は上がっていくとして…）。より素早く情報にたどりつくことで、検索エンジンより高い消費エネルギーを相殺することはできるかもしれません。」
グーグルの検索エンジンをグリグリするのが日課の浮沈子には、いささか耳の痛い話だな。
もちろん、だからといってパソコンの使用率や検索が減るわけじゃないだろう。
ＡＩで効率が上がれば、それだけこなせる作業が多くなるわけだからな。
浮沈子的理想としては、キーワードをいくつか投げると、気の利いた与太ブログを、決め台詞を織り交ぜて自動で書いてくれるやつが欲しい（そういうのは、たぶん、とっくにできてるに違いないけど：未確認）。
ビジネスや論文作成などの「まともな使用法」じゃなくて、もっと人生を豊かにする効果に期待したいな。
カーボンフットプリントの小さい生成ＡＩの登場に、大いに期待したいものだ・・・。
（「AIは人間より高性能だが一部のテストでは人間の方が優秀」「高性能AIの学習コストは数百億円」などをまとめたスタンフォード大学のレポート「AI Index Report 2024」が公開される）
https://gigazine.net/news/20240416-ai-index-report-2024/
「スタンフォード大学はAIの能力や研究状況などをまとめたAI Index Reportを2017年から毎年公開しています。」
ギガジンは昨年の版についても記事にしている。
（「AI開発で企業は学会よりも先行」「AIは環境を助けると同時に害も」「世界最高の新人科学者はAI」「AIの悪用に関するインシデントの数は急速に増加」などAIの実態をレポートする「AI Index Report 2023」をスタンフォード大学が公開）
https://gigazine.net/news/20230405-artificial-intelligence-index-report/
今年の記事にあるリンクを辿ると、下の方に各年の版がリンクされていて、インタラクティブな展開で概要から詳細に至るまで読むことが出来る。
AI Index Report 2024 – Artificial Intelligence Index
https://aiindex.stanford.edu/report/
もちろん、英語サボってた浮沈子は、グーグル自動翻訳が頼りだ。
で、傾向を見ると面白いことに気付く。
２０１７：１０１ページ：中国語、ウルドゥー語、韓国語
２０１８：９４ページ：中国語、日本語、韓国語、フランス語
２０１９：２９１ページ：翻訳版なし（以下同じ）
２０２１：２３０ページ
２０２２：２３０ページ
２０２３：３８６ページ
２０２４：５０２ページ
PDFのページ数が、不連続に増えている。
翻訳版がなくなった事情についてはよく分からない（未確認）。
AI業界のトレンドを知るには、格好の資料だろうな。
内容については、それぞれの年の版で概要が示されているし、それ程難しくはないのでそちらに委ねる。
２０２３年版には、エネルギー消費についての記述があったので、事例として取り上げてみよう。
この項は、第２章に登場する。
「第 2 章: 技術的パフォーマンス：
・・・
・AI は環境に貢献すると同時に、環境に害を及ぼします。」
「新しい研究は、AI システムが環境に深刻な影響を与える可能性があることを示唆しています。 Luccioni et al., 2022 によると、BLOOM のトレーニング走行では、ニューヨークからサンフランシスコまでの片道旅行で飛行機を利用する 1 人の旅行者の 25 倍の二酸化炭素を排出しました。それでも、BCOOLER のような新しい強化学習モデルは、AI システムを使用してエネルギー使用量を最適化できることを示しています。」
記事は、スタンフォードの原文から自動翻訳（PDF、資料とも１２０ページから）。
「計算リソースと AI のトレーニングと推論に必要なエネルギーが環境に与える影響についての懸念が高まっています。 AI システムの炭素強度を追跡するための標準的なベンチマークはありませんが、このサブセクションでは、AI と環境の関係を調査しているさまざまな研究者の発見を総合します。 AI の環境への影響に関する研究を実施することは、推定値が大きく異なり、その妥当性がまだ最終的に確立されていないため、困難でした。 そのために、AI インデックスは、2022 年の Luccioni らによる最近の論文の研究に焦点を当てています。AI モデルの規模が拡大し続け、より普遍的に導入されるにつれて、AI 研究コミュニティがその効果を意識的に監視することがますます重要になるでしょう。 AI システムは環境に影響を与えます。」（イントロダクション？）
「2.8 環境」
「選択された大規模言語モデルの環境への影響」
「AI システムによって排出される炭素排出量は、モデル内のパラメーターの数、データセンターの電力使用効率、グリッドの炭素強度など、多くの要因によって決まります。」
「電力使用効率 (PUE) は、データセンターのエネルギー効率を評価するために使用される指標です。 これは、コンピュータ装置に供給されるエネルギーに対する、空調を含むコンピュータ データ センター施設で使用されるエネルギーの総量の比率です。 PUE が高くなるほど、データセンターの効率は低下します。」
「図 2.8.1 は、GPT-3、Gopher、OPT、BLOOM という 4 つの大規模な言語モデル間でこれらの要素をどのように比較するかを示しています。」
「二酸化炭素排出量を報告するための会計手法が標準化されていないため、これらのモデルの二酸化炭素排出量を直接比較することは困難です。」
「比較された 4 つの言語モデルのうち、GPT3 が最も多くの炭素を放出し、Gopher の 1.4 倍、OPT の 7.2 倍、BLOOM の 20.1 倍でした。」
「図 2.8.2 は、炭素排出量の推定値を実際の例に相対化したものです。 例えば、BLOOMの訓練走行では、平均的なアメリカ人が1年間に使用する二酸化炭素排出量の1.4倍、乗客1名がニューヨークからサンフランシスコまで往復する場合の25倍の二酸化炭素を排出した。 BLOOM のトレーニングでは、アメリカの平均的な家庭に 41 年間電力を供給するのに十分なエネルギーを消費しました。」
図の２．８．１は、以下の通り（項目の翻訳はテキトー）。
「一部の機械学習モデルの環境への影響、2022 年（出典: ルッチョーニ他、2022）」
モデル名：パラメータ数（ビリオン）：電力使用効率（PUE）：グリッド炭素強度（gC02eq/kWh）：消費電力（MWh）：二酸化炭素相当排出量（トン）：←とPUEとの積（トン）：
・Gopher：280：1.08：330：1,066：352：380
・BLOOM：176：1.20：57：433：25：30
・GPT-3：175：1.10：429：1,287：502：552
・OPT：175：1.09：231：324：70：76.3
データセンターの電力使用効率はあんま変わらないけど、言語モデルによる消費電力の差はベラボーだ。
図の２．８．１は、ギガジンの記事にも引用されているので割愛する。
この項の最後には、コラムが添えてある。
「物語のハイライト:
AI を使用してエネルギー使用を最適化する」
おっと、昨日のAI先生（ｒ＋）と同じ観点だな。
「AI システムのトレーニングには、非常に多くのエネルギーが消費される場合があります。」
「同時に、最近の研究では、AI システムを使用してエネルギー消費を最適化できることが示唆されています。」
「2022 年、DeepMind は、Google のデータセンターの冷却手順を最適化するために、BCOOLER (BVE ベースの COnstrained Optimization Learner with Ensemble Regularization) と呼ばれる強化学習エージェントをトレーニングした 2021 年の実験の結果を発表しました。」
「図 2.8.3 は、BCOOLER の特定の実験による省エネ結果を示しています。」
「3 か月にわたる実験の終了時点で、BCOOLER は約 12.7% のエネルギー節約を達成しました。 BCOOLER は、ビル管理者が好む冷却快適レベルを維持しながら、これらの節約を達成することができました。」
「一部の BCOOLER 実験の長期にわたるエネルギー節約結果
（出典: Luo et al.、2022）」
図の 2.8.3も省略する。
うーん、改善としては大した効果はないな。
言語モデルの選択の方が、はるかに効果的な気がする。
が、AIが自らの首を絞めることはないだろう。
例によって、今日もＡＩ先生（ｒ＋）に訊いてみよう。
（CohereForAI/c4ai-command-r-plus）
https://huggingface.co/spaces/CohereForAI/c4ai-command-r-plus
「Ｑ．ＡＩにおいてエネルギー効率が高い言語モデルは何ですか」
「Ａ.エネルギー効率が高い言語モデルは、AIコミュニティでますます注目を集めているトピックであり、いくつかの主要なアプローチがあります。
1. 圧縮モデル：これらのモデルは、パラメーターの数を減らすことによって、エネルギー効率を高めるように設計されています。例えば：
・DistillBERT：BERTモデルを圧縮したバージョンで、オリジナルのBERTモデルと比較してサイズが小さく、処理速度が速く、エネルギー効率が高いです。
・MobileBERT：モバイルデバイスや組み込みシステムでの使用に焦点を当てた、小型で効率的なBERTモデルです。
2. 量子的モデル：量子コンピューティングの原理を利用して、エネルギー効率の高い計算を可能にします。例えば：
・Quantum BERT：IBMによって開発された、量子コンピューティングと古典的なニューラルネットワークを組み合わせたモデルです。
・AnnealingBERT：このモデルは、シミュレーテッド・アニーリングと呼ばれる量子着想技術を利用して、エネルギー効率の高い推論を可能にします。
3. 効率的なアーキテクチャ：これらのモデルは、エネルギー効率の高いアーキテクチャ設計に重点を置いています。例えば：
・EfficientNet：スケーラブルなモデルアーキテクチャで、計算効率を最大化するためにネットワークの幅、高さ、解像度を調整します。
・MobileNet：モバイルデバイスでの効率的な推論のために設計された軽量なCNNアーキテクチャです。
4. 低ランク近似：このアプローチでは、大規模な行列をより小さな低ランク近似に置き換えることで、計算とメモリ要件を削減します。例えば：
・Low-Rank BERT：オリジナルのBERTモデルよりも大幅に少ないパラメーターを使用しながら、同様の性能を維持します。
5. プリトレーニングされたモデルの蒸留：大規模なモデルをより小さなモデルに蒸留することで、エネルギー効率を高めることができます。例えば：
・TinyBERT：BERTモデルを蒸留して、より小型で効率的なモデルを作成します。
以上の例は、エネルギー効率の高い言語モデルを開発するための一般的なアプローチの一部です。研究者は、計算量を減らし、AIシステムのエネルギー消費を削減するための新しい技術を絶えず開発しています。」
具体なモデル名を聞きたかったんだがな（Ｉ社のBERTだけかあ？）。
この辺りを、分かりやすく解説してくれている記事も見つけた。
（生成AIって環境に悪いの？ 専門家がChatGPTのカーボンフットプリントを解説）
https://www.gizmodo.jp/2023/06/chatgpt-app-ai-is-generative-ai-bad-for-the-environment.html
「｢ジェネレーティブ（生成）｣とは、AIアルゴリズムが複雑なデータを生産する能力のことをいいます。他には｢ディスクリミネーティブ（識別）｣。こちらは一定の選択肢の中から1つを選ぶというものです。」
「識別」ＡＩって、聞いたことなかったけどな。
「ローンの申請を許可するか否かの判定がこれにあたります。一方で、生成（ジェネレーティブ）AIは、文章や画像、ショート動画など、より複雑なアウトプットが可能」
まあいい。
「音声リプライを生成するスマートスピーカーや検索ワードの提案など、生成AI自体は以前から広く使用されてきました。しかし、人間の言葉のようなテキストやリアルな画像を生成できるのようになったのは最近のことです。」
「2019年に研究者たちによって明らかにされたのは、1億1000万のパラメーターを持つ生成AIモデルBERTが消費するエネルギーは、大陸横断往復1人分の飛行機の消費エネルギーと同等」
「GPT-3のパラメーターは1750億と非常に大きく、研究員の予測では1287メガワット時の電力を消費し、552トンの二酸化炭素を排出」
「フランスのBigScienceプロジェクトが開発したオープンアクセスのBLOOMモデルは、サイズこそGPT-3に近いですが、カーボンフットプリントは非常に低く、消費電力は433メガワット時、二酸化炭素排出量（Co2eq）は30トン」
この辺りの言語モデルは、スタンフォードの資料にも挙がっている。
「ほんの数年前まで、BERTやGPTというモデルを使っていたのは主に研究所の人間でした。それが変わったのが2022年11月30日（現地時間）、OpenAIがChatGPTをリリースした日です。」
「公開されている最新データによれば、今年3月のChatGPTのアクセス数は15億回を超えています。」
１年以上前の話だからな。
まあいい。
「1つ利点としては、検索エンジンを使用するよりもチャットbotの方が直接的に情報を取得できること。検索結果ページのリンク一覧の代わりに、答えがでてきますからね（答えの正確性は上がっていくとして…）。より素早く情報にたどりつくことで、検索エンジンより高い消費エネルギーを相殺することはできるかもしれません。」
グーグルの検索エンジンをグリグリするのが日課の浮沈子には、いささか耳の痛い話だな。
もちろん、だからといってパソコンの使用率や検索が減るわけじゃないだろう。
ＡＩで効率が上がれば、それだけこなせる作業が多くなるわけだからな。
浮沈子的理想としては、キーワードをいくつか投げると、気の利いた与太ブログを、決め台詞を織り交ぜて自動で書いてくれるやつが欲しい（そういうのは、たぶん、とっくにできてるに違いないけど：未確認）。
ビジネスや論文作成などの「まともな使用法」じゃなくて、もっと人生を豊かにする効果に期待したいな。
カーボンフットプリントの小さい生成ＡＩの登場に、大いに期待したいものだ・・・。
最近のコメント