Geekbenchは、人工知能（AI）ベンチマークソフト「Geekbench」をゴールデンタイムにリリースします。開発元Primate Labsは、新たに「Geekbench AI」（プレビュー期間中は「Geekbench ML」）に名称を変更し、バージョン1.0をリリースしました。このベンチマークソフトは、Windows、Linux、macOSに加え、Android版はGoogle Playストア、iPhoneおよびiPad版はApple App Storeで入手可能です。
通常のGeekbenchではCPUのスコアを2つ提供しますが、Geekbench AIでは複数のスコアを使用します。この場合、ソフトウェアは単精度データ、半精度データ、量子化データという、精度の範囲が異なる3つのスコアを使用します。Primate Labsは、これは「AIパフォーマンスの多次元性と、異なるハードウェア設計の影響をより適切に説明するため」だと主張しています。
しかし、もう一つの要素、つまり正確性があります。各テストの別の測定では、ワークロードが期待値にどれだけ近いかを確認します。Primate Labsは、ホットドッグの存在を検出するモデルを例に挙げて説明しました。
「ホットドッグ物体検出モデルは非常に高速に動作したとしても、実際にホットドッグが存在する場合の0.2%しか正確に検出できないのであれば、あまり良いとは言えません」と説明されています。「この精度測定は、開発者がデータタイプの小型化によるメリットとデメリットを把握するのに役立ちます。これにより、（潜在的に！）精度の低下を犠牲にして、パフォーマンスと効率性を向上させることができます。当社のデータベースを用いて、パフォーマンスの一部として精度を比較することで、開発者は相対的な効率性を推定することもできます。」
AI 1.0のリリースに伴い、多数の新しいフレームワークが利用可能になりました。WindowsではOpenVINO、ONNX、Qualcomm QNN、LinuxではOpenVINO、AndroidではSamsung ENN、ArmNN、Qualcomm QNNを含む「ベンダー固有のTensorFlow Lite Delegates」がサポートされるようになりました。同社によると、今回のリリースではさらに多くのデータセットが追加される予定です。
採点と比較
Primate Labs は、システムの不正操作、あるいはもっと丁寧に言えば「ベンダーやメーカー固有のスコアに基づくパフォーマンス調整」を防止したいと考えています。すべてのワークロードは少なくとも 1 秒間実行されるため、テスト中にデバイスが最高のパフォーマンス レベルに到達する時間が確保されます。
Primate Labsは、この技術はスマートフォンとデスクトップ、あるいはAI GPUの違いを示すのにも役立つと示唆している。同社によると、テストが速すぎるとデバイスは実際のパフォーマンスを過小評価する可能性があるという。
通常のGeekbenchと同様に、Geekbench AIはGeekbenchブラウザにレポートします（そして、今後のハードウェアリークの材料となる可能性もありますが、誰にも分かりません）。最高性能のデバイスは
ここ最新の結果は
ここ。
現在、大手ハードウェアメーカー以外でAIパフォーマンスを測定する方法はほとんどないため、これは歓迎すべき追加機能です。Primate Labsはブログ投稿で、SamsungやNvidiaをはじめとする企業がこのソフトウェアを使用していると述べており、同社はこのソフトウェアが急速に進化し、今後も多くのリリースが予定されていると示唆しています。
しかし、現状ではAIのユースケースが限られているため、実世界のAIパフォーマンスを評価するのは困難です。そのため、AIの真価を判断するには、ほんの数種類のベンチマークに大きく依存しています。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
アンドリュー・E・フリードマンは、Tom's Hardwareのシニアエディターで、ノートパソコン、デスクトップパソコン、ゲーム機を専門としています。最新ニュースにも精通しており、ゲームとテクノロジーをこよなく愛する彼は、Tom's Guide、Laptop Mag、Kotaku、PCMag、Complexなど、数々のメディアに記事を掲載してきました。Threads（@FreedmanAE）とBlueSky（@andrewfreedman.net）でフォローしてください。Signal（andrewfreedman.01）で彼にヒントを送ることもできます。
