テストセットアップ
テスト方法
再現性は、あらゆる有用なベンチマーク手法において最も重要な要素の一つです。すべてのテストにはある程度の不確実性が伴いますが、私たちは最小限かつ一貫した変動性を求めています。実行ごとにパフォーマンスが大きく変動するような結果は、正確なベンチマークとして使用できません。
一例を挙げると、私たちはまだ信頼できるマルチタスク ベンチマークを開発していません。読者のご要望にお応えして、Web ブラウザー、メール クライアント、メディア プレーヤー、Discord、Skype などのバックグラウンド アプリケーションを開いた状態でゲームのパフォーマンスを測定する一連のテストの作成に熱心に取り組んできました。Windows の優先順位付けは、気まぐれで説明できない要因に基づいているようです。オペレーティング システムは、スクリプト シーケンスの実行中にさまざまなバックグラウンド プロセスを予期せず一時停止し、次のシーケンスの実行中はそれらを完全にアクティブのままにします (テスト環境が変更されていない場合でも)。この予測不可能性は、開いているアプリケーションの数が増えるにつれて、さらに予測不可能になります。Windows をゲーム モードに切り替えると、状況はさらに複雑になります。今のところ、解決策はありません。マルチタスクの実験では、連続実行間で 5 FPS から 15 FPS の差が生じ、信頼できるベンチマークとして期待されるレベルには程遠い結果となっています。
幸いなことに、ゲームストリーミングははるかに簡単に制御できます。エンコードはCPUを大量に消費するタスクで、多くのサイクルを消費するため、Windowsはサスペンドしたり、その他の方法で干渉したりすることはありません。これにより、極端な外れ値のない、再現性の高いベンチマークを作成できます。
私たちが測定しているもの
ゲームストリーミングのパフォーマンス評価は、ゲーム品質とストリーミング品質という2つの軸で行われます。もちろん、バックグラウンドストリーミングの有無にかかわらず、平均、最小、そして99パーセンタイルのフレームレートを測定します。また、ストリーミングを開始するとさらに重要になる、通常のフレーム時間と分散の結果も含めます。
ストリーム品質も考慮する必要があります。つまり、エンコードされたフレームの割合を記録する必要があります。プロセッサごとにフレームレートが異なるため、実行ごとに生成されるフレーム数は異なります。そのため、正常にエンコードされたフレームの割合を「配信されたフレームの割合」として測定します。以下のテストでは、Threadripper 1950X CPU はゲームセッションで生成されたフレームの98.9%をエンコードしました。つまり、エンコードの遅延により1.1%のフレームがスキップされたことになります。
60FPSで配信しているため、望ましい16.667ミリ秒（60FPS）の閾値内でエンコードされたフレームの割合をリストすることで、配信品質を測定します。また、60FPSの閾値を上回るフレームと下回るフレームの割合も含めることで、視聴者が配信中に感じるヒッチングやスタッタリングを定量化できます。主観的な視覚的測定も依然として重要なので、見栄えの悪い配信を生成するテストについては言及します。
オープンブロードキャスターシステム
ソフトウェアエンコードアプリケーションはいくつかありますが、柔軟なチューニングオプション、詳細な出力ログ、そして幅広いストリーミングサービスとの互換性を理由に、Open Broadcasting System（OBS）を選択しました。ストリーミングサービスには、x264ソフトウェアエンコーダとYouTube Gamingを使用しています。ネットワーク干渉によるフレームドロップが報告された実行はすべて破棄されます。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
私たちの最終的な目標は、CPU パフォーマンスを測定するテストを開発することです。そのため、最も明らかなボトルネックを取り除くパラメータを選択します。EVGA GeForce GTX 1080 FE を使用して 1920x1080 でゲームをプレイすると、GPU の制限を (可能な限り) 回避できます。1 秒あたりのフレーム数が少ない低性能のビデオ カードでは、エンコードのオーバーヘッドはそれほど高くありません。また、アップロード速度 10 Mb/s でもテストしていますが、6 Mb/s 以下でもストリーミングできます。私たちのインターネット接続は、最大 35 Mb/s のアップロードに対応しています。ゲームの選択を変えるために、テストではGrand Theft Auto V、Middle-earth: Shadow of War、Battlefield 1 を選択しました。
テストの複雑さを高めるために、ウェブカメラからの同時ビデオストリーミング、ホストシステムへのゲーム録画、複数のサービスへの同時ストリーミングなど、他にもいくつかのシナリオを追加できました。変数の数を減らすため、少なくとも今のところは1つのサービスのみを採用しました。
最適なストリーミングオプションを見つけるには、ゲームやハードウェア構成ごとに微調整が必要です。ホストシステムでのゲームパフォーマンスとリモートビューアーへのストリーミング品質の間には微妙なバランスがあるため、最適な組み合わせを得るには微調整が必要です。私たちは、主観的な基準で良好なパフォーマンス範囲を提供する、やや一般的な設定を選択しました。また、幅広いテストシステムで公平な条件が確保できるオプションにこだわりました。ただし、調整できるノブは数多くあり、中には私たちが使用しているものよりも優れたパフォーマンスを発揮するものもあります（例えば、ストリーミングを30FPSに下げると、エンコードのオーバーヘッドが大幅に削減されます）。
画像
1
の
4
エンコードプリセットの調整は、システムの性能に合わせてストリーミングのパフォーマンスと品質を調整する最も直接的な方法の一つです。エンコード速度を遅くすると圧縮効率が向上し、出力品質が向上し、圧縮アーティファクトが減少します。OBSには、「超高速」（計算オーバーヘッドが最も少ない最低品質設定）から「プラシーボ」（最高のストリーミング品質を提供し、ホスト処理リソースを最も消費する設定）まで、10種類のプリセットが用意されています。プラシーボ設定はその名の通り、「低速」（プラシーボの2つ手前）のプリセットを超えると、ストリーミング品質へのリターン率が急速に低下します。特に単一のホストシステムからストリーミングしている場合は、より負荷の高い設定は、強力なプロセッサであってもすぐに機能不全に陥る可能性があります。プラシーボ設定は慎重に使用してください。
テストグループを3つのクラスに分けました。Core i3およびRyzen 3クラスのプロセッサをいくつか評価した結果、これらの設定ではストリーミングを効果的に実行できないことが判明したため、エントリーレベルのシステムにはRyzen 5およびCore i5モデルを選択しました。このクラスのCPUでは、エンコード設定を「veryfast」にしました。当然ながら、Ryzen 7/Core i7やThreadripper/Core i9チップなどのハイエンドプロセッサはより高いパフォーマンスを発揮するため、より高性能なCPUにはそれぞれ「faster」と「fast」の設定を使用しました。
異なるエンコーディングプリセットを使用してテストしているため、異なるクラスのテスト結果を直接比較することはできません。
スワイプして水平にスクロールします
| テストシステムと構成 | |
|---|---|
| ハードウェア | Intel LGA 1151 (Z370) Intel Core i5-8600K、Core i7-8700KMSI Z370 Gaming Pro Carbon AC2x 8GB G.Skill RipJaws V DDR4-3200 @ 2666 および 3200 MT/s AMD Socket AM4 AMD Ryzen 5 1600X、Ryzen 7 1800XMSI Z370 Xpower Gaming Titanium2x 8GB G.Skill RipJaws V DDR4-3200 @ 2667 および 3200 MT/s Intel LGA 1151 (Z270) Intel Core i5-7600K、Core i7-7700K MSI Z270 Gaming M72x 8GB G.Skill RipJaws V DDR4-3200 @ 2666 および 3200 MT/s AMD Socket SP3 (TR4) AMD Ryzen Threadripper 1950XAsus X399 ROG Zenith Extreme4x 8GB G.Skill Ripjaws V DDR4-3200 @ 2666 および 3200 MT/s Intel LGA 2066 Intel Core i9-7900X、Core i9-7980XEMSI X299 Gaming Pro Carbon AC4x 8GB G.Skill Ripjaws V DDR4-3200 @ 2666 および 3200 MT/sすべてEVGA GeForce GTX 1080 FE 1TB Samsung PM863 SilverStone ST1500-TI、1500W Windows 10 Creators Update バージョン 1703Corsair H115i |
詳細: 最高のCPU
詳細: IntelとAMDのプロセッサ階層
詳細: すべてのCPUコンテンツ
ポール・アルコーンはTom's Hardware USの編集長です。CPU、ストレージ、エンタープライズハードウェアに関するニュースやレビューも執筆しています。
