元テスラAIディレクターがGPT-2をわずか672ドルで24時間で再現 — GPT-4の訓練には1億ドルかかる

（画像クレジット：Shutterstock）

OpenAIは2019年にGPT-2をリリースしましたが、その学習コストは1時間あたり256ドルと報じられています。しかし、それから5年が経過し、すでにGPT-4oに到達しています。ハードウェア、ソフトウェア、そしてデータの進歩により、同じモデルの学習にかかる時間とコストは削減されます。これは、llm.cでGPT-2を再現するプロジェクトの開発者であるAndrej Karpathy氏が実証しています。

コスト削減の主な要因は、学習に8XH100ノードを1台だけ使用したことです。これにより、コストは1時間あたりわずか28ドルにまで削減され、わずか5年でほぼ90%削減されました。NvidiaはH100を2023年に発売したため、OpenAIはGPT-2の開発を開始した時点では、はるかに低消費電力のハードウェアを使用していたと考えられます。しかし、GPT-2の学習に要した時間は不明です。比較すると、GPT-4の学習コストは1億ドルを超えました。

llm.c のトレーニング速度を大幅に向上させたもう一つの要因は、GPTトレーニングを直接実装していることです。Karpathy氏は次のように述べています。「llm.c はC/CUDAでGPTトレーニングを直接実装しているため、要件は最小限です。conda環境、Pythonインタープリター、pipインストールなどは必要ありません。クラウドGPUノードを起動し、オプションでNVIDIA cuDNN、NCCL/MPIをインストールし、.binデータシャードをダウンロードしてコンパイル・実行するだけで、数分で作業を開始できます。」さらに、「その後24時間待つだけで、アンデス山脈の英語を話すユニコーンに関するサンプルをお楽しみいただけます。」と付け加えました。

llm.cプロジェクトは教育ビデオの一部として始まりましたが、Karpathy氏が「PyTorchで行き詰まった」ことをきっかけに、すぐにゼロから構築したものへと変化しました。これはAndrej氏のAIへの情熱と、プロジェクトを完成させるために惜しみない努力を惜しまない姿勢を示しています。しかしながら、彼はこれを一人で成し遂げたわけではなく、世界中の多くの開発者の支援を受けていました。