ソフトウェア開発者で自称スプレッドシート中毒者のイシャン・アナンド氏は、GPT-2をMicrosoft Excelに組み込んだ。さらに驚くべきことに、これは実際に動作する。大規模言語モデル（LLM）の仕組みや、基盤となるTransformerアーキテクチャがスマートな次トークン予測を行う仕組みについての洞察が得られるのだ。「スプレッドシートを理解できれば、AIも理解できる」とアナンド氏は胸を張る。1.25GBのスプレッドシートはGitHubで公開されており、誰でもダウンロードして試用できる。
当然のことながら、このGPT-2のスプレッドシート実装は、2024年に利用可能なLLMよりやや遅れていますが、GPT-2は最先端技術であり、2019年には多くの注目を集めました。GPT-2は「チャット」の時代以前のものなので、チャットで使うものではないことを覚えておくことが重要です。ChatGPTは、2022年にGPT-3を会話的に促すために行われた研究から生まれました。さらに、AnandはここでGPT-2 Smallモデルを使用しており、XLSB Microsoft Excelバイナリファイルには1億2,400万個のパラメーターがあり、GPT-2のフルバージョンでは15億個のパラメーターが使用されていました（GPT-3は最大1,750億個のパラメーターで基準を上回りました）。
GPT-2は主にスマートな「次トークン予測」に基づいて動作します。Transformerアーキテクチャ言語モデルは、入力をシーケンスの最も可能性の高い次の部分で補完します。このスプレッドシートはわずか10トークンの入力しか処理できず、GPT-4 Turboが処理できる128,000トークンと比較するとごくわずかです。しかし、それでもデモには十分であり、Anand氏は、この「ローコード入門」は、技術幹部、マーケティング担当者、製品マネージャー、AI政策立案者、倫理学者、そしてAIに不慣れな開発者や科学者にとって、LLMの基礎として理想的であると主張しています。Anand氏は、このTransformerアーキテクチャが「OpenAIのChatGPT、AnthropicのClaude、GoogleのBard/Gemini、MetaのLlama、その他多くのLLMの基盤となっている」と主張しています。
上の写真では、AnandがGPT-2をスプレッドシートで実装した様子を説明しています。この複数シートからなる学習では、最初のシートに入力したいプロンプトを自由に入力できます（ただし、プロンプトは10個までという制限があります）。次に、単語のトークン化、テキストの位置と重み付け、次単語予測の反復的な改良、そして最後に出力トークン（シーケンスの最後の単語として予測される単語）の選択について説明しています。
画像
1
の
5
GPT-2 Smallが使用する比較的コンパクトなLLMについては、上記で触れました。2024年にはLLMとして分類されないかもしれないLLMを使用しているにもかかわらず、Anand氏はExcelアプリケーションの機能を拡張し続けています。開発者は、このExcelファイルをMacで使用しようとすると頻繁にクラッシュやフリーズが発生するため、またクラウドスプレッドシートアプリに読み込もうとすると動作しないため、注意を促しています。また、Excelは最新バージョンの使用が推奨されています。このスプレッドシートは主に教育的な演習であり、Anand氏にとっては楽しいものであることを忘れないでください。最後に、PCでExcelを使用する利点の一つは、このLLMがクラウドへのAPI呼び出しなしで100%ローカルで実行されることです。
Tom's Hardware の最高のニュースと詳細なレビューをあなたの受信箱に直接お届けします。
マーク・タイソンはトムズ・ハードウェアのニュース編集者です。ビジネスや半導体設計から、理性の限界に迫る製品まで、PCテクノロジーのあらゆる分野を網羅的にカバーすることに情熱を注いでいます。
