はじめに
ChatGPTを使っていると、「トークン」という言葉を目にすることがあります。聞き慣れない言葉ですが、実は非常に重要な概念です。
トークンとは？
トークンとは、文章をAIが処理するために分解した最小単位です。日本語では1文字＝1トークンになることが多いですが、英語では”ChatGPT is amazing”のような文が、4〜5トークンに分かれます。
トークン数の制限とは？
ChatGPTには一度に処理できるトークン数の上限があります。
- 無料プラン（GPT-3.5）：約16,000トークン
- 有料プラン（GPT-4 Turbo）：最大128,000トークン（＝約20万文字相当）
この制限は、入力と出力の合計にかかるため、長い文章を投げて長い回答を期待すると途中で切れてしまう場合があります。
どんな問題が起きるの？
- 長文の資料を読み込ませたいのに読みきれない
- 会話の文脈が途中で途切れる
- 書きかけの原稿が保存できない
実際どのくらい？例で体感
例えば『吾輩は猫である』は約5,000トークン、ブログ記事1本（3,000字）で約2,000トークン程度です。
日常的な会話やちょっとしたメモ用途であれば、無料プランでも十分に対応できます。ただし、書籍の執筆や長大な資料の読み込みなど、大量のテキストを扱う用途では有料プラン（Plus）以上の上限が必要になるでしょう。
このように、用途によって必要なトークン数は大きく変わってきます。
あとがき
トークンの仕組みを知ることで、ChatGPTとの会話がよりスムーズになります。さらに他の便利な機能についても知りたい方は、以下の記事をご覧ください。
コメント