用語辞典に戻る
Token
トークン(トークン)
初級Core Concepts
AIモデルが処理するテキストの小さな単位（単語、単語の一部、句読点）。モデルはトークンの列としてテキストを読み書きする。
なぜ重要か
トークン制限はモデルが一度に処理できるテキスト量を決定し、API料金はトークン使用量に基づきます。
実際の活用例
「I love AI」という文は「I」「 love」「 AI」の3トークンに分割される場合があります。
トークン(トークン)
AIモデルが処理するテキストの小さな単位（単語、単語の一部、句読点）。モデルはトークンの列としてテキストを読み書きする。
トークン制限はモデルが一度に処理できるテキスト量を決定し、API料金はトークン使用量に基づきます。
「I love AI」という文は「I」「 love」「 AI」の3トークンに分割される場合があります。