AI Industry Wiki

トークンとは

Token

AIが文章を処理するときに使う、文字や単語を分けた小さな単位。

モデル tokens

Simple Explanation

まず、かんたんに言うと

トークンは、AIが文章を読むために分けた小さなかたまりです。人間は文章をそのまま読めますが、AIは文章を細かい部品に分けて計算します。日本語なら一文字や言葉の一部、英語なら単語や単語の一部がトークンになります。AIの料金や処理できる文章の長さは、このトークン数で決まることが多いです。

Example

長い文章をAIに読ませると、使うトークン数が増え、料金や処理時間も増えます。

Deep Dive

トークンは、LLMが入力・出力を扱う単位です。コンテキスト長、API料金、推論コスト、モデルの処理量を測る基礎になります。

Industry Context

トークン効率は、AIサービスのコスト、速度、使える文脈量を左右します。

モデル企業や開発者は、長文処理、要約、検索連携でトークン使用量を最適化しています。

Key Points

AIが文章を処理する単位です。

料金や長文処理に関係します。

推論コストを考える基本指標です。

Companies

処理できる情報は増えますが、料金や計算時間も増えることがあります。

Articles