日本語では1〜3文字が1トークン相当です。コンテキストウィンドウは1回のAPI呼び出しで参照できるテキストの最大長さで、128Kトークンは日本語で約25〜40万文字に相当します。「ロストイン・ザ・ミドル」問題として、コンテキスト中央部の情報は先頭・末尾より参照されにくい傾向も設計時に考慮が必要です。
LLMのコスト計算や性能理解に不可欠な「トークン」「コンテキストウィンドウ」の概念を実務視点で解説。
日本語では1〜3文字が1トークン相当です。コンテキストウィンドウは1回のAPI呼び出しで参照できるテキストの最大長さで、128Kトークンは日本語で約25〜40万文字に相当します。「ロストイン・ザ・ミドル」問題として、コンテキスト中央部の情報は先頭・末尾より参照されにくい傾向も設計時に考慮が必要です。