ガイド

TOON vs JSON:LLM プロンプトのトークンコストを 30〜60% 削減

TOON 形式が均一配列で重複する JSON キーを排除し、GPT-5・Claude 4・Gemini 2.5 の入力トークンコストを半減させる仕組みを解説します。

読了目安 3分

クイックアンサー: TOON(Token-Oriented Object Notation)は、均一な JSON オブジェクト配列のキー名をヘッダー(`users[N]{id,name}:`)で 1 回だけ宣言し、ネストに YAML 風インデントを使うことで LLM の入力トークンを 30%〜60% 削減しつつ、ブラウザメモリ内で型付き JSON へ可逆変換します。

標準的な JSON がコンテキストウィンドウを浪費する理由

JSON は JavaScript でのパース向けに設計されており、LLM のバイトペアエンコーディング(BPE)を想定していません。50 件のデータベース取得結果や API レスポンスをプロンプトに埋め込むと、JSON は引用符付きのキー名・コロン・中括弧・カンマを 50 回すべて繰り返します。

o200k_base や Claude のトークナイザーでは、実際のデータ値をモデルが読む前に、構文記号と重複キーだけで入力トークンの 40%〜60% が消費されてしまいます。

  • 均一な配列では重複するプロパティキーが無駄なトークン負荷になる。
  • 二重引用符や中括弧が細かな区切りトークンに分割されやすい。
  • 長い JSON 配列をそのまま渡すと RAG プロンプトが上限に達しやすくなる。
json
{
  "users": [
    { "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
    { "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
  ]
}

YAML+CSV の長所を取り入れキー宣言を1回にまとめる TOON

TOON(Token-Oriented Object Notation)は、ネストされたオブジェクトには YAML 風のインデントを採用し、均一配列は 1 行のヘッダー(`users[N]{id,name,role,active}:`)の後にカンマ・タブ・パイプ区切りの行を並べる方式へ切り替えます。

単なる CSV とは異なり、TOON はネスト階層・明示的な要素数(`[N]`)・厳格なスキーマ構造を保持するため、モデルが正確にフィールドを読み取りながらトークン消費を約半分に抑えられます。

toon
users[2]{id,name,role,active}:
  1,Alice Chen,admin,true
  2,Bob Tanaka,editor,true

リアルタイムトークン削減を確認しながら JSON を TOON に変換

区切り文字の選び方とローカル環境での実測

人間にとって最も読みやすいのはカンマ区切りですが、値の中にスペースやカンマが含まれる場合は TOON の区切り文字をタブ(`\t`)やパイプ(`|`)へ変更するとさらに 3%〜8% ほどトークンを削減できます。

本番のプロンプトパイプラインを変更する前に、TxtTo の GPT-5 (o200k)・Claude 4・Gemini 2.5 対応ローカル計測バーで実際のデータを比較すれば、社外ツールへ機密 JSON を貼らずに検証できます。

GPT-5・Claude 4・Gemini 2.5 のトークン数を比較

TOON から元の型付き JSON への損失なし復元

AI ワークフローやドキュメントストアに保存した TOON データは、`@toon-format/toon` を通じて元の型付き JSON 配列・数値・真偽値・ネストオブジェクトへ決定論的に復元できます。

ただし各行のキー構成がまったく異なる不均一なツリー構造には向かないため、その場合は圧縮(Minify)JSON や JSONL を利用するのが最適です。

TOON をローカルで JSON にデコードする

参考文献

よくある質問

TOON を使うと JSON と比べて LLM の回答精度が下がることはありませんか?

ありません。[4] のような明示的な要素数と列ヘッダーが行の境界をはっきり示すため、冗長な記号を減らしつつ高精度に解釈されます。

TOON で最もトークン削減効果が出やすいのはどのようなデータですか?

4 つ以上のフィールドを持つ 3 件以上の均一なオブジェクト配列であれば、整形済み JSON と比べて 35%〜60% ほどトークンが減少します。

TOON から JSON へ戻した際に型情報などは失われませんか?

はい、完全に可逆です。文字列、数値、真偽値、null、ネストされたオブジェクトが元の有効な JSON として復元されます。

関連フォーマット

関連比較ページ

関連ガイド