指南

TOON 对比 JSON:将大模型提示词 Token 成本直降 30–60%

了解 TOON(面向 Token 的对象表示法)如何消除均匀 JSON 数组中的重复键名,大幅降低 GPT-5、Claude 4 与 Gemini 2.5 调用成本。

3 分钟阅读

快速解答: TOON(面向 Token 的对象表示法)通过在数组头部仅声明一次键名(`users[N]{id,name}:`)并对嵌套结构采用 YAML 缩进,将统一 JSON 对象数组的 LLM 输入 Token 消耗降低 30%–60%,同时可在浏览器内存中无损还原为强类型 JSON。

为什么标准 JSON 会浪费掉一半上下文窗口

JSON 最初是为 JavaScript 解析而设计,而非针对大模型字节对分词(BPE)。每次你将 50 行数据库查询结果或 API 响应直接塞进提示词时,JSON 都会把带引号的键名、冒号、花括号和逗号完整重复 50 遍。

在 o200k_base 与 Claude 分词器中,结构标点与重复键名常常吃掉 40% 至 60% 的总输入 Token——模型甚至还没开始读入真正的业务数据。

  • 结构一致的数组会因重复属性键产生大量无效 Token 负载。
  • 双引号与花括号会被切分成额外的分隔 Token。
  • 冗长的 JSON 数组极易把 RAG 提示词推向模型上下文上限。
json
{
  "users": [
    { "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
    { "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
  ]
}

TOON 如何结合 YAML 缩进与 CSV 表头仅声明一次键名

TOON(Token-Oriented Object Notation)对嵌套对象采用干净的 YAML 式缩进,并将均匀对象数组折叠成单次声明的表头(`users[N]{id,name,role,active}:`),随后以逗号、制表符或竖线分隔每一行记录。

不同于简陋的裸 CSV,TOON 完整保留嵌套层级、显式元素计数(`[N]`)与严谨的模式约束,因此模型既能准确读取字段,又能将 Token 消耗削减约一半。

toon
users[2]{id,name,role,active}:
  1,Alice Chen,admin,true
  2,Bob Tanaka,editor,true

本地将 JSON 转为 TOON 并实时查看省 Token 比例

选择合适的分隔符并在本地实测节省效果

逗号分隔最符合人类阅读习惯;若字段文本本身包含较多空格或标点,将 TOON 分隔符切换为制表符(`\t`)或竖线(`|`)通常还能再多省 3%–8% 的 Token。

在正式改动线上提示词管道之前,建议先用 TxtTo 的实时 Token 对比条在本地实测 GPT-5 (o200k)、Claude 4 与 Gemini 2.5 的压缩收益——完全不必把敏感客户 JSON 贴给第三方分词网站。

本地对比 GPT-5、Claude 4 与 Gemini 2.5 Token 数

从 TOON 无损往返还原为 JSON

当 AI 工作流或知识库保存了 TOON 载荷时,通过 `@toon-format/toon` 可将其确定性地解码回强类型 JSON 数组、数值、布尔值与嵌套对象。

注意:若数组每条记录的字段键名完全不同、结构高度异构,TOON 省 Token 效果有限,此时仍建议采用紧凑单行 JSON 或 JSONL。

在本地将 TOON 解码还原为 JSON

参考资料

常见问题

使用 TOON 会降低大模型理解数据的准确率吗?

不会。显式的长度标记(如 [4])加上表头字段声明为大模型提供了清晰的行边界,同时剔除了多余的标点噪声。

哪种数据结构下 TOON 节省的 Token 最多?

包含 3 条以上记录、每条有 4 个以上相同字段的均匀对象数组,相比格式化 JSON 通常可节省 35%–60% Token。

TOON 转换回 JSON 是完全无损的吗?

是的。字符串、数字、布尔值、null 与嵌套对象都能干净无误地往返还原为合法 JSON。

相关格式

相关方案对比

相关指南