Guias

TOON vs JSON: Reduzindo o Custo de Tokens em Prompts de LLM em 30–60%

Veja como a notação TOON elimina chaves JSON repetidas em arrays uniformes para cortar custos de prompts no GPT-5, Claude 4 e Gemini 2.5.

3 min de leitura

Resposta rápida: TOON (Token-Oriented Object Notation) reduz o consumo de tokens de entrada em LLMs em 30% a 60% para matrizes JSON uniformes ao declarar as chaves uma única vez no cabeçalho (`users[N]{id,name}:`), preservando conversão reversível e sem perdas para JSON no navegador.

Por que o JSON padrão desperdiça metade da sua janela de contexto

O JSON foi projetado para parsing em JavaScript, não para tokenização BPE de LLMs. Sempre que você inclui uma consulta de 50 linhas do banco ou resposta de API em um prompt, o JSON repete cada nome de chave entre aspas, dois-pontos, chave e vírgula em todos os 50 itens.

Nos tokenizadores o200k_base e Claude, pontuação estrutural e identificadores repetidos costumam consumir de 40% a 60% do total de tokens de entrada antes mesmo que o modelo leia seus valores reais.

  • Nomes de propriedades repetidos adicionam peso morto de tokens em arrays uniformes.
  • Aspas duplas e chaves se dividem em vários tokens separadores extras.
  • Arrays JSON longos empurram prompts RAG para perto do limite de janela de contexto.
json
{
  "users": [
    { "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
    { "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
  ]
}

Como o TOON declara as chaves uma só vez com ergonomia YAML + CSV

TOON (Token-Oriented Object Notation) usa indentação limpa estilo YAML para objetos aninhados e converte arrays uniformes em um cabeçalho único (`users[N]{id,name,role,active}:`) seguido de linhas delimitadas por vírgula, tabulação ou pipe.

Diferente do CSV puro, o TOON preserva hierarquias aninhadas, contagens explícitas de elementos (`[N]`) e fidelidade estrita de esquema para que modelos leiam campos com precisão reduzindo o uso de tokens pela metade.

toon
users[2]{id,name,role,active}:
  1,Alice Chen,admin,true
  2,Bob Tanaka,editor,true

Converter JSON para TOON com economia ao vivo

Escolhendo delimitadores e medindo a economia real localmente

Delimitadores por vírgula facilitam a leitura humana, enquanto alternar o delimitador do TOON para tabulação (`\t`) ou pipe (`|`) pode economizar mais 3%–8% de tokens quando strings contêm espaços ou pontuação.

Antes de publicar mudanças em um pipeline de prompts, teste seu payload exato na barra ao vivo do TxtTo comparando GPT-5 (o200k), Claude 4 e Gemini 2.5 localmente — sem colar JSON proprietário de clientes em tokenizadores externos.

Comparar tokens no GPT-5, Claude 4 e Gemini 2.5

Retorno sem perdas de TOON de volta para JSON

Quando um fluxo de IA ou base de documentação armazena payloads TOON, o `@toon-format/toon` decodifica tudo deterministicamente de volta para arrays JSON tipados, números, booleanos e objetos aninhados.

Evite usar TOON para árvores profundamente heterogêneas onde cada item tem chaves totalmente diferentes — nesses casos, JSON minificado ou JSONL continuam sendo ideais.

Decodificar TOON de volta para JSON localmente

Referências

Perguntas frequentes

O TOON reduz a precisão do LLM em comparação ao JSON?

Não. Marcadores explícitos de tamanho como [4] e cabeçalhos de coluna declarados dão aos LLMs fronteiras claras de linha enquanto eliminam ruído sintático repetitivo.

Quando o TOON economiza mais tokens?

Arrays uniformes com 3+ objetos e 4 ou mais campos costumam cair de 35% a 60% na contagem de tokens em comparação ao JSON formatado.

O TOON é sem perdas ao converter de volta para JSON?

Sim. Strings, números, booleanos, nulos e objetos aninhados fazem ida e volta para JSON válido sem perdas.

Formatos relacionados

Comparativos relacionados

Guias relacionados