Guides

TOON vs JSON : réduire de 30 à 60 % le coût en jetons des prompts LLM

Découvrez comment TOON supprime les clés JSON répétées dans les tableaux uniformes pour réduire vos coûts GPT-5, Claude 4 et Gemini 2.5.

3 min de lecture de lecture

Réponse rapide: TOON (Token-Oriented Object Notation) réduit de 30 % à 60 % les tokens d'entrée LLM sur les tableaux JSON uniformes en déclarant chaque clé une seule fois dans l'en-tête (`users[N]{id,name}:`), tout en garantissant un aller-retour sans perte vers JSON en mémoire locale.

Pourquoi le JSON standard gaspille la moitié de votre fenêtre de contexte

JSON a été conçu pour l'analyse JavaScript et non pour la tokenisation BPE des LLM. Dès que vous insérez une requête SQL ou une réponse API de 50 lignes dans un prompt, JSON répète chaque nom de clé entre guillemets, deux-points, accolade et virgule sur les 50 objets.

Dans les tokenizers o200k_base et Claude, la ponctuation structurelle et les clés répétées consomment fréquemment 40 % à 60 % des jetons d'entrée avant même que le modèle ne lise vos valeurs.

  • Les noms de propriétés répétés alourdissent inutilement les tableaux uniformes.
  • Guillemets et accolades se fragmentent en jetons séparateurs superflus.
  • Les longs tableaux JSON rapprochent vite les prompts RAG de la limite de contexte.
json
{
  "users": [
    { "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
    { "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
  ]
}

Comment TOON déclare les clés une seule fois façon YAML + CSV

TOON (Token-Oriented Object Notation) adopte une indentation claire façon YAML pour les objets imbriqués et bascule les tableaux uniformes vers un seul en-tête déclaré (`users[N]{id,name,role,active}:`) suivi de lignes séparées par virgule, tabulation ou pipe.

Contrairement au CSV nu, TOON préserve les hiérarchies imbriquées, les compteurs explicites (`[N]`) et une stricte fidélité de schéma afin que les modèles lisent chaque champ sans erreur tout en divisant les jetons par deux.

toon
users[2]{id,name,role,active}:
  1,Alice Chen,admin,true
  2,Bob Tanaka,editor,true

Convertir JSON en TOON avec économie de jetons en direct

Choisir le bon séparateur et mesurer l'économie localement

La virgule reste la plus lisible pour l'humain, tandis que basculer le séparateur TOON sur tabulation (`\t`) ou barre verticale (`|`) gratte souvent 3 % à 8 % de jetons en plus lorsque vos chaînes contiennent espaces ou virgules.

Avant de modifier un pipeline de production, testez votre payload exact avec la barre de jetons en direct de TxtTo comparant GPT-5 (o200k), Claude 4 et Gemini 2.5 localement — sans envoyer de données propriétaires vers des compteurs externes.

Comparer les jetons sur GPT-5, Claude 4 & Gemini 2.5

Aller-retour sans perte de TOON vers JSON

Lorsqu'un flux IA ou une documentation stocke des données TOON, `@toon-format/toon` les décode de manière déterministe en tableaux JSON typés, nombres, booléens et objets imbriqués.

Évitez TOON pour les arborescences très hétérogènes où chaque ligne possède des clés différentes : JSON minifié ou JSONL y reste préférable.

Décoder TOON vers JSON localement

Références

Questions fréquentes

TOON diminue-t-il la précision des LLM par rapport à JSON ?

Non. Les compteurs explicites comme [4] et les en-têtes de colonnes donnent aux modèles des repères stricts tout en supprimant le bruit syntaxique répétitif.

Dans quels cas TOON économise-t-il le plus de jetons ?

Sur des tableaux uniformes d'au moins 3 objets avec 4 champs ou plus, le gain atteint couramment 35 % à 60 % face au JSON formaté.

La reconversion de TOON vers JSON est-elle sans perte ?

Oui. Chaînes, nombres, booléens, null et objets imbriqués reviennent fidèlement en JSON valide.

Formats associés

Comparatifs associés

Guides associés