Guides

Créer des jeux d'entraînement JSONL valides depuis CSV & JSON

Formatez des fichiers .jsonl valides pour OpenAI Chat, Alpaca et Gemini depuis vos tableurs et tableaux JSON en local avec contrôle ligne par ligne.

3 min de lecture de lecture

Réponse rapide: Les API de fine-tuning exigent du `JSONL` (`.jsonl`) contenant un objet JSON par ligne, alors que les jeux d'entraînement proviennent souvent de `.csv`. La conversion locale mappe vos colonnes vers OpenAI `messages` ou Alpaca hors ligne sans téléverser vos données.

Pourquoi le fine-tuning et les API Batch exigent JSONL plutôt que JSON

Le JSON classique enferme les enregistrements dans un tableau global `[ ... ]`, obligeant à charger tout le fichier avant de lire le premier exemple. JSONL (Newline-Delimited JSON) écrit un objet JSON autonome et compact par ligne.

Les pipelines d'OpenAI, Anthropic Batch API et Vertex AI traitent des millions de lignes JSONL en flux indépendant tout en validant chaque ligne.

  • Chaque ligne doit contenir un JSON minifié sur une seule ligne (pas d'indentation).
  • Lignes vides finales ou virgules superflues déclenchent un rejet à l'import.
  • Chaque exemple correspond généralement à un tableau `messages` par rôle.

Générer des exemples OpenAI Chat et Alpaca depuis un CSV

Les jeux d'évaluation et d'entraînement naissent souvent dans Excel ou Google Sheets avec des colonnes `system`, `prompt`/`user` et `completion`/`assistant`. Écrire des scripts ponctuels pour chaque export ralentit l'itération.

CSV to JSONL inclut des modèles intégrés Raw, OpenAI Chat (`messages[]`) et Alpaca (`instruction/input/output`) pour produire directement un JSONL prêt à l'entraînement.

json
{"messages":[{"role":"user","content":"Explain UTF-8 BOM"},{"role":"assistant","content":"A 3-byte EF BB BF header telling Excel to decode UTF-8."}]}

Convertir CSV en JSONL OpenAI / Alpaca

Extraire des tableaux JSON imbriqués en JSONL validé

Si votre source est un objet API imbriqué comme `{ "data": { "samples": [...] } }`, saisissez le chemin `data.samples` dans JSON to JSONL pour dérouler le tableau et valider chaque ligne produite.

Convertir tableaux JSON ou valider du JSONL

Estimer le budget en jetons du jeu de données en local

Ne collez jamais des exemples d'entraînement propriétaires dans un compteur tiers. Évaluez hors ligne la taille en jetons de votre fichier JSONL avant de lancer le fine-tuning.

Compter les jetons sur GPT-5, Claude 4 & Gemini 2.5

Références

Questions fréquentes

Quels noms de colonnes fonctionne avec le modèle CSV OpenAI Chat ?

Les colonnes nommées system, user/prompt/question et assistant/completion/answer sont mappées dans le tableau messages ; en mode brut toutes les colonnes sont reprises.

Puis-je reconvertir un journal JSONL existant en tableau JSON ?

Oui. Passez le sens de JSON to JSONL sur JSONL -> JSON pour regrouper toutes les lignes dans un seul tableau JSON formaté.

Pourquoi mon envoi fine-tuning a-t-il échoué à la ligne 142 ?

Souvent un guillemet non échappé, une ligne vide ou une valeur NaN casse la syntaxe JSON. Activer la validation ligne par ligne signale immédiatement le numéro fautif.

Formats associés

Comparatifs associés

Guides associés