Guias
Criando Datasets JSONL Válidos para Fine-Tuning a Partir de CSV e JSON
Formate arquivos .jsonl válidos de fine-tuning para OpenAI Chat, Alpaca e Gemini direto de planilhas e arrays JSON no navegador.
Resposta rápida: APIs de fine-tuning exigem `JSONL` (`.jsonl`) delimitado por nova linha com um objeto JSON por registro, enquanto bases rotuladas costumam vir em `.csv`. A conversão local mapeia colunas para presets OpenAI `messages` ou Alpaca diretamente na memória do navegador.
Por que APIs de fine-tuning e lote exigem JSONL em vez de JSON
O JSON padrão envolve registros dentro de um array externo `[ ... ]`, forçando parsers a armazenar todo o arquivo antes de ler o primeiro registro. O JSONL (Newline-Delimited JSON) grava um objeto JSON compacto e independente por linha.
Pipelines de treinamento da OpenAI, Anthropic Batch API e Vertex AI processam milhões de linhas JSONL de forma independente e validam o esquema linha a linha.
- Cada linha deve ser JSON minificado em linha única (sem objetos indentados em várias linhas).
- Linhas finais em branco ou vírgulas sobrando disparam erros de validação no envio.
- Cada exemplo normalmente mapeia para um array `messages` baseado em papéis.
Formatando registros de treino OpenAI Chat e Alpaca a partir de CSV
Exemplos curados de avaliação e treinamento costumam começar no Excel ou Google Sheets com colunas `system`, `prompt`/`user` e `completion`/`assistant`. Converter cada linha manualmente via script atrasa a iteração.
CSV para JSONL traz modelos integrados Raw, OpenAI Chat (`messages[]`) e Alpaca (`instruction/input/output`) para exportar planilhas direto para JSONL pronto para treino.
{"messages":[{"role":"user","content":"Explain UTF-8 BOM"},{"role":"assistant","content":"A 3-byte EF BB BF header telling Excel to decode UTF-8."}]}Extraindo arrays JSON aninhados para JSONL validado
Se a exportação de origem for um objeto de API aninhado como `{ "data": { "samples": [...] } }`, informe o caminho pontilhado `data.samples` em JSON para JSONL para desembrulhar o array e validar cada linha gerada.
Estimando o custo em tokens do dataset localmente
Exemplos proprietários de treinamento nunca devem ser colados em contadores de tokens de terceiros. Meça offline o volume em tokens do seu JSONL antes de iniciar execuções de fine-tuning.
Referências
Perguntas frequentes
Quais nomes de coluna funcionam com o modelo OpenAI Chat para CSV?
Colunas chamadas system, user/prompt/question e assistant/completion/answer mapeiam diretamente para o array messages; colunas extras funcionam normalmente no modo Raw.
Posso converter um arquivo de log JSONL existente de volta em array JSON?
Sim. Mude a direção em JSON para JSONL para JSONL -> JSON para reunir todas as linhas em um único array JSON formatado.
Por que meu envio de fine-tuning falhou na linha 142?
Na maioria das vezes uma aspa sem escape, linha em branco ou token NaN quebrou a sintaxe JSON naquela linha. Ativar Validar Cada Linha aponta linhas inválidas na hora.
Formatos relacionados
Comparativos relacionados
Guias relacionados
- TOON vs JSON: Reduzindo o Custo de Tokens em Prompts de LLM em 30–60%Veja como a notação TOON elimina chaves JSON repetidas em arrays uniformes para cortar custos de prompts no GPT-5, Claude 4 e Gemini 2.5.
- Mesclando e Dividindo Arquivos CSV Grandes Localmente Sem Travar o ExcelUna múltiplos CSVs por nome de coluna ou divida planilhas gigantes em partes com cabeçalho repetido e exportação ZIP no navegador.
- Convertendo E-books EPUB para Markdown no Obsidian e Estudo com IAExtraia e-books EPUB sem DRM localmente em notas Markdown para Obsidian ou ZIPs por capítulo preservando títulos, links e ordem.