.jsonl · application/x-ndjson

JSONL / NDJSON: JSON Lines / 换行分隔 JSON

JSONL(换行分隔 JSON)以 \n 分隔每行一个独立有效的单行 JSON 值,无需加载整棵大数组即可逐行流式读写。

快速解答: JSONL(换行分隔 JSON)以 \n 分隔每行一个独立有效的单行 JSON 值,无需加载整棵大数组即可逐行流式读写。 OpenAI/Anthropic/Gemini 模型微调数据集、批量推理任务、日志采集与流式 ETL 管线。

结构类型层级结构
人类可读性中
支持嵌套支持
LLM Token 效率中
文件扩展名.jsonl
MIME 类型application/x-ndjson
适用场景OpenAI/Anthropic/Gemini 模型微调数据集、批量推理任务、日志采集与流式 ETL 管线。

核心优势

  • OpenAI、Claude 与 Vertex AI 模型微调及批处理 API 的指定格式
  • 支持按行追加与流式解析,无需外层 [ ... ] 数组包裹
  • 单行格式出错仅影响该行记录,不会导致整个文件解析崩溃

局限与权衡

  • 格式化缩进的多行 JSON 对象无法直接作为合法 JSONL 单行使用
  • 无法直接用单个裸 JSON.parse() 一次解析整个文件
  • 每条记录仍会重复写出所有 JSON 字段名

参考资料

本地转换与清理 JSONL / NDJSON

相关工程指南

JSONL / NDJSON 常见问题

JSONL 和 NDJSON 是一回事吗?

实际使用中基本相同。JSON Lines (.jsonl) 与 Newline-Delimited JSON (.ndjson) 均采用每行一个紧凑 UTF-8 JSON 对象并以 \n 分隔。

能直接把 CSV 表格转成 OpenAI 对话微调 JSONL 吗?

可以。CSV 转 JSONL 内置原始对象、OpenAI Chat (messages[]) 与 Alpaca (instruction/input/output) 三种预设模板。

为什么微调平台上传校验经常在末尾空行或格式化 JSON 处报错?

JSONL 要求每一非空行都必须是合法的单行 JSON。开启逐行校验可在本地提交前第一时间揪出异常行。