指南
本地从 CSV 与 JSON 构建合法的 JSONL 大模型微调数据集
在浏览器本地从表格与 JSON 数组一键生成符合 OpenAI Chat、Alpaca 与 Gemini 要求的 .jsonl 微调数据集并逐行校验。
快速解答: 微调与批处理大模型接口通常要求每行一个独立 JSON 对象的 `JSONL`(`.jsonl`)格式,而原始标注数据大多保存在 `.csv` 表格中。本地流式转换可将列直接映射为 OpenAI `messages`、Alpaca `instruction/output` 或标准结构化行,全程不上传训练集。
为什么模型微调与批处理 API 强制要求 JSONL 而非普通 JSON
标准 JSON 把所有记录包在一对 `[ ... ]` 外层数组里,解析器必须先读完整个文件才能取出第一条样本。而 JSONL(换行分隔 JSON)每行就是一个完整自足的紧凑 JSON 对象。
OpenAI 微调、Anthropic Batch API 与 Vertex AI 管线会按行流式读取数百万条 JSONL 记录,并逐行独立校验 Schema 合法性。
- 每一行都必须是单行压缩 JSON(严禁多行缩进美化)。
- 末尾多余空行或尾随逗号都会导致平台上传校验失败。
- 微调样本通常需要按角色映射为 `messages` 对话数组。
从 CSV 一键套用 OpenAI Chat 与 Alpaca 训练模板
人工整理好的评测集和微调语料经常先存放在 Excel 或 Google Sheets 里(包含 `system`、`prompt`/`user` 和 `completion`/`assistant` 等列),临时手写脚本转换既耗时又容易写错转义。
TxtTo 的 CSV 转 JSONL 内置原始对象、OpenAI Chat(`messages[]`)与 Alpaca(`instruction/input/output`)三种模板,本地直接导出即传即训的 JSONL。
{"messages":[{"role":"user","content":"Explain UTF-8 BOM"},{"role":"assistant","content":"A 3-byte EF BB BF header telling Excel to decode UTF-8."}]}提取嵌套 JSON 接口数组并逐行校验
如果源导出数据包裹在类似 `{ "data": { "samples": [...] } }` 的嵌套 JSON 对象中,只需在 JSON 转 JSONL 中指定点路径 `data.samples` 即可展开导出并逐行验错。
在本地估算微调数据集 Token 成本
专有微调语料同样不应粘贴给第三方在线分词器。提交训练任务前,可直接在本机离线核算出数据集的总 Token 规模与预估成本。
参考资料
常见问题
使用 OpenAI Chat 预设模板时 CSV 应该使用什么列名?
名为 system、user/prompt/question 与 assistant/completion/answer 的列会自动映射到 messages 角色数组中;若需要自定义全部字段请选原始 JSON 对象模式。
能把现有的 JSONL 日志文件转回普通 JSON 数组吗?
可以。在“JSON 转 JSONL”中把方向切换为 JSONL -> JSON,即可把所有行聚合回标准格式化的 JSON 数组。
为什么我的微调数据集上传后总提示第 142 行解析失败?
最常见的原因是该行存在未转义引号、多余空行或 NaN 非法字面量。开启“逐行校验 JSONL 合法性”即可第一时间精准定位错误行号。
相关格式
相关方案对比
相关指南
- TOON 对比 JSON:将大模型提示词 Token 成本直降 30–60%了解 TOON(面向 Token 的对象表示法)如何消除均匀 JSON 数组中的重复键名,大幅降低 GPT-5、Claude 4 与 Gemini 2.5 调用成本。
- 在浏览器本地合并与拆分大体积 CSV 文件,告别 Excel 卡死在本地按表头列名取并集合并多个 CSV,或将超大 CSV 按行数拆分为带表头的分片 ZIP,全程不卡死 Excel、零数据上传。
- 将 EPUB 电子书转为适用于 Obsidian 与 AI 研读的 Markdown 笔记在本地把无 DRM 的 EPUB 电子书解包为关联清晰的 Obsidian Markdown 笔记或分章 ZIP,完整保留标题层级、链接与排版。