指南

本地从 CSV 与 JSON 构建合法的 JSONL 大模型微调数据集

在浏览器本地从表格与 JSON 数组一键生成符合 OpenAI Chat、Alpaca 与 Gemini 要求的 .jsonl 微调数据集并逐行校验。

3 分钟阅读

快速解答: 微调与批处理大模型接口通常要求每行一个独立 JSON 对象的 `JSONL`(`.jsonl`)格式,而原始标注数据大多保存在 `.csv` 表格中。本地流式转换可将列直接映射为 OpenAI `messages`、Alpaca `instruction/output` 或标准结构化行,全程不上传训练集。

为什么模型微调与批处理 API 强制要求 JSONL 而非普通 JSON

标准 JSON 把所有记录包在一对 `[ ... ]` 外层数组里,解析器必须先读完整个文件才能取出第一条样本。而 JSONL(换行分隔 JSON)每行就是一个完整自足的紧凑 JSON 对象。

OpenAI 微调、Anthropic Batch API 与 Vertex AI 管线会按行流式读取数百万条 JSONL 记录,并逐行独立校验 Schema 合法性。

  • 每一行都必须是单行压缩 JSON(严禁多行缩进美化)。
  • 末尾多余空行或尾随逗号都会导致平台上传校验失败。
  • 微调样本通常需要按角色映射为 `messages` 对话数组。

从 CSV 一键套用 OpenAI Chat 与 Alpaca 训练模板

人工整理好的评测集和微调语料经常先存放在 Excel 或 Google Sheets 里(包含 `system`、`prompt`/`user` 和 `completion`/`assistant` 等列),临时手写脚本转换既耗时又容易写错转义。

TxtTo 的 CSV 转 JSONL 内置原始对象、OpenAI Chat(`messages[]`)与 Alpaca(`instruction/input/output`)三种模板,本地直接导出即传即训的 JSONL。

json
{"messages":[{"role":"user","content":"Explain UTF-8 BOM"},{"role":"assistant","content":"A 3-byte EF BB BF header telling Excel to decode UTF-8."}]}

将 CSV 数据集转为 OpenAI / Alpaca JSONL

提取嵌套 JSON 接口数组并逐行校验

如果源导出数据包裹在类似 `{ "data": { "samples": [...] } }` 的嵌套 JSON 对象中,只需在 JSON 转 JSONL 中指定点路径 `data.samples` 即可展开导出并逐行验错。

转换嵌套 JSON 数组或校验 JSONL

在本地估算微调数据集 Token 成本

专有微调语料同样不应粘贴给第三方在线分词器。提交训练任务前,可直接在本机离线核算出数据集的总 Token 规模与预估成本。

离线统计 GPT-5、Claude 4 与 Gemini 2.5 Token 数

参考资料

常见问题

使用 OpenAI Chat 预设模板时 CSV 应该使用什么列名?

名为 system、user/prompt/question 与 assistant/completion/answer 的列会自动映射到 messages 角色数组中;若需要自定义全部字段请选原始 JSON 对象模式。

能把现有的 JSONL 日志文件转回普通 JSON 数组吗?

可以。在“JSON 转 JSONL”中把方向切换为 JSONL -> JSON,即可把所有行聚合回标准格式化的 JSON 数组。

为什么我的微调数据集上传后总提示第 142 行解析失败?

最常见的原因是该行存在未转义引号、多余空行或 NaN 非法字面量。开启“逐行校验 JSONL 合法性”即可第一时间精准定位错误行号。

相关格式

相关方案对比

相关指南