指南
從 CSV 與 JSON 在本機建置合法的 JSONL 微調訓練資料集
在瀏覽器本機將試算表與 JSON 陣列轉為符合 OpenAI Chat、Alpaca 與 Gemini 規範的 .jsonl 微調訓練檔並逐行驗證。
快速解答: 模型微調與批次推論 API 要求每行一個獨立 JSON 物件的 `JSONL`(`.jsonl`)格式,而原始標註資料多半來自 `.csv` 表格。本地串流轉換可直接將欄位對應為 OpenAI `messages` 或 Alpaca 訓練集格式,訓練資料絕不離開本機。
為什麼微調與批次 API 需要 JSONL 而非普通 JSON
標準 JSON 將所有記錄包在外層 `[ ... ]` 陣列中,迫使解析器必須先緩衝整個檔案才能吐出第一筆資料。JSONL(換行分隔 JSON)則在每一行儲存一筆精簡、獨立自足的 JSON 物件。
OpenAI、Anthropic Batch API 與 Vertex AI 的訓練管線會以串流方式獨立讀取數百萬行 JSONL,並針對每一行單獨驗證 Schema 合規性。
- 每一行都必須是單行壓縮 JSON(不可包含多行縮排美化物件)。
- 檔尾多餘空白行或尾隨逗號皆會觸發上傳驗證錯誤。
- 微調範例通常會對應轉換為具備角色標記的 `messages` 陣列。
從 CSV 直接套用 OpenAI Chat 與 Alpaca 訓練記錄範本
人工標註好的評估與訓練語料常先存放在 Excel 或 Google Sheets 中,並帶有 `system`、`prompt`/`user` 與 `completion`/`assistant` 等欄位。每換一個資料集就重寫轉換腳本相當耗時。
CSV 轉 JSONL 內建原始物件、OpenAI Chat(`messages[]`)與 Alpaca(`instruction/input/output`)三種範本,讓試算表於本機直接匯出為可訓練的 JSONL。
{"messages":[{"role":"user","content":"Explain UTF-8 BOM"},{"role":"assistant","content":"A 3-byte EF BB BF header telling Excel to decode UTF-8."}]}從巢狀 JSON 物件擷取陣列並產生驗證後的 JSONL
若您的來源匯出包在諸如 `{ "data": { "samples": [...] } }` 的巢狀 API 物件裡,只需將點路徑 `data.samples` 填入 JSON 轉 JSONL 即可展開陣列並逐行驗證輸出。
在本機離線估算微調資料集 Token 成本
企業專有訓練範例絕不應貼給第三方線上計算工具。在啟動微調作業前,先在本地離線測算產出 JSONL 的 Token 總量。
參考資料
常見問題
套用 OpenAI Chat CSV 預設範本時應使用哪些欄位名稱?
名為 system、user/prompt/question 與 assistant/completion/answer 的欄位會自動對應進 messages 角色陣列;若包含自訂欄位可選用原始模式。
可以把既有的 JSONL 日誌檔案轉回單一 JSON 陣列嗎?
可以。將「JSON 轉 JSONL」的方向選項切換為 JSONL -> JSON,即可把所有行收集回單一格式化的 JSON 陣列。
為何我的微調檔案上傳時在第 142 行驗證失敗?
最常見原因為該列含未跳脫引號、空白行或 NaN 數值。啟用「逐行驗證 JSONL 格式」可在本地立即標出問題行號。
相關格式
相關方案比較
相關指南
- TOON 比較 JSON:將大模型提示詞 Token 成本大省 30–60%探索 TOON(面向 Token 的物件表示法)如何消除均勻 JSON 陣列中的重複鍵名,顯著降低 GPT-5、Claude 4 與 Gemini 2.5 提示詞成本。
- 在瀏覽器本機合併與分割大型 CSV 檔案,不再讓 Excel 崩潰在瀏覽器本機依欄位標頭名稱合併多份 CSV 匯出,或將超大型試算表安全分割為重複帶標頭的分片與 ZIP 壓縮檔。
- 將 EPUB 電子書轉為適用於 Obsidian 與 AI 學習的 Markdown 筆記在本機將無 DRM 的 EPUB 電子書解包為連結完整的 Obsidian Markdown 筆記或分章 ZIP,保留標題、連結與流暢內文。