指南

從 CSV 與 JSON 在本機建置合法的 JSONL 微調訓練資料集

在瀏覽器本機將試算表與 JSON 陣列轉為符合 OpenAI Chat、Alpaca 與 Gemini 規範的 .jsonl 微調訓練檔並逐行驗證。

3 分鐘閱讀

快速解答: 模型微調與批次推論 API 要求每行一個獨立 JSON 物件的 `JSONL`(`.jsonl`)格式,而原始標註資料多半來自 `.csv` 表格。本地串流轉換可直接將欄位對應為 OpenAI `messages` 或 Alpaca 訓練集格式,訓練資料絕不離開本機。

為什麼微調與批次 API 需要 JSONL 而非普通 JSON

標準 JSON 將所有記錄包在外層 `[ ... ]` 陣列中,迫使解析器必須先緩衝整個檔案才能吐出第一筆資料。JSONL(換行分隔 JSON)則在每一行儲存一筆精簡、獨立自足的 JSON 物件。

OpenAI、Anthropic Batch API 與 Vertex AI 的訓練管線會以串流方式獨立讀取數百萬行 JSONL,並針對每一行單獨驗證 Schema 合規性。

  • 每一行都必須是單行壓縮 JSON(不可包含多行縮排美化物件)。
  • 檔尾多餘空白行或尾隨逗號皆會觸發上傳驗證錯誤。
  • 微調範例通常會對應轉換為具備角色標記的 `messages` 陣列。

從 CSV 直接套用 OpenAI Chat 與 Alpaca 訓練記錄範本

人工標註好的評估與訓練語料常先存放在 Excel 或 Google Sheets 中,並帶有 `system`、`prompt`/`user` 與 `completion`/`assistant` 等欄位。每換一個資料集就重寫轉換腳本相當耗時。

CSV 轉 JSONL 內建原始物件、OpenAI Chat(`messages[]`)與 Alpaca(`instruction/input/output`)三種範本,讓試算表於本機直接匯出為可訓練的 JSONL。

json
{"messages":[{"role":"user","content":"Explain UTF-8 BOM"},{"role":"assistant","content":"A 3-byte EF BB BF header telling Excel to decode UTF-8."}]}

將 CSV 資料集轉為 OpenAI / Alpaca JSONL

從巢狀 JSON 物件擷取陣列並產生驗證後的 JSONL

若您的來源匯出包在諸如 `{ "data": { "samples": [...] } }` 的巢狀 API 物件裡,只需將點路徑 `data.samples` 填入 JSON 轉 JSONL 即可展開陣列並逐行驗證輸出。

轉換巢狀 JSON 陣列或驗證 JSONL

在本機離線估算微調資料集 Token 成本

企業專有訓練範例絕不應貼給第三方線上計算工具。在啟動微調作業前,先在本地離線測算產出 JSONL 的 Token 總量。

計算 GPT-5、Claude 4 與 Gemini 2.5 Token 數量

參考資料

常見問題

套用 OpenAI Chat CSV 預設範本時應使用哪些欄位名稱?

名為 system、user/prompt/question 與 assistant/completion/answer 的欄位會自動對應進 messages 角色陣列;若包含自訂欄位可選用原始模式。

可以把既有的 JSONL 日誌檔案轉回單一 JSON 陣列嗎?

可以。將「JSON 轉 JSONL」的方向選項切換為 JSONL -> JSON,即可把所有行收集回單一格式化的 JSON 陣列。

為何我的微調檔案上傳時在第 142 行驗證失敗?

最常見原因為該列含未跳脫引號、空白行或 NaN 數值。啟用「逐行驗證 JSONL 格式」可在本地立即標出問題行號。

相關格式

相關方案比較

相關指南