ガイド

CSV・JSON から有効な LLM ファインチューニング用 JSONL データセットを作成

スプレッドシートや JSON 配列から OpenAI Chat・Alpaca・Gemini ファインチューニング用の有効な .jsonl を全行検証付きでローカル生成します。

読了目安 3分

クイックアンサー: LLM のファインチューニング API は 1 行 1 オブジェクトの `JSONL`(`.jsonl`)形式を要求しますが、元データは `.csv` で管理されがちです。ブラウザ上でローカル変換すれば、各列を OpenAI `messages` や Alpaca 形式へオフラインでマッピングできます。

ファインチューニングやバッチ API が JSON ではなく JSONL を求める理由

通常の JSON は全レコードを外側の `[ ... ]` 配列で囲むため、パーサーはファイル末尾まで読み切るまで先頭レコードを確定できません。JSONL(改行区切り JSON)は 1 行につき 1 つのコンパクトな独立 JSON オブジェクトを書き込みます。

OpenAI、Anthropic Batch API、Vertex AI の学習パイプラインは何百万行もの JSONL を 1 行ずつストリーム処理しながらスキーマ検証を行います。

  • 各行は改行を含まない 1 行圧縮(Minify)JSON でなければならない。
  • 末尾の空行や余分なカンマがあるとアップロード検証エラーになる。
  • 対話データでは通常ロール別の `messages` 配列構造にマッピングする。

CSV から OpenAI Chat / Alpaca 形式の学習レコードを出力する

教師データや評価データは Excel やスプレッドシート上で `system`・`prompt`/`user`・`completion`/`assistant` 列として整理されることが多く、毎回手作業や使い捨てスクリプトで変換すると試行錯誤の速度が落ちます。

CSV to JSONL には Raw オブジェクト・OpenAI Chat(`messages[]`)・Alpaca(`instruction/input/output`)テンプレートが組み込まれており、即座に学習投入できる JSONL をローカル生成できます。

json
{"messages":[{"role":"user","content":"Explain UTF-8 BOM"},{"role":"assistant","content":"A 3-byte EF BB BF header telling Excel to decode UTF-8."}]}

CSV データセットを OpenAI / Alpaca JSONL に変換

ネストされた API JSON 配列を展開し全行検証付きで JSONL 化する

入力ファイルが `{ "data": { "samples": [...] } }` のようなラッパーオブジェクトの場合は、JSON to JSONL の配列 JSON パスに `data.samples` を指定するだけで該当配列を抽出して全行を検証付きで JSONL 出力できます。

JSON 配列の変換・JSONL の全行検証を行う

学習ジョブ投入前にローカルでデータセットのトークン総量を確認

社内独自の学習サンプルを外部のトークン計算サイトへ貼り付けるべきではありません。生成した JSONL の総トークン数とコスト目安をオフラインで確認してから学習を実行しましょう。

GPT-5・Claude 4・Gemini 2.5 でトークン数を計測

参考文献

よくある質問

OpenAI Chat CSV プリセットではどのような列名が自動認識されますか?

system、user / prompt / question、assistant / completion / answer といった列名を認識して messages 配列を構築します。独自列をそのまま使いたい場合は Raw モードをお選びください。

既存の JSONL ログファイルを通常の JSON 配列に戻すこともできますか?

はい。JSON to JSONL の変換方向を JSONL → JSON に切り替えるだけで、全行をまとめた整形済み JSON 配列へ変換できます。

ファインチューニング用ファイルのアップロード時に 142 行目でエラーが出た原因を調べられますか?

多くの場合、未エスケープの引用符・空行・NaN などが原因です。「JSONL の全行を個別に検証」をオンにすれば問題の行番号を即座に特定できます。

関連フォーマット

関連比較ページ

関連ガイド