ガイド
CSV・JSON から有効な LLM ファインチューニング用 JSONL データセットを作成
スプレッドシートや JSON 配列から OpenAI Chat・Alpaca・Gemini ファインチューニング用の有効な .jsonl を全行検証付きでローカル生成します。
クイックアンサー: LLM のファインチューニング API は 1 行 1 オブジェクトの `JSONL`(`.jsonl`)形式を要求しますが、元データは `.csv` で管理されがちです。ブラウザ上でローカル変換すれば、各列を OpenAI `messages` や Alpaca 形式へオフラインでマッピングできます。
ファインチューニングやバッチ API が JSON ではなく JSONL を求める理由
通常の JSON は全レコードを外側の `[ ... ]` 配列で囲むため、パーサーはファイル末尾まで読み切るまで先頭レコードを確定できません。JSONL(改行区切り JSON)は 1 行につき 1 つのコンパクトな独立 JSON オブジェクトを書き込みます。
OpenAI、Anthropic Batch API、Vertex AI の学習パイプラインは何百万行もの JSONL を 1 行ずつストリーム処理しながらスキーマ検証を行います。
- 各行は改行を含まない 1 行圧縮(Minify)JSON でなければならない。
- 末尾の空行や余分なカンマがあるとアップロード検証エラーになる。
- 対話データでは通常ロール別の `messages` 配列構造にマッピングする。
CSV から OpenAI Chat / Alpaca 形式の学習レコードを出力する
教師データや評価データは Excel やスプレッドシート上で `system`・`prompt`/`user`・`completion`/`assistant` 列として整理されることが多く、毎回手作業や使い捨てスクリプトで変換すると試行錯誤の速度が落ちます。
CSV to JSONL には Raw オブジェクト・OpenAI Chat(`messages[]`)・Alpaca(`instruction/input/output`)テンプレートが組み込まれており、即座に学習投入できる JSONL をローカル生成できます。
{"messages":[{"role":"user","content":"Explain UTF-8 BOM"},{"role":"assistant","content":"A 3-byte EF BB BF header telling Excel to decode UTF-8."}]}ネストされた API JSON 配列を展開し全行検証付きで JSONL 化する
入力ファイルが `{ "data": { "samples": [...] } }` のようなラッパーオブジェクトの場合は、JSON to JSONL の配列 JSON パスに `data.samples` を指定するだけで該当配列を抽出して全行を検証付きで JSONL 出力できます。
学習ジョブ投入前にローカルでデータセットのトークン総量を確認
社内独自の学習サンプルを外部のトークン計算サイトへ貼り付けるべきではありません。生成した JSONL の総トークン数とコスト目安をオフラインで確認してから学習を実行しましょう。
参考文献
よくある質問
OpenAI Chat CSV プリセットではどのような列名が自動認識されますか?
system、user / prompt / question、assistant / completion / answer といった列名を認識して messages 配列を構築します。独自列をそのまま使いたい場合は Raw モードをお選びください。
既存の JSONL ログファイルを通常の JSON 配列に戻すこともできますか?
はい。JSON to JSONL の変換方向を JSONL → JSON に切り替えるだけで、全行をまとめた整形済み JSON 配列へ変換できます。
ファインチューニング用ファイルのアップロード時に 142 行目でエラーが出た原因を調べられますか?
多くの場合、未エスケープの引用符・空行・NaN などが原因です。「JSONL の全行を個別に検証」をオンにすれば問題の行番号を即座に特定できます。
関連フォーマット
関連比較ページ
関連ガイド
- TOON vs JSON:LLM プロンプトのトークンコストを 30〜60% 削減TOON 形式が均一配列で重複する JSON キーを排除し、GPT-5・Claude 4・Gemini 2.5 の入力トークンコストを半減させる仕組みを解説します。
- Excel をフリーズさせずに大容量 CSV をブラウザ内で結合・分割する方法複数 CSV を列名一致で安全にマージしたり、巨大 CSV をヘッダー付きで固定行数ごとに分割して一括 ZIP 出力したりする方法を解説します。
- EPUB 電子書籍を Obsidian・AI 学習向けの Markdown に変換する方法DRM フリーの EPUB を OPF スパイン順でローカル展開し、見出し・リンクを保った Obsidian 向け Markdown や章分割 ZIP を作成します。