가이드
CSV와 JSON으로 유효한 JSONL 파인튜닝 데이터셋 구축하기
스프레드시트와 JSON 배열에서 OpenAI 채팅, Alpaca 및 Gemini 파인튜닝에 바로 쓸 수 있는 유효한 .jsonl 파일을 줄 단위 검증과 함께 로컬 생성합니다.
빠른 답변: 파인튜닝 API는 한 줄에 하나의 JSON 객체가 담긴 `JSONL`(`.jsonl`) 형식을 요구하지만 원천 데이터는 주로 `.csv`로 관리됩니다. 브라우저에서 로컬로 변환하면 데이터셋을 업로드하지 않고 OpenAI `messages`나 Alpaca 형식으로 즉시 매핑할 수 있습니다.
파인튜닝 및 배치 API가 JSON 대신 JSONL을 요구하는 이유
표준 JSON은 레코드를 바깥쪽 `[ ... ]` 배열로 감싸기 때문에 파서가 전체 파일을 다 읽기 전까지 첫 번째 데이터를 처리할 수 없습니다. 반면 JSONL(줄바꿈 구분 JSON)은 한 줄에 하나씩 독립된 JSON 객체를 기록합니다.
OpenAI, Anthropic Batch API, Vertex AI의 학습 파이프라인은 수백만 줄의 JSONL을 한 줄씩 스트리밍하며 줄 단위 스키마 검증을 수행합니다.
- 모든 줄은 줄바꿈 없는 한 줄 압축(Minified) JSON이어야 합니다.
- 끝부분의 빈 줄이나 후행 쉼표는 업로드 검증 실패를 유발합니다.
- 대화형 학습 예제는 보통 역할 기반 `messages` 배열로 매핑합니다.
CSV에서 OpenAI Chat 및 Alpaca 학습 레코드 생성하기
검수된 학습 데이터는 대부분 Excel이나 Google 스프레드시트에서 `system`, `prompt`/`user`, `completion`/`assistant` 열 형태로 관리됩니다. 매번 일회성 스크립트를 짜서 변환하면 실험 속도가 크게 떨어집니다.
CSV to JSONL은 Raw, OpenAI Chat(`messages[]`), Alpaca(`instruction/input/output`) 템플릿을 내장해 스프레드시트를 곧바로 학습 가능한 JSONL로 로컬 출력합니다.
{"messages":[{"role":"user","content":"Explain UTF-8 BOM"},{"role":"assistant","content":"A 3-byte EF BB BF header telling Excel to decode UTF-8."}]}중첩 JSON 배열을 풀어 검증된 JSONL로 추출하기
원본 데이터가 `{ "data": { "samples": [...] } }` 같은 중첩 API 응답 객체라면, JSON to JSONL의 배열 경로 옵션에 `data.samples`를 입력해 해당 배열만 꺼내 모든 줄을 검증하며 출력할 수 있습니다.
파인튜닝 실행 전 로컬에서 데이터셋 토큰 비용 계산
독점 학습 데이터를 외부 토큰 계산 사이트에 올려서는 안 됩니다. 파인튜닝 작업을 시작하기 전에 생성된 JSONL의 총 토큰량과 예상 비용을 오프라인에서 미리 확인하세요.
참고 자료
자주 묻는 질문
OpenAI Chat CSV 프리셋에서는 어떤 열 이름을 인식하나요?
system, user/prompt/question, assistant/completion/answer 이름의 열을 자동으로 찾아 messages 역할 배열을 생성합니다. 다른 열은 Raw 모드로 그대로 출력할 수 있습니다.
기존 JSONL 로그 파일을 다시 하나의 JSON 배열로 되돌릴 수 있나요?
네. JSON to JSONL의 변환 방향을 JSONL → JSON으로 바꾸면 모든 줄을 모아 정렬된 JSON 배열로 만들어 줍니다.
파인튜닝 업로드 검증에서 142번째 줄 오류가 났을 때 빠르게 찾을 수 있나요?
대부분 따옴표 이스케이프 누락, 빈 줄 또는 NaN 값 때문입니다. 'JSONL 모든 줄 개별 검증'을 켜 두면 잘못된 줄 번호를 즉시 알려 줍니다.
관련 파일 형식
관련 비교 페이지
관련 가이드
- TOON vs JSON: LLM 프롬프트 토큰 비용 30–60% 절감하기TOON 표기법이 균일한 배열에서 반복되는 JSON 키를 제거해 GPT-5, Claude 4, Gemini 2.5 프롬프트 비용을 크게 줄이는 원리를 알아봅니다.
- 엑셀 멈춤 없이 브라우저에서 대용량 CSV 파일 로컬 병합 및 분할하기열 순서가 다른 여러 CSV 파일을 헤더 이름으로 병합하거나, 초대형 CSV를 헤더가 반복되는 깔끔한 청크로 분할해 ZIP으로 로컬 저장합니다.
- Obsidian 및 AI 학습을 위해 EPUB 전자책을 마크다운으로 변환하기DRM 없는 EPUB 전자책을 로컬에서 OPF 스파인 순서대로 풀어 제목과 본문이 보존된 Obsidian 마크다운 노트 또는 챕터별 ZIP으로 변환합니다.