指南
TXT、TSV 與 CSV 轉 SQL:可靠的資料庫匯入工作流程
於本機將空白或管線分隔 TXT 日誌及 TSV 轉為 RFC 4180 CSV,自動推斷欄位型別並批次產生 PostgreSQL、MySQL 或 SQLite SQL。
快速解答: 先將空白、管線或分號分隔的 TXT 日誌與 TSV 表格正規化為具備雙引號跳脫的 RFC 4180 CSV,再透過 CSV 轉 SQL 自動推斷欄位型別,直接在瀏覽器記憶體中產生相容 PostgreSQL、MySQL 或 SQLite 的 CREATE TABLE 與分批 INSERT 語句。
為什麼原始 TXT 日誌與 TSV 匯出檔常讓資料庫匯入精靈出錯
終端機命令輸出、舊式 ERP 匯出報表與試算表剪貼簿資料,往往以不定長空白對齊的 .txt 文字、管線分隔檔或 .tsv 形式提供,而非標準 RFC 4180 CSV。
只要儲存格內出現如 "Tokyo, JP" 的逗號、O'Brien 的單引號,或 Excel 殘留的 UTF-8 BOM 位元組,簡易的匯入指令碼就容易發生欄位錯位或語法錯誤。
- 不定寬空白對齊的文字欄位須依空白正規表示式切分,固定逗號切分器無法處理。
- TSV 欄位內若含有逗號,轉成 CSV 時必須遵循 RFC 4180 以雙引號妥善包裹。
- 各家 SQL 引擎對識別字引號、NULL 空值與字串反斜線跳脫的規定並不相同。
將 TXT 與 TSV 檔案正規化為標準 RFC 4180 CSV
從空白、Tab、管線(|)、分號或冒號分隔的文字日誌起步時,先用 TXT 轉 CSV 清理格式。開啟「修剪欄位空白」與「略過空白行」去除冗餘空白;若同事需於 Windows Excel 檢視該 CSV,可一併勾選加入 UTF-8 BOM。
處理 Tab 分隔的 TSV 匯出檔時,TSV 轉 CSV 會透過 PapaParse 解析並支援「所有欄位加引號(quoteAll)」,防止嚴格的匯入工具誤拆含有逗號的地址或備註欄位。
Raw TXT (whitespace):
node-01 us-east 200 14ms
node-02 ap-south 503 98ms
Normalized CSV:
node-01,us-east,200,14ms
node-02,ap-south,503,98ms自動推斷型別並產生 CREATE TABLE 與分批 INSERT 語句
將清理後的 CSV 送入 CSV 轉 SQL,即可在不把客戶名單或監控數據上傳外部網站的前提下產出可執行 SQL。解析器會自動偵測逗號、Tab、管線與分號分隔符,移除首欄前潛在的 UTF-8 BOM,並依實際資料值推斷整數(含 64 位元 BIGINT)、浮點數、布林與文字型別。
你可以自訂資料表名稱(預設 imported_data)、決定是否包含 CREATE TABLE,並調整每個多列 INSERT 批次的行數(1 至 1000 列,預設 100)。空白儲存格會自動輸出為 SQL NULL,單引號亦會妥善跳脫。
從 CSV 本機產生 PostgreSQL / MySQL / SQLite SQL
| 特性 | PostgreSQL | MySQL | SQLite |
|---|---|---|---|
| 識別字引號 | "column_name" | `column_name` | "column_name" |
| 布林型別與字面值 | BOOLEAN (TRUE / FALSE) | BOOLEAN (TRUE / FALSE) | INTEGER (1 / 0) |
| 浮點與字串型別 | DOUBLE PRECISION / TEXT | DOUBLE / VARCHAR(255) 或 TEXT | REAL / TEXT |
| 字串跳脫規則 | 單引號雙寫 ('') | '' 加上 \、\n、\r、\0 跳脫 | 單引號雙寫 ('') |
寫入測試或正式資料庫前先用 CSV 轉 JSON 核對型別
在把產出的 SQL 指令稿執行到測試庫或正式庫之前,建議先用 CSV 轉 JSON 快速檢視數值與布林欄位的強制轉換結果,或以 TSV 轉 CSV 覆核欄位邊界。
只需幾秒鐘即可於本地找出不該轉成數字的編號欄位、意外空值或分隔符誤判問題。
參考資料
常見問題
CSV 轉 SQL 能正確處理 Excel 匯出的 UTF-8 BOM 表頭嗎?
可以。CSV 轉 SQL 會自動剝離檔案開頭的 UTF-8 BOM(EF BB BF),確保第一個欄位名稱不會帶入不可見字元。
CSV 中的空白儲存格在產生的 SQL INSERT 語句會變成什麼?
空白或僅含空格的儲存格會自動轉為不帶引號的 SQL NULL,而非空字串 ''。
若資料表已存在,可以略過 CREATE TABLE 只產出 INSERT 語句嗎?
可以。取消勾選「包含 CREATE TABLE」,並調整批次大小(每條 INSERT 1 至 1000 列)即可直接匯入現有資料表。