指南

TXT、TSV 與 CSV 轉 SQL:可靠的資料庫匯入工作流程

於本機將空白或管線分隔 TXT 日誌及 TSV 轉為 RFC 4180 CSV,自動推斷欄位型別並批次產生 PostgreSQL、MySQL 或 SQLite SQL。

4 分鐘閱讀

快速解答: 先將空白、管線或分號分隔的 TXT 日誌與 TSV 表格正規化為具備雙引號跳脫的 RFC 4180 CSV,再透過 CSV 轉 SQL 自動推斷欄位型別,直接在瀏覽器記憶體中產生相容 PostgreSQL、MySQL 或 SQLite 的 CREATE TABLE 與分批 INSERT 語句。

為什麼原始 TXT 日誌與 TSV 匯出檔常讓資料庫匯入精靈出錯

終端機命令輸出、舊式 ERP 匯出報表與試算表剪貼簿資料,往往以不定長空白對齊的 .txt 文字、管線分隔檔或 .tsv 形式提供,而非標準 RFC 4180 CSV。

只要儲存格內出現如 "Tokyo, JP" 的逗號、O'Brien 的單引號,或 Excel 殘留的 UTF-8 BOM 位元組,簡易的匯入指令碼就容易發生欄位錯位或語法錯誤。

  • 不定寬空白對齊的文字欄位須依空白正規表示式切分,固定逗號切分器無法處理。
  • TSV 欄位內若含有逗號,轉成 CSV 時必須遵循 RFC 4180 以雙引號妥善包裹。
  • 各家 SQL 引擎對識別字引號、NULL 空值與字串反斜線跳脫的規定並不相同。

將 TXT 與 TSV 檔案正規化為標準 RFC 4180 CSV

從空白、Tab、管線(|)、分號或冒號分隔的文字日誌起步時,先用 TXT 轉 CSV 清理格式。開啟「修剪欄位空白」與「略過空白行」去除冗餘空白;若同事需於 Windows Excel 檢視該 CSV,可一併勾選加入 UTF-8 BOM。

處理 Tab 分隔的 TSV 匯出檔時,TSV 轉 CSV 會透過 PapaParse 解析並支援「所有欄位加引號(quoteAll)」,防止嚴格的匯入工具誤拆含有逗號的地址或備註欄位。

text
Raw TXT (whitespace):
node-01   us-east   200   14ms
node-02   ap-south  503   98ms

Normalized CSV:
node-01,us-east,200,14ms
node-02,ap-south,503,98ms

在本機將 TXT 日誌轉為乾淨 CSV

自動推斷型別並產生 CREATE TABLE 與分批 INSERT 語句

將清理後的 CSV 送入 CSV 轉 SQL,即可在不把客戶名單或監控數據上傳外部網站的前提下產出可執行 SQL。解析器會自動偵測逗號、Tab、管線與分號分隔符,移除首欄前潛在的 UTF-8 BOM,並依實際資料值推斷整數(含 64 位元 BIGINT)、浮點數、布林與文字型別。

你可以自訂資料表名稱(預設 imported_data)、決定是否包含 CREATE TABLE,並調整每個多列 INSERT 批次的行數(1 至 1000 列,預設 100)。空白儲存格會自動輸出為 SQL NULL,單引號亦會妥善跳脫。

從 CSV 本機產生 PostgreSQL / MySQL / SQLite SQL

特性PostgreSQLMySQLSQLite
識別字引號"column_name"`column_name`"column_name"
布林型別與字面值BOOLEAN (TRUE / FALSE)BOOLEAN (TRUE / FALSE)INTEGER (1 / 0)
浮點與字串型別DOUBLE PRECISION / TEXTDOUBLE / VARCHAR(255) 或 TEXTREAL / TEXT
字串跳脫規則單引號雙寫 ('')'' 加上 \、\n、\r、\0 跳脫單引號雙寫 ('')

寫入測試或正式資料庫前先用 CSV 轉 JSON 核對型別

在把產出的 SQL 指令稿執行到測試庫或正式庫之前,建議先用 CSV 轉 JSON 快速檢視數值與布林欄位的強制轉換結果,或以 TSV 轉 CSV 覆核欄位邊界。

只需幾秒鐘即可於本地找出不該轉成數字的編號欄位、意外空值或分隔符誤判問題。

將 TSV 匯出表轉為標準 RFC 4180 CSV

參考資料

常見問題

CSV 轉 SQL 能正確處理 Excel 匯出的 UTF-8 BOM 表頭嗎?

可以。CSV 轉 SQL 會自動剝離檔案開頭的 UTF-8 BOM(EF BB BF),確保第一個欄位名稱不會帶入不可見字元。

CSV 中的空白儲存格在產生的 SQL INSERT 語句會變成什麼?

空白或僅含空格的儲存格會自動轉為不帶引號的 SQL NULL,而非空字串 ''。

若資料表已存在,可以略過 CREATE TABLE 只產出 INSERT 語句嗎?

可以。取消勾選「包含 CREATE TABLE」,並調整批次大小(每條 INSERT 1 至 1000 列)即可直接匯入現有資料表。

相關格式

相關方案比較

相關指南