Guias

Corrigindo Texto Corrompido GBK, Big5, Shift-JIS e EUC-KR Localmente

Diagnostique e repare arquivos de texto CJK corrompidos (GBK, GB18030, Big5, Shift-JIS, EUC-KR) para UTF-8 limpo sem nenhum upload.

3 min de leitura

Resposta rápida: Exportações corporativas antigas, legendas e textos do Leste Asiático frequentemente usam `GBK`, `GB18030`, `Big5`, `Shift-JIS` ou `EUC-KR`. A validação UTF-8 estrita combinada com detecção de bytes no navegador decodifica fluxos `Uint8Array` para UTF-8 limpo sem enviar dados a servidores.

Por que textos CJK viram ou Õ½ÚÒ»

Codificações regionais legadas representam caracteres do Leste Asiático com sequências de 2 bytes fora do ASCII. Arquivos em chinês simplificado de apps antigos do Windows costumam usar GBK ou GB18030; chinês tradicional usa Big5; exportações japonesas usam Shift-JIS; e sistemas coreanos antigos usam EUC-KR.

Quando um leitor UTF-8 decodifica esses bytes brutos como Latin-1 ou insere glifos substitutos (`�`), o texto fica ilegível — mas o fluxo de bytes original ainda guarda os caracteres exatos.

  • GBK / GB18030: Página de código Windows 936 legada de chinês simplificado.
  • Big5: Página de código 950 de chinês tradicional comum em Taiwan e Hong Kong.
  • Shift-JIS: Página de código japonesa 932 comum em CSVs, jogos e letras.
  • EUC-KR: Arquivos legados coreanos da página 949 / KS X 1001.

Como a detecção estrita de bytes evita corrupção dupla

Nunca salve um arquivo depois de abri-lo corrompido no Bloco de Notas — fazer isso sobrescreve permanentemente os bytes originais com caracteres substitutos `�`. Sempre decodifique os bytes originais sem modificação.

O TxtTo verifica primeiro `TextDecoder("utf-8", { fatal: true })`, inspeciona cabeçalhos BOM, roda detecção estatística `chardet` e permite escolher manualmente a página de código de origem.

ts
const decoder = new TextDecoder("gb18030");
const cleanText = decoder.decode(originalFileBytes);
const utf8Bytes = new TextEncoder().encode(cleanText);

Converter GBK / Big5 / Shift-JIS / EUC-KR para UTF-8

Reparando legendas CJK (.srt / .lrc) e pastas em lote

Legendas de fãs e arquivos de karaokê frequentemente vêm em GBK ou Shift-JIS, exibindo caixas ilegíveis em players modernos e players web HTML5.

Solte um lote inteiro de arquivos `.txt`, `.csv`, `.srt`, `.lrc` ou `.log` no TxtTo para converter tudo para UTF-8 de uma só vez e baixar um arquivo ZIP limpo.

Reparar CSVs CJK com UTF-8 BOM para Excel

Padronizando quebras de linha após converter a codificação

Exportações de páginas de código legadas do Windows também trazem quebras de linha CRLF (`\r\n`). Ao mover scripts ou configs CSV convertidos para repositórios Git macOS/Linux, finalize normalizando CRLF para LF.

Normalizar quebras de linha CRLF para LF

Referências

Perguntas frequentes

Qual é a diferença entre GBK e GB18030?

GB18030 é o superset moderno do GBK e GB2312. Usar GB18030 na decodificação cobre praticamente todos os arquivos legados em chinês simplificado, incluindo caracteres raros.

O TxtTo consegue recuperar o texto depois que alguém salvou losangos com ponto de interrogação?

Se o arquivo já foi sobrescrito com caracteres literais U+FFFD, os valores originais dos bytes foram perdidos. Sempre rode a conversão no arquivo original intacto.

O TextDecoder WHATWG suporta Big5, Shift-JIS e EUC-KR offline?

Sim. Navegadores modernos implementam o padrão WHATWG Encoding nativamente dentro do TextDecoder, sem tabelas externas nem chamadas ao servidor.

Formatos relacionados

Comparativos relacionados

Guias relacionados