Perdi uma tarde uma vez para um único personagem Um usuário & #39; s nome continha uma letra acentuada, parecia bem no banco de dados, quebrou em uma exportação de PDF, e apareceu como um par de pontos de interrogação em um log A correção foi trivial uma vez que EU podia ver o ponto de código real atrás do glifo, mas chegar lá significava três ferramentas diferentes e um monte de apertar os olhos Esse é o atrito que EU construí o conversor unicode em Toolz.dev para remover: cole qualquer texto e veja exatamente do que ele é feito, em qualquer notação que o trabalho à sua frente queira, e decodifique qualquer uma dessas notações de volta para texto legível Este é o guia para ele e para a codificação de caracteres que ele expõe.
tl;dr: Cada caractere possui um ponto de código Unicode, um número escrito como U+0041 para A. The Toolz conversor unicode transforma o texto nesse ponto de código mais entidades decimais, hexadecimais, HTML (A e A), escapes JavaScript (A) e escapes CSS (\41), e decodifica qualquer um deles de volta ao texto Ele lida com emoji e outros caracteres astrais por ponto de código verdadeiro para que eles façam a viagem de ida e volta corretamente, mostra uma tabela por caractere com bytes UTF-8 e é executado inteiramente do lado do cliente para que seu texto nunca saia do navegador.
O que é um conversor Unicode?
Um conversor Unicode traduz entre o texto que você lê e os números que um computador armazena para ele Cada caractere, de uma letra latina simples a um ideógrafo chinês e a um emoji, recebe um ponto de código por o Padrão Unicode, e esse ponto de código é geralmente escrito na forma U+ seguido por quatro a seis dígitos hexadecimais: U+0041 para A maiúsculo, U+00E9 para é, U+4E16 para 世, U+1F30 D para o emoji terra O conversor lê o que quer que você digite e mostra o ponto de código atrás de cada caractere, em seguida, permite expressar esse mesmo ponto de código em qualquer uma das notações que diferentes idiomas e formatos esperam.
A razão pela qual um único ponto de código tem tantas formas escritas é que diferentes contextos têm diferentes regras de escape Um documento HTML usa referências de caracteres como A em decimal ou A em hexadecimal. Uma string JavaScript usa A, ou \u{1F30D} para caracteres além do intervalo básico Um valor CSS utiliza \41 com um espaço à direita Uma especificação, um relatório de bug ou um gráfico Unicode usa o formulário U+. Todos eles apontam para o mesmo caractere; eles apenas usam roupas diferentes dependendo de onde moram A ferramenta produz todos eles a partir de uma entrada e inverte qualquer um deles, para que você nunca precise lembrar qual sintaxe um determinado arquivo deseja ou redigitar um caractere complicado manualmente.
O que é um ponto de código Unicode e como ele é diferente do UTF-8?
Esta é a distinção que limpa a maioria da confusão de codificação, por isso vale a pena ser preciso Um ponto de código é um número abstrato que identifica um caractere Ele não diz nada sobre como esse número é armazenado na memória ou enviado por um fio UTF-8 é uma maneira específica de codificar um ponto de código como uma sequência de bytes, definida em RFC 3629. Os dois estão relacionados mas não são a mesma coisa, e misturá-los é a raiz de muitos & quot; por que meu texto está distorcido e quot; bugs.
Tome é, ponto de código U+00E9. como um ponto de código é um único número, 233 em decimal Em UTF-8 é armazenado como dois bytes, C3 A9. Em UTF-16 é uma unidade de 16 bits O caractere é uma coisa; sua representação de bytes depende da codificação A tabela por caractere no conversor mostra o ponto de código e os bytes UTF-8 lado a lado, quando você vê um nome que é renderizado como é em vez de é, você pode reconhecer imediatamente o sintoma clássico: UTF-8 bytes sendo lidos como se fossem uma codificação de byte único como Latin-1. ver os bytes costuma ser a maneira mais rápida de diagnosticar uma incompatibilidade de codificação.
Aqui está um pequeno mapa de um caractere nas notações que a ferramenta produz.
| Notação | Valor para é (U+00E9) |
|---|---|
| Ponto código | U+00E9 |
| decimal | 233 |
| bruxa | 0xE9 |
| Entidade decimal HTML | é |
| Entidade hexadecimal HTML | é |
| Fuga JavaScript | é |
| Fuga CSS | \E9 |
| UTF-8 bytes | C3 A9 |
Como faço para converter texto em Unicode?
Escolha Codificar, escolha a notação desejada e digite ou cole seu texto. O conversor unicode mostra a saída codificada imediatamente e preenche uma tabela por caractere com o ponto de código, valor decimal, entidade HTML e bytes UTF-8 para cada glifo Copie a saída e solte-a em seu HTML, folha de estilo, script ou documento.
Os quatro passos são rápidos Primeiro, selecione Codificar para ir de texto para notação, ou Decodificar para ir para o outro lado Segundo, escolha o formato: ponto de código, decimal, hex, entidade HTML, escape JavaScript ou escape CSS, e para decodificação existe um modo automático que detecta os formulários comuns para você Terceiro, insira seu texto e assista a conversão Quarto, copie o resultadoNão há upload e nenhuma conta.
Converter-se em entidades HTML é um dos usos mais comuns e se sobrepõe ao dedicado entidades html ferramenta, que se concentra em entidades nomeadas como & e ©. o guia de entidades HTML abrange quando uma entidade nomeada é a escolha certa e quando uma numérica é Este conversor complementa-a, dando-lhe a vista numérica de pontos de código de qualquer caractere, nomeado ou não.
Ele lida com emoji corretamente?
Sim, e é aqui que muitos conversores mais simples produzem silenciosamente uma saída quebrada Caracteres acima de U+FFFF vivem no que o Unicode chama de planos suplementares, e o JavaScript armazena cada um deles internamente como duas unidades de código de 16 bits chamadas de par substituto Se um conversor ingenuamente anda uma string uma unidade de código de cada vez, ele divide um emoji em duas metades e emite dois escapes sem sentido que nunca serão remontados no caractere original.
Esta ferramenta itera por verdadeiro ponto de código, de modo que um emoji como a terra (U+1F30 D) é tratado como um caractere por toda parte Codifique-o e você obter um único valor limpo: \u{1F30D} no formulário JavaScript ES6, 🌍 como uma entidade HTML, U+1F30 D como um ponto de código Decodificar qualquer um desses e o emoji original volta inteiro Ao decodificar escapes JavaScript de estilo antigo que foram escritos como pares substitutos, 🌍, a ferramenta combina as metades corretamente em vez de deixá-lo com duas unidades de código quebradas Round-tripping um emoji através do conversor dá-lhe de volta exatamente o que você começou com, que é o teste de linha de base uma ferramenta Unicode tem que passar e muitos falham.
Como decodifico escapes Unicode de volta ao texto?
Mude para Decodificar, cole a string codificada e escolha o formato correspondente ou deixe-o no modo automático. O modo automático reconhece a notação U+ \u e \u{} JavaScript escapa e &# e &#x Entidades HTML na mesma entrada, então uma pasta mista de um log ou um arquivo de configuração ainda decodifica Se você souber o formato exato, selecioná-lo diretamente é a opção mais confiável, especialmente para hexadecimal ou simples, onde números nus poderiam ser ambíguos.
A decodificação é a metade do trabalho que você alcança quando está na extremidade receptora do texto codificado: uma carga JSON cheia de \u escapes, uma visualização de origem HTML repleta de entidades numéricas, um rastreamento de pilha que registrou uma string na forma de escape Em vez de decodificar manualmente caractere por caractere, você cola tudo e lê o texto simples de volta O conversor reconstrói os caracteres originais e, como observado acima, reúne corretamente quaisquer pares substitutos que encontra para que os caracteres astrais sobrevivam à viagem.
Isso combina bem com as outras ferramentas de decodificação no site Texto codificado por porcentagem em uma URL é o trabalho do url codificador, e o binário codificado por base64 é tratado pelo conversor base64. São codificações diferentes para transportes diferentes, e saber qual deles você está olhando é metade da batalha. O Kit de ferramentas para desenvolvedores web o guia descreve como essas ferramentas de codificação se encaixam no trabalho diário.
Quando eu realmente precisaria de fugas de CSS ou JavaScript?
Mais frequentemente do que você esperaria, e geralmente no momento exato algo não está renderizando Em CSS, o content propriedade de a ::before ou ::after pseudo-elemento não pode conter caracteres arbitrários diretamente em todas as situações, então você escapa deles: uma seta apontando para a direita se torna content: "\2192". As regras de escape CSS, incluindo o espaço final que encerra um escape hexadecimal, são definidas no Módulo de sintaxe CSS nível 3, e o conversor emite exatamente esse formulário para que você possa colá-lo diretamente em uma folha de estilo.
Em JavaScript, os escapes permitem colocar um caractere no código-fonte sem depender da codificação file' s ou do seu editor renderizá-lo corretamente. © é inequívoco onde um símbolo literal de direitos autorais pode ser mutilado por uma ferramenta em preparação. Para caracteres além do plano básico, o ES6 \u{...} a forma é mais limpa do que um par substituto, e o conversor a usa para caracteres astrais, mantendo os quatro dígitos \uXXXX formulário para caracteres que cabem nele referências de caracteres numéricos HTML, o &#...; os formulários têm a mesma finalidade na marcação e são regidos pelo Padrão HTML WHATWG. Ter tudo isso gerado a partir de uma entrada significa que você para de adivinhar a sintaxe e copia sempre o escape correto.
Qual notação devo usar e quando?
Com sete formatos de saída em oferta, a questão prática é qual uma determinada tarefa deseja, e a resposta é quase sempre ditada por onde o personagem vai viver e não por preferência Se você estiver escrevendo HTML e precisar de um caractere que é estranho de digitar ou que de outra forma seria interpretado como marcação, use uma entidade HTML: — ou seu gêmeo hexadecimal —. Se o caractere estiver entrando em uma string JavaScript literal, use o \u escape e alcance o \u{...} forma quando o caractere está além do plano básico Se ele pertence a um valor CSS, especialmente o content propriedade, use o escape CSS com seu espaço de fuga Se você estiver escrevendo uma especificação, um comentário ou um relatório de bug onde deseja nomear o caractere de forma inequívoca sem renderizá-lo, o formulário de ponto de código U+ é a convenção que todos reconhecem.
As saídas decimal e hex são as que as pessoas alcançam com menos frequência, mas elas importam quando você está falando com um sistema que fala em números brutos: uma coluna de banco de dados armazenando pontos de código, um protocolo que transmite caracteres como inteiros, uma pesquisa em um arquivo de dados Unicode. Ser capaz de inverter um caractere para seu valor decimal ou hexadecimal e, novamente, salva uma conversão de base manual exatamente no momento em que você já está em uma sessão de depuração.
Há uma regra que atravessa todos eles: qualquer que seja a notação que você emitir, decodificá-lo de volta e confirmar que você obter o caractere original antes de confiar nele Round-tripping é a verificação de correção mais barata que existe, e ele pega os dois erros clássicos imediatamente, um par substituto mutilado para um caractere astral e um off-by-one nos dígitos hex. O conversor faz que verifique uma única pasta na direção oposta Se um valor sensível à segurança está envolvido, a mesma disciplina se aplica à porcentagem-codificação tratada pelo url codificador, onde uma fuga errada pode alterar o que um servidor realmente recebe.
É seguro converter textos sensíveis aqui?
Sim. Toda conversão acontece em JavaScript dentro do seu navegador Nada que você cole é enviado para um servidor, nada é registrado, e a ferramenta continua trabalhando com sua conexão desligada uma vez que a página tenha carregado Você pode inspecionar strings privadas, dados de usuário ou o conteúdo de um arquivo interno sem que nenhum deles saia da sua máquina.
Essa propriedade não é incidental, é a razão para preferir uma ferramenta do lado do cliente para este tipo de trabalho O texto que você executa através de um conversor Unicode é muitas vezes exatamente o texto que você menos gostaria de entregar a um terceiro: um usuário real' s nome que você está depurando, um trecho de um conjunto de dados privado, uma string de um recurso inédito Um conversor do lado do servidor, por mais confiável que seja, é mais uma parte na cadeia, Fazer o trabalho no navegador remove a questão O raciocínio mais amplo está no ferramentas online de privacidade de dados guia, e se aplica a todas as ferramentas de codificação no Toolz.dev, desta até a guia de codificação Base64 e além.
Perguntas frequentes
Como faço para converter texto em Unicode?
Cole seu texto na área de entrada com o Encode selecionado e escolha um formato como ponto de código ou entidade HTML. A ferramenta mostra a representação Unicode de cada caractere instantaneamente, tudo dentro do seu navegador.
O que é um ponto de código Unicode?
Um ponto de código é o número que o Unicode atribui a um caractere, escrito como U+0041 para A. Ele identifica o caractere independentemente de como ele é armazenado, e é por isso que o mesmo ponto de código pode aparecer como uma entidade HTML, um escape JavaScript ou um escape CSS.
Qual é a diferença entre um ponto de código e UTF-8?
Um ponto de código é o número abstrato para um caractere; UTF-8 é uma maneira de armazenar esse número como um a quatro bytes A tabela por caractere mostra ambos, então você pode ver que U+00E9 para é é armazenado como os dois bytes UTF-8 C3 A9.
Ele lida com emoji corretamente?
Sim. Emoji vivem fora do intervalo básico e são armazenados como pares substitutos em JavaScript O conversor lê e grava-los por verdadeiro ponto de código, então um emoji como a terra (U+1F30 D) de ida e volta sem dividir em duas metades quebradas.
Como decodifico escapes Unicode de volta ao texto?
Mude para Decodificar, cole a string codificada e escolha o formato correspondente ou use auto para detectá-la A ferramenta reconstrói os caracteres originais, combinando corretamente quaisquer pares substitutos que encontrar.
Quando precisaria de uma fuga de CSS?
As fugas CSS permitem colocar um caractere em um valor de folha de estilo, como a propriedade de conteúdo A ferramenta gera valores como \41 com o espaço final que o CSS usa para encerrar um escape hexadecimal, pronto para colar em uma propriedade de conteúdo.
Ele pode converter o mesmo caractere para vários formatos ao mesmo tempo?
Sim. Escolher um formato define a saída principal, e a tabela por caractere sempre mostra o ponto de código, o valor decimal, a entidade HTML e os bytes UTF-8 para cada caractere, para que você possa ler várias notações rapidamente.
É seguro converter textos sensíveis aqui?
Sim. toda a conversão acontece em JavaScript dentro do seu navegador Nada é enviado para um servidor, nada é registrado e a ferramenta funciona com sua conexão desativada.
o conversor unicode é gratuito, é executado inteiramente em seu navegador, e não precisa de inscrição Codifique um caractere em qualquer notação, decodifique-o de volta, e leia os bytes brutos por trás de qualquer glifo Explore-o ao lado do tabela ascii e o resto das ferramentas de codificação ativadas Toolz.dev.
