Utilia

Fjern usynlige tegn

Finn og fjern usynlige tegn på nett. Oppdag nullbredde mellomrom, harde mellomrom, myke bindestreker og tegn for tekstretning (Trojan Source) i all tekst.

Tegn som skal fjernes

Slik fjerner du usynlige tegn

  1. Lim inn teksten din i inndataboksen. Den skannes så snart du limer inn.
  2. Les resultatet: en tabell lister hvert skjult tegn som er funnet, med kodepunkt, kort navn, Unicode-navn, type og antall. Inndata med utheving viser hvor hvert enkelt står, som et lite farget merke som ZWSP eller NBSP.
  3. Under Tegn som skal fjernes lar du typene du vil slette, stå avhuket. Velg alle / ingen slår alle av eller på samtidig.
  4. La Erstatt harde og spesielle mellomrom med et vanlig mellomrom stå avhuket, slik at «10 000» beholder mellomrommet i stedet for å bli «10000».
  5. Kopier den rensede teksten fra resultatboksen. Fjern usynlige tegn oppdaterer resultatet.

Hva verktøyet oppdager

Type Tegn Hvor de kommer fra
Nullbredde tegn ZWSP U+200B, ZWNJ U+200C, ZWJ U+200D, WJ U+2060, BOM U+FEFF Nettsider, tekstbehandlere, tekst kopiert fra PDF-er eller chat-apper, filer lagret med byterekkefølgemerke
Harde og spesielle mellomrom NBSP U+00A0, smalt NBSP U+202F, tynne, em-, en-, tall- og ideografiske mellomrom, linje- og avsnittsskilletegn HTML  , fransk typografi, Word, macOS Alt+mellomrom
Myke bindestreker SHY U+00AD Orddelingstips fra tekstbehandlere og nettsteder
Tegn for tekstretning LRM, RLM, ALM, LRE–RLO (U+202A–U+202E), LRI–PDI (U+2066–U+2069) Blandet arabisk, hebraisk og latinsk tekst, og skadelig kode
Kontrolltegn NUL, ESC, sideskift, DEL, C1-kontroller Terminalutdata, gamle filer, ødelagte tegnkodinger
Andre formattegn Tagtegn, usynlige matematiske operatorer, hangul-fyllere, tom braille, alle andre Unicode-tegn av typen «Cf» Skjulte vannmerker, «tomme» brukernavn, obskure kilder
Variasjonsvelgere VS1–VS256 Emoji-stiler, CJK-varianter og et steganografi-knep som skjuler data etter en emoji

Tabulatorer, linjeskift og vognretur er vanlige tegn og berøres aldri. Variasjonsvelgere er ikke valgt som standard, fordi de vanligvis er legitime.

Hvorfor usynlige tegn skaper problemer

De ser ut som ingenting, men datamaskiner ser dem. Et nullbredde mellomrom inne i et ord ødelegger søk og stavekontroll, et byterekkefølgemerke i begynnelsen av en CSV-fil ødelegger navnet på den første kolonnen, et hardt mellomrom gjør at to verdier er ulike i et oppslag i regneark eller i et passordfelt, og en myk bindestrek kan dele en nettadresse. Kode som inneholder en enslig U+FEFF eller U+00A0, kan nekte å kompilere med en uforståelig feilmelding.

Usynlige tegn kan også være satt inn med vilje: noen brukes til å merke kopiert tekst slik at en lekkasje kan spores tilbake til kilden.

Trojan Source og tegn for tekstretning

Tegn for tekstretning ber visningsmotoren om å legge ut deler av en linje fra høyre mot venstre. I kildekode kan de få koden til å se annerledes ut enn det kompilatoren faktisk kjører, et angrep som ble publisert i 2021 under navnet «Trojan Source» (CVE-2021-42574). Når verktøyet finner et slikt tegn, viser det en advarsel. Legitim arabisk eller hebraisk tekst kan bruke LRM- og RLM-merker, men tegn for innbygging, overstyring og isolering i kode eller konfigurasjonsfiler er et faresignal.

Behold det du trenger

  • Behold bindetegn og velgere inne i emojier beskytter nullbredde bindetegn og variasjonsvelgere som bygger emojier som 👨‍👩‍👧 eller ❤️. Fjern haken for å fjerne dem også. Familie-emojien blir da til tre separate personer.
  • Persisk, hindi og andre skriftsystemer bruker ZWNJ og ZWJ til å styre hvordan bokstaver henger sammen. For slik tekst fjerner du haken for Nullbredde tegn (ZWSP, ZWNJ, ZWJ, WJ, BOM).
  • Fransk typografi bruker smale harde mellomrom før « ; : ! ? » og inne i anførselstegn. Fjern haken for mellomromstypen for å beholde dem.
  • På norsk bruker vi hardt mellomrom i tall som 1 250 og foran enheter som «5 kg» eller «25 %». La derfor erstatningen stå på hvis du bare vil ha vanlige mellomrom, og fjern haken for mellomromstypen hvis de harde mellomrommene skal bli stående.

Ofte stilte spørsmål

Hvordan vet jeg om teksten min inneholder nullbredde mellomrom?

Lim den inn her. Hvis tabellen forblir tom og statusen sier «Ingen usynlige tegn funnet.», er det ingen.

Setter ordene seg sammen hvis jeg fjerner harde mellomrom?

Ikke med standardinnstillingen: harde og spesielle mellomrom erstattes med et vanlig mellomrom. Fjern haken for erstatningen bare hvis du vil at de skal slettes.

Fjerner verktøyet vanlige mellomrom, tabulatorer eller linjeskift?

Nei. Bare tegntypene som er listet over, påvirkes.

Er det trygt å lime inn konfidensiell tekst?

Ja. Skanningen og renskingen skjer i nettleseren din. Ingenting lastes opp eller lagres.

Hvorfor viser den rensede filen fortsatt et rart tegn i begynnelsen?

Hvis filen ble lagret med en annen tegnkoding enn UTF-8, kan problemet være tegnkodingen og ikke et usynlig tegn. Lagre filen på nytt som UTF-8 og skann den igjen.