Sanojen yleisyyslaskuri

Näin lasket sanojen yleisyyden

1. Liitä tekstisi syötekenttään: artikkeli, essee, litteraatti, asiakasarvostelut tai kyselyn vastaukset.
2. Valitse kohdasta Näytä vaihtoehto Yksittäiset sanat, 2 sanan ilmaukset tai 3 sanan ilmaukset.
3. Jätä Poista turhat sanat (the, and, of…) valituksi, jos haluat piilottaa kieliopilliset sanat, ja valitse tekstiäsi vastaava Turhien sanojen kieli: englanti tai ranska.
4. Jätä Ohita numerot valituksi, ellei numeroilla ole sinulle merkitystä, kuten vuosiluvuilla tai tuotekoodeilla.
5. Lue taulukko: jokaisella rivillä näkyvät sana tai ilmaus, sen määrä, osuus ja palkki, joka vertaa sitä yleisimpään. Kohdassa Näytettävät rivit voit valita 25, 50, 100 tai kaikki rivit.
6. Napsauta Lataa CSV, jos haluat avata koko luettelon taulukkolaskennassa.

Taulukko päivittyy kirjoittaessasi, ja Laske sanat päivittää sen.

Miten sanat lasketaan

Sana on kirjain- tai numerojono. Kirjainten välissä oleva heittomerkki tai yhdysmerkki pitää sanan koossa, joten “don’t”, “well-known” ja “peut-être” ovat yksittäisiä sanoja. Kirjainkoko ohitetaan: “The”, “the” ja “THE” lasketaan yhteen.

Muutama normalisointi tekee tuloksista hyödyllisempiä:

• Kaarevat ja suorat heittomerkit käsitellään samoin.
• Ranskassa elidoidut artikkelit ja pronominit poistetaan, joten “l’homme” ja “d’homme” lasketaan kumpikin sanaksi “homme” ja “qu’il” sanaksi “il”. “Aujourd’hui” säilyy yhtenä sanana.
• Englannissa omistusmuodon “‘s” poistetaan: “Google’s” lasketaan sanaksi “google”.

Sanoja ei palauteta perusmuotoon: “kissa” ja “kissan” luetellaan erikseen, mikä pitää määrät tarkkoina ja ennustettavina. Suomessa tämä tarkoittaa, että saman sanan eri taivutusmuodot lasketaan eri sanoiksi.

Ilmaukset

2 sanan tai 3 sanan ilmauksissa työkalu laskee jokaisen peräkkäisten sanojen jonon, mutta ei koskaan välimerkkien yli: lauseessa “Pariisi, Lontoo ja Rooma” “pariisi lontoo” ei ole ilmaus. Kun turhat sanat on poistettu, ilmaus, joka alkaa tai päättyy turhaan sanaan, ohitetaan, kun taas keskellä olevat turhat sanat säilytetään, joten esimerkiksi “return on investment” ja “quality of life” näkyvät edelleen.

Ilmausten määrät ovat paras tapa havaita tekstin todelliset aiheet. Yksittäiset sanat, kuten “learning” tai “machine”, kertovat yksinään vähän, mutta “machine learning” kertoo paljon.

Prosentit ja avainsanatiheys

Yksittäisten sanojen osuus on määrä jaettuna tekstin sanojen kokonaismäärällä, turhat sanat mukaan lukien. Hakukoneoptimoinnissa tätä kutsutaan avainsanatiheydeksi. Ilmauksissa osuus on määrä jaettuna tekstin saman pituisten ilmausten määrällä.

Peukalosääntönä: avainsana, jonka osuus tekstistä on useita prosentteja, voi kuulostaa toistavalta, ja hakukoneet palkitsevat luonnollista kirjoittamista eikä tavoitetiheyttä. Käytä lukuja ylikäytettyjen sanojen ja puuttuvien synonyymien havaitsemiseen, älä kiintiön täyttämiseen.

Turhien sanojen luettelot

Turhat sanat ovat hyvin yleisiä sanoja, kuten artikkeleita, pronomineja, prepositioita ja apuverbejä, jotka hallitsevat mitä tahansa yleisyyslaskentaa kertomatta paljon sisällöstä. Tämä työkalu käyttää avoimen lähdekoodin stopwords-iso-kokoelman englannin (1 298 sanaa) ja ranskan (691 sanaa) luetteloita MIT-lisenssillä. Ne ovat laajoja luetteloita: mukana on myös joitakin yleisiä verbejä ja adverbejä. Jos tarvitsemasi sana on piilossa, poista suodatin käytöstä. Turhien sanojen luettelot ovat saatavilla vain englannille ja ranskalle, joten suomenkielisen tekstin kohdalla suodatinta ei kannata käyttää, ja sanalaskenta toimii silloin ilman sitä.