Sanasto
robots.txt
robots.txt on sivuston juureen sijoitettava tekstitiedosto, jolla ohjataan hakurobotteja kertomalla, mitä sivuston osia ne saavat tai eivät saa käydä läpi.
Mitä robots.txt tarkoittaa käytännössä?
Tiedosto sijaitsee osoitteessa omasivu.fi/robots.txt. Siinä määritellään robottikohtaisia sääntöjä, kuten kielletyt hakemistot ja sallitut polut. Hyvät robotit, kuten hakukoneiden indeksoijat, noudattavat ohjeita, mutta pahantahtoiset eivät.
Tärkeä ero: robots.txt estää läpikäynnin, ei salaa sivua. Jos sivulle linkitetään muualta, hakukone voi silti näyttää sen osoitteen. Jos haluat varmasti estää sivun näkymisen hakutuloksissa, käytä noindex-merkintää tai suojaa sivu salasanalla.
Tiedostossa voi myös ilmoittaa sivukartan osoitteen. Virheet ovat vaarallisia: yksi väärä rivi voi estää koko sivuston läpikäynnin. Tarkista tiedosto aina sivuston julkaisun tai uudistuksen jälkeen, sillä testiympäristön esto jää helposti päälle. Jos käytät WordPressiä, lisäosa voi luoda tiedoston puolestasi, mutta oletusasetukset kannattaa silti tarkistaa. Tiedostoa voi käyttää myös ohjaamaan robotteja pois turhista osoitteista, kuten sisäisen haun tuloksista, jolloin hakukone käyttää aikansa tärkeille sivuille.
Miksi robots.txt on tärkeä?
Pieni virhe robots.txt-tiedostossa voi pudottaa koko sivuston hakutuloksista. Pk-yrityksen kannattaa tarkistaa tiedosto sivuston uudistuksen yhteydessä ja varmistaa, ettei testivaiheen esto ole jäänyt voimaan. Tekoälyrobottien pääsyä voi myös rajata, jos siihen on liiketoiminnallinen syy. Käy tiedosto läpi aina sivuston julkaisun jälkeen ja vertaa sitä Search Consolen raportteihin, jotta varmistut, että tärkeät sivut ovat läpikäytävissä. Muutokset kannattaa kirjata ylös.
Yleisiä virheitä ja väärinkäsityksiä
- Estetään vahingossa koko sivusto, kun testiympäristöstä siirrytään tuotantoon.
- Luullaan, että robots.txt piilottaa sivun hakutuloksista.
- Estetään tyylitiedostot ja skriptit, jolloin hakukone ei näe sivua oikein.
- Käytetään tiedostoa arkaluonteisten sivujen suojaamiseen.
Katso myös
Aiheeseen liittyvät termit: Sivukartta (XML sitemap), llms.txt, Google Search Console, Kanoninen osoite (canonical), SEO (hakukoneoptimointi), GEO-auditointi.
Lue lisää: SEO-tarkistuslista, llms.txt ja sen käyttö Tulossa 3.11., SEO-pikaauditointi, Tekoälybottien pääsy: GEO-analyysi.
Koko sanasto kokoaa markkinoinnin, myynnin ja tekoälyn käsitteet yhteen.
UKK
Usein kysyttyä: robots.txt
Piilottaako robots.txt sivun Googlesta?
Ei välttämättä. Se estää läpikäynnin, mutta osoite voi silti näkyä. Piilottamiseen käytetään noindex-merkintää.
Miten tarkistan tiedoston?
Avaa selaimessa omasivu.fi/robots.txt ja tarkista Search Consolesta mahdolliset estot.
Voiko robots.txt estää tekoälyrobotit?
Voi ohjeiden noudattamisen osalta, mutta kaikki robotit eivät noudata sääntöjä. Ajantasaiset robottien nimet tarkistetaan palveluntarjoajalta.
Lähteet ja lisätietoa
Haluatko käydä tilanteesi läpi?
30 minuutin keskustelussa selviää, mistä kannattaa aloittaa ja mitä se maksaa.