Tekoälybotit jaetaan kolmeen rooliin: hakubotit, käyttäjän pyynnöstä hakevat botit ja koulutusbotit. Haku- ja käyttäjäbottien esto voi poistaa yrityksen tekoälyvastauksista. Koulutusbottien esto on liiketoimintapäätös. OpenAI, Anthropic ja Perplexity ohjeistavat bottinsa erikseen, joten sääntöjä pitää lukea kokonaisuutena.
Vaihe: Perusteet. Osa aihekokonaisuutta GEO ja AI-näkyvyys: näin yrityksesi näkyy tekoälyvastauksissa. Seuraavaksi: Tekoälyhaku vai Google-haku: mikä muuttuu ostajalle Tulossa 26.10..
Mitä tekoälybotit ovat ja miksi niillä on eri roolit?
Tekoälypalveluiden botit hakevat verkkosivuja kolmeen tarkoitukseen. Hakubotit indeksoivat sisältöä, jotta palvelu voi linkittää sivuun vastauksessaan. Käyttäjäbotit hakevat sivun, kun käyttäjä kysyy jotain. Koulutusbotit keräävät aineistoa mallien koulutukseen. Valmistajat ovat eriyttäneet nämä omiksi boteikseen, jotta sivuston omistaja voi päättää jokaisesta erikseen.
Eron ymmärtäminen on tärkeintä. Jos estät kaikki tekoälybotit yhdellä säännöllä, estät myös ne, joiden kautta yritys voisi näkyä vastauksissa. Robots.txt:n perusteet on selitetty sanastossa: robots.txt.
Yhdeksän bottia ja niiden roolit
Tiedot ovat valmistajien omista ohjeista: OpenAI
| Botti | Valmistaja | Rooli | Mitä valmistaja kertoo |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Haku | Nostaa sivustoja ChatGPT:n hakuominaisuuksiin, ei käytetä perusmallien koulutukseen |
| GPTBot | OpenAI | Koulutus | Keräämä sisältö voi mennä OpenAIn mallien koulutukseen |
| ChatGPT-User | OpenAI | Käyttäjän pyyntö | Hakee sivun, kun käyttäjä pyytää. Käyttäjän pyytämiin hakuihin robots.txt-säännöt eivät välttämättä päde |
| Claude-SearchBot | Anthropic | Haku | Parantaa hakuvastausten laatua |
| Claude-User | Anthropic | Käyttäjän pyyntö | Hakee sivun, kun käyttäjä kysyy Claudelta |
| ClaudeBot | Anthropic | Koulutus | Kerää sisältöä, jota voidaan käyttää mallien koulutukseen |
| PerplexityBot | Perplexity | Haku | Nostaa ja linkittää sivustoja Perplexityn hakutuloksiin, ei perusmallien koulutukseen |
| Perplexity-User | Perplexity | Käyttäjän pyyntö | Hakee sivun käyttäjän kysyessä ja yleensä ohittaa robots.txt-säännöt |
| Google-Extended | Koulutus | Hallitsee Gemini-mallien koulutusta ja vastauksen perustana käyttöä, ei vaikuta Google-hakuun |
Mitä sallia ja mitä estää?
Valinta on liiketoimintapäätös. Yrityksen, joka haluaa näkyä, kannattaa sallia haku- ja käyttäjäbotit. Koulutusbottien esto on perusteltu esimerkiksi silloin, kun sisältö on maksullista. Estäminen ei ole virhe, kunhan se on tehty tietoisesti ja kohdistettu oikeaan bottiin.
| Tavoite | Salli | Estä (harkiten) |
|---|---|---|
| Näkyä tekoälyvastauksissa | Hakubotit ja käyttäjäbotit | Ei mitään |
| Näkyä, mutta ei koulutukseen | Hakubotit ja käyttäjäbotit | Koulutusbotit |
| Sisältö on maksullista tai luottamuksellista | Vain tarvittavat | Koulutusbotit ja tarvittaessa muut |
Ilmainen lataus
GEO-tarkistuslista ja llms.txt-pohja
20 kohtaa tekoälyhakuun ja pohja llms.txt-tiedostolle.
Neljä tarkistusta robots.txt:lle
- Avaa osoite oma-sivusto.fi/robots.txt ja lue säännöt rivi riviltä.
- Etsi User-agent-rivit, jotka koskevat tekoälyboteja, ja tarkista, että ne on kohdistettu oikein.
- Tarkista, ettei yleinen sääntö (User-agent: *, Disallow: /) estä kaikkea.
- Muista, että robots.txt ei yksin riitä: palomuuri tai CDN voi pysäyttää botin, vaikka sääntö sallisi sen. Käytäntö on kuvattu artikkelissa näkyminen Perplexityssä.
Miten muutos tehdään turvallisesti?
Tallenna nykyinen robots.txt ennen muutosta. Tee muutos yhdessä paikassa kerrallaan ja tarkista tulos avaamalla tiedosto selaimessa. Perplexityn dokumentaation mukaan robots.txt-muutosten voimaantulo voi kestää jopa 24 tuntia, joten odota ennen kuin teet johtopäätöksiä. Jos käytät WordPressiä, huomaa, että SEO-lisäosa tai hosting voi kirjoittaa tiedoston uudelleen, joten tarkista tiedosto myös päivitysten jälkeen.
Esimerkki: kuvitteellinen robots.txt-korjaus
Esimerkin yritys ja tiedosto ovat kuvitteellisia. Kuvitteellisen yrityksen robots.txt estää useita tekoälyboteja yhdellä ryhmällä, koska tarkoitus oli estää koulutus. Ryhmään on päätynyt myös haku- ja käyttäjäbotteja. Testissä yritystä ei mainita lainkaan.
Korjaus on jakaa säännöt: koulutusbotit omaan ryhmäänsä ja haku- ja käyttäjäbotit sallittuina. Seuraavassa testissä mainintoja alkaa näkyä. Esimerkki kuvaa sääntöjen jaon logiikkaa eikä lupaa tulosta. Anthropicin botit on käsitelty tarkemmin artikkelissa näkyminen Claudessa.
Entä llms.txt ja muut tiedostot?
Robots.txt kertoo, mitä botti saa hakea. Llms.txt Tulossa 3.11. on ehdotus tekoälylle tarkoitetuksi sisältöyhteenvedoksi, eikä se ole standardi. Googlen oman ohjeen mukaan Googlen tekoälyominaisuuksiin ei tarvita erillisiä tekoälytiedostoja. Tiedostosta on oma artikkelinsa: llms.txt: mikä se on ja kannattaako sitä käyttää Tulossa 3.11..
Yleisimmät virheet
- Estetään kaikki tekoälybotit yhdellä säännöllä.
- Sekoitetaan koulutuksen esto ja löytyminen keskenään.
- Oletetaan, että robots.txt pysäyttää myös käyttäjän pyytämän haun.
- Ei tarkisteta palomuuria, vaikka robots.txt on kunnossa.
- Sääntöjä ei lueta uudelleen sen jälkeen, kun joku on muokannut tiedostoa.
Yhteenveto
Sallitse haku- ja käyttäjäbotit, jos haluat näkyä, ja päätä koulutusbottien kohtalo erikseen. Lue robots.txt kokonaisuutena ja tarkista palomuuri. Jos haluat tarkistuksen kirjallisena raporttina, GEO-analyysi sisältää tekoälybottien pääsyn tarkistuksen ja palomuuritestin. Kokonaiskuva: GEO-näkyvyys ja AI-näkyvyys.
Aloita GEO-analyysillä
GEO-analyysi eli GEO-auditointi näyttää, miten yrityksesi näkyy tekoälyvastauksissa, ja antaa 10 priorisoitua korjausta. Analyysin hinta vähennetään jatkoprojektista, jos tilaat sen 30 päivän sisällä raportin toimituksesta.
Usein kysyttyä
Ei. Haku- ja käyttäjäbotit kannattaa sallia, jos haluat näkyä vastauksissa. Koulutusbotit voi sallia tai estää liiketoimintapäätöksen mukaan.
OpenAIn ohjeen mukaan käyttäjän pyytämiin hakuihin robots.txt-säännöt eivät välttämättä päde. Tarkista ajantasainen ohje OpenAIn sivulta.
Googlen ohjeen mukaan ei. Se koskee Gemini-mallien koulutusta ja vastauksen perustana käyttöä, ei Google-haun sijoituksia.
Ei aina. Palomuuri tai CDN voi pysäyttää botin, vaikka robots.txt sallisi sen. Tarkista palvelinlokista, saako botti vastauskoodin 200.
Lähteet ja lisätietoa
- OpenAI: Overview of OpenAI crawlers
- Claude Help Center: Does Anthropic crawl data from the web
- Perplexity: Perplexity Crawlers
- Google Search Central: Googlen yleiset indeksoijat
Lue myös
Aiheen palvelut
Aloita tilanteesi kartoituksella: GEO-analyysi. Palvelut, jotka liittyvät tähän aiheeseen:
Tilaa uutiskirje
Käytännön vinkkejä ja uusia oppaita markkinoinnista, myynnistä ja tekoälystä tekstimuotoisena sähköpostina. Voit perua milloin tahansa.