Anthropic käyttää kolmea bottia: ClaudeBot kerää aineistoa mallien koulutukseen, Claude-SearchBot parantaa hakuvastausten laatua ja Claude-User hakee sivun käyttäjän pyynnöstä. Näkyvyyden kannalta tärkeimmät ovat haku- ja käyttäjäbotit. Koulutuksen estäminen on erillinen liiketoimintapäätös. Testaa käsin kysymyksillä ja kirjaa, käyttikö Claude verkkohakua.
Vaihe: Vertailu ja valinta. Osa aihekokonaisuutta GEO ja AI-näkyvyys: näin yrityksesi näkyy tekoälyvastauksissa. Seuraavaksi: Näkyminen Copilotissa ja Bingissä: mitä voi tehdä.
Mitä Anthropicin kolme bottia tekevät?
Tiedot ovat Anthropicin omasta ohjeesta: Does Anthropic crawl data from the web. Anthropic kertoo, että sen botit noudattavat robots.txt-ohjeita, ja että IP-osoitteiden estäminen ei ole luotettava tapa rajata pääsyä.
| Botti | Mitä se tekee | Mitä tapahtuu, jos sen estää |
|---|---|---|
| ClaudeBot | Kerää verkkosisältöä, jota voidaan käyttää mallien koulutukseen | Sivuston tulevia sisältöjä ei oteta mukaan koulutusaineistoon |
| Claude-SearchBot | Käy verkkoa läpi parantaakseen hakuvastausten laatua | Sisältöäsi ei indeksoida hakua varten, mikä voi heikentää näkyvyyttä ja tarkkuutta hakuvastauksissa |
| Claude-User | Hakee sivun, kun käyttäjä kysyy Claudelta jotain | Sisältöäsi ei haeta käyttäjän kysymyksen perusteella, mikä voi heikentää näkyvyyttä käyttäjän ohjaamassa haussa |
Koulutus ja näkyvyys ovat eri päätöksiä
Moni sekoittaa kaksi asiaa: haluanko, että sisältöäni käytetään mallien koulutukseen, ja haluanko, että Claude voi löytää ja lainata sisältöäni vastauksessa. Ensimmäistä ohjaa ClaudeBot, jälkimmäistä Claude-SearchBot ja Claude-User. Koulutuksen estäminen on liiketoimintapäätös, ja se on perusteltu esimerkiksi silloin, kun sisältö on maksullista. Sen ei pitäisi estää löytymistä, jos haku- ja käyttäjäbotit on sallittu.
Tarkista, että estosääntösi ovat kohdistettu oikeaan bottiin. Yleinen virhe on estää kaikki tekoälybotit yhdellä säännöllä, jolloin sivusto häviää myös niistä vastauksista, joissa sen haluaisi näkyvän. Robots.txt:n perusteet: robots.txt.
Robots.txt-esimerkki ja tarkistus
Anthropicin ohjeen mukaan botti nimetään robots.txt:ssä User-agent-rivillä, ja sääntö koskee yhtä verkkotunnusta tai aliverkkotunnusta kerrallaan. Jos haluat sallia haun mutta estää koulutuksen, tarvitset erilliset ryhmät ClaudeBotille ja haku- ja käyttäjäboteille. Tarkista lopputulos aina robots.txt-tiedostoa lukemalla, koska yksi väärin sijoitettu Disallow-rivi voi kaataa kaiken.
- Avaa osoite oma-sivusto.fi/robots.txt ja lue säännöt rivi riviltä.
- Etsi ClaudeBot, Claude-SearchBot ja Claude-User. Varmista, että haku- ja käyttäjäbotit eivät ole estettyjä, jos haluat näkyä.
- Tarkista palomuuri ja CDN: pelkkä robots.txt ei riitä, jos suojaus pysäyttää botin ennen sivua.
- Kirjaa päätös ylös: mitä on sallittu, mitä estetty ja miksi.
Ilmainen lataus
GEO-tarkistuslista ja llms.txt-pohja
20 kohtaa tekoälyhakuun ja pohja llms.txt-tiedostolle.
Miten testaat näkyvyyttä Claudessa?
Claude voi vastata sekä omasta koulutusaineistostaan että verkkohaun avulla, riippuen asetuksista ja palvelusta. Siksi testissä pitää kirjata aina myös se, käytettiinkö verkkohakua ja näkyikö vastauksessa lähteitä. Pelkkä maininta ilman lähdettä voi tulla vanhasta koulutusaineistosta, ja sitä ei voi parantaa nykyisillä sivuilla.
Kirjoita 15-20 ostajan kysymystä, aja ne uudessa keskustelussa 2-3 kertaa ja kirjaa tulokset. Vaiheet ja kirjausmalli on kuvattu artikkelissa ChatGPT-näkyvyyden testaus vaihe vaiheelta, ja kysymyslista toimii myös Claudelle.
| Kysymys | Verkkohaku käytössä | Yrityksesi mainitaan | Lähteet | Päivämäärä |
|---|---|---|---|---|
| Mitä X-palvelun valinnassa kannattaa huomioida? | kyllä / ei | kyllä / ei | lista | pp.kk.vvvv |
| Ketkä tarjoavat X:ää Suomessa? | kyllä / ei | kyllä / ei | lista | pp.kk.vvvv |
Mitä sisällölle kannattaa tehdä?
Sisällön rakenteesta kerrotaan lisää artikkelissa GEO-sisältömalli: kysymys, vastaus ja rakenne Tulossa 2.11..
- Kirjoita vastaus kysymykseen sivun alkuun, ja perustele sen jälkeen.
- Pidä yritystiedot samoina sivustolla, yritysrekisterissä ja LinkedInissä.
- Lisää tekijä, päivämäärä ja lähteet, jotta sisältö on luotettavan oloista.
- Kirjoita hinnat ja vertailut HTML-taulukoihin.
- Lisää rakenteinen data (schema.org) palveluille, UKK:lle ja murupolulle.
Esimerkki: kuvitteellinen robots.txt-korjaus
Esimerkin yritys ja luvut ovat kuvitteellisia. Kuvitteellinen konsulttiyritys on kirjannut robots.txt:iinsä yleisen säännön, joka estää useita tekoälybotteja koulutuksen vuoksi. Säännön sanamuoto kattaa vahingossa myös Claude-SearchBotin ja Claude-Userin. Testissä yritystä ei mainita Claudessa lainkaan.
Korjaus on rajata estosääntö vain koulutusbotteihin ja sallia haku- ja käyttäjäbotit. Kuukautta myöhemmin sama testi toistetaan ja tulos kirjataan. Esimerkki kuvaa sitä, miksi sääntöjä pitää lukea kokonaisuutena eikä vain lisätä yhtä riviä.
Yleisimmät virheet
- Estetään kaikki tekoälybotit yhdellä säännöllä.
- Sekoitetaan koulutuksen estäminen ja löytyminen keskenään.
- Luotetaan IP-osoitteiden estoon, vaikka valmistaja neuvoo toisin.
- Ei kirjata, käyttikö Claude verkkohakua.
- Luvataan asiakkaalle maininta Clauden vastauksessa.
Yhteenveto
Claude-näkyvyys vaatii kaksi päätöstä: sallitko haku- ja käyttäjäbotit ja haluatko sallia koulutuksen. Näkyvyyden kannalta ensimmäinen on tärkeämpi. Testaa käsin ja kirjaa, käytettiinkö verkkohakua. Jos haluat tarkistuksen kirjallisena raporttina, GEO-analyysi käy läpi botit, rakenteen ja sisällön ja testaa kysymykset Claudessa sekä muissa palveluissa. Kokonaiskuva löytyy oppaasta GEO ja AI-näkyvyys.
Aloita GEO-analyysillä
GEO-analyysi eli GEO-auditointi näyttää, miten yrityksesi näkyy tekoälyvastauksissa, ja antaa 10 priorisoitua korjausta. Analyysin hinta vähennetään jatkoprojektista, jos tilaat sen 30 päivän sisällä raportin toimituksesta.
Usein kysyttyä
Se on liiketoimintapäätös. ClaudeBotin esto rajaa sisältösi käyttöä mallien koulutuksessa, mutta se ei Anthropicin ohjeen mukaan ole sama asia kuin haku- ja käyttäjäbottien esto.
Anthropicin mukaan sisältöäsi ei indeksoida hakua varten, mikä voi heikentää näkyvyyttäsi ja tarkkuutta hakuvastauksissa.
Anthropicin ohjeen mukaan botit noudattavat robots.txt-ohjeita ja Crawl-delay-arvoa. IP-osoitteiden estoa ei suositella luotettavana keinona.
Ei. Voit varmistaa pääsyn, parantaa sisältöä ja pitää yritystiedot yhdenmukaisina. Seuraa tulosta toistamalla testi kuukausittain.
Lähteet ja lisätietoa
- Claude Help Center: Does Anthropic crawl data from the web
- IETF: RFC 9309 Robots Exclusion Protocol
- Schema.org
Lue myös
Aiheen palvelut
Aloita tilanteesi kartoituksella: GEO-analyysi. Palvelut, jotka liittyvät tähän aiheeseen:
Tilaa uutiskirje
Käytännön vinkkejä ja uusia oppaita markkinoinnista, myynnistä ja tekoälystä tekstimuotoisena sähköpostina. Voit perua milloin tahansa.