Mikä on robots.txt?
Ohjaa hakukoneita sivustosi indeksoinnissa robots.txt-tiedostolla
Robots.txt on kotisivuiltasi löytyvä tiedosto, jota hakukoneet voivat käyttää apuna sivustosi indeksoinnissa. Tiedosto kannattaa lisätä sivustosi juurihakemistoon, koska sieltä hakukoneet etsivät sitä ensimmäisenä.
Voit tarkistaa, onko omilla sivuillasi robots.txt-tiedosto, kun kirjoitat selaimeesi oman verkkotunnuksesi ja sen loppuun /robots.txt.
Google suosittelee kaikille nettisivuille robots.txt-tiedostoa. Jos robots.txt-tiedostoa ei ole, Googlen työkalut eivät välttämättä löydä kaikkia sivustosi sivuja sitä tutkiessaan. Hakukone tutkii ja indeksoi sivustosi tehdäkseen siitä helposti löydettävän, missä robots.txt-tiedostosta on apua.
Mitä robots.txt tekee?
Robots.txt-tiedostolla voit valita, mitkä sivustosi sivut haluat hakukoneiden indeksoivan ja mitkä haluat piilottaa. Voit siis joko sallia tai kieltää sivujen tai kansioiden indeksoimisen.
Jos sallit sivun indeksoinnin, hakukoneiden käyttämät hakurobotit löytävät sen, tutkivat ja indeksoivat sen sisällön, ja voivat siten näyttää sen hakutuloksissaan. Jos taas kiellät sivun, hakukoneet eivät huomioi sen sisältöä.
Robots.txt-tiedostolla voit varmistaa, että sivustosi on löydettävissä hakukoneilla. Jos sivuillasi on esimerkiksi yhteydenottosivu, voit estää sen indeksoinnin robots.txt-tiedostolla, jolloin hakurobotit sivuuttavat sen ja tutkivat sivustosi muut, tärkeämmät sivut. Näin voit välttää epäolennaisempia sivuja näkymästä hakukoneiden tuloksissa ja pyytää Googlea jättämään niiden sisällön tutkimatta.
Voit tietysti kieltää robots.txt-tiedostolla myös koko sivustosi hakukoneilta, jos haluat.
Miten robots.txt toimii?
Eri hakukoneet ja alustat käyttävät erityyppisiä hakurobotteja. Kun sallit tai kiellät jonkin sivustosi sivun robots.txt-tiedostolla, voit asettaa sen koskemaan tietyn hakukoneen hakurobottia (esimerkiksi Googlen Googlebottia) tai voit käyttää tähteä (*) merkitäksesi, että määritys koskee kaikkia hakurobotteja.
Voit tehdä robots.txt-tiedostolla hyvinkin tarkkoja määrityksiä esimerkiksi kieltämällä URL-osoitteita, hakemistoja tai tiettyjä URL-parametrejä.
Samoin voit valita tärkeät sivut, jotka haluat Googlen huomaavan ja indeksoivan.
Aikaviiveet
Voit sisällyttää aikaviiveitä robots.txt -tiedostoosi. Jos et esimerkiksi halua, että hakurobotti indeksoi sivustosi liian nopeasti, voit asettaa aikaviiveen, eli voit käskeä hakurobotteja indeksoimaan sivusi vasta tietyn ajan jälkeen. Aikaviiveellä voit varmistaa, että indeksointirobotit eivät ylikuormita verkkopalvelintasi.
Huomaa kuitenkin, että Google ei tue aikaviiveitä. Jos et halua ylikuormittaa verkkopalvelintasi Google -boteilla, voit sen sijaan käyttää indeksointinopeutta. Voit valita haluamasi indeksointinopeuden Google Search Consolessa ja yrittää siten hidastaa hakubotteja.
Säännöt
Jos sinulla on laajempi sivusto, voit harkita sääntöjen käyttämistä. Niiden avulla voit ohjata kaikkia hakukoneita tutkimaan sivusi tiettyjen sääntöjen perusteella.
Voit siis määrittää joukon sääntöjä, joita haluat hakurobottien noudattavan. Voit esimerkiksi estää URL-osoitteet, jotka sisältävät sanan “nettisivu.”
Miksi robots.txt-tiedostoa kannattaa käyttää?
Monet käyttävät robots.txt -tiedostoa estääkseen kolmansia osapuolia indeksoimasta nettisivua. Verkkosivujen indeksointia tekevät kuitenkin muutkin kuin hakukoneet. Kaikki sivustosi indeksointi hidastaa sivustoasi ja palvelintasi, mikä huonontaa sivustosi käyttäjäkokemusta. Lisäksi nämä kolmannen osapuolen robotit voivat aiheuttaa palvelinongelmia, jotka sinun on ratkaistava.
Voit myös käyttää robots.txt -tiedostoa estääksesi kolmansia osapuolia kopioimasta sivujesi sisältöä tai analysoimasta sivuille tekemiäsi muutoksia. Robots.txt on siis erinomainen tapa estää sivustoosi kohdistuvaa ei-toivottua toimintaa.
Muista kuitenkin, että jos jokin taho on erityisen kiinnostunut sivustostasi, se voi ohittaa asettamasi eston ja indeksoida sivustosi siihen tarkoitetuilla ohjelmistoilla, kuten Screaming Frog. Robots.txt-tiedosto ei siis täysin varmasti suojaa sivustoasi indeksoinnilta.
Robots.txt tarkistus
Voit tarkistaa Google Search Consolella, oletko estänyt jonkin sivun robots.txt-tiedostolla. On hyvä tarkistaa aika ajoin, ettet ole estänyt tärkeää sivua vahingossa.
Robots.txt-tiedoston käyttämisessä kannattaa olla huolellinen. Jos estät vahingossa koko sivustosi indeksoinnin, siitä voi olla sivuillesi paljon haittaa.
