Html-sivuston oikea Robots-txt-tiedosto luo toimintamalleja hakukoneboteille ja kertoo, mitä he voivat tarkistaa. Tätä tiedostoa kutsutaan usein Robot Exclusion Protocoliksi. Ensimmäinen asia, jonka robotit etsivät ennen verkkosivuston indeksoimista, on robots.txt. Se voi osoittaa tai kertoa sivustokartalle, ettei se tarkista tiettyjä aliverkkotunnuksia. Kun haluat hakukoneiden etsivän sitä, mitä useimmin löytyy, robots.txt-tiedostoa ei vaadita. Tässä prosessissa on erittäin tärkeää, että tiedosto on muotoiltu oikein eikä se indeksoi käyttäjäsivua käyttäjän henkilötiedoilla.
Robotin skannausperiaate
Kun hakukone kohtaa tiedoston ja näkee kielletyn URL-osoitteen, se ei indeksoi sitä, mutta se voi indeksoida sen. Tämä johtuu siitä, että vaikka robotit eivät saa katsella sisältöä, he voivat muistaa käänteiset linkit, jotka osoittavat kiellettyyn URL-osoitteeseen. Koska pääsy linkkiin on estetty, URL-osoite näkyy hakukoneissa, mutta ilman katkelmia. Jostulevaa markkinointistrategiaa varten tarvitaan oikea Robots txt for bitrix (Bitrix), ne tarjoavat sivuston tarkistuksen käyttäjän pyynnöstä skannereilla.
Toisa alta, jos tiedostoa ei ole muotoiltu oikein, tämä voi johtaa siihen, että sivusto ei näy hakutuloksissa eikä sitä löydy. Hakukoneet eivät voi ohittaa tätä tiedostoa. Ohjelmoija voi tarkastella minkä tahansa sivuston robots.txt-tiedostoa siirtymällä sen verkkotunnukseen ja seuraamalla sitä robots.txt-tiedoston avulla, esimerkiksi www.domain.com/robots.txt. Käyttämällä työkalua, kuten Unamon SEO-optimointiosio, johon voit syöttää minkä tahansa verkkotunnuksen, ja palvelu näyttää tiedot tiedoston olemassaolosta.
Skannauksen rajoitukset:
- Käyttäjällä on vanhentunutta tai arkaluontoista sisältöä.
- Sivuston kuvat eivät sisälly kuvahaun tuloksiin.
- Sivusto ei ole vielä valmis esittelyyn robotin indeksoimiseksi.
Muista, että tiedot, jotka käyttäjä haluaa saada hakukoneelta, ovat kaikkien URL-osoitteen kirjoittajien saatavilla. Älä käytä tätä tekstitiedostoa arkaluonteisten tietojen piilottamiseen. Jos verkkotunnuksessa on 404 (ei löydy) tai 410 (hyväksytty) -virhe, hakukone tarkistaa sivuston robots.txt-tiedoston olemassaolosta huolimatta, jolloin se katsoo, että tiedosto puuttuu. Muut virheet, kuten 500 (sisäinen palvelinvirhe), 403 (kielletty), aikakatkaisu tai "ei käytettävissä" noudattavat robots.txt-ohjeita, mutta ohitus voi viivästyä, kunnes tiedosto on saatavilla.
Hakutiedoston luominen
MonetCMS-ohjelmissa, kuten WordPress, on jo robots.txt-tiedosto. Ennen kuin konfiguroi Robots txt WordPressin oikein, käyttäjän on tutustuttava sen ominaisuuksiin selvittääkseen, miten siihen pääsee käsiksi. Jos ohjelmoija luo tiedoston itse, sen on täytettävä seuraavat ehdot:
- On oltava pienillä kirjaimilla.
- Käytä UTF-8-koodausta.
- Tallenna tekstieditoriin tiedostona (.txt).
Kun käyttäjä ei tiedä minne se pitäisi sijoittaa, hän ottaa yhteyttä verkkopalvelinohjelmiston toimittajaan saadakseen selville, kuinka päästään verkkotunnuksen juureen, tai siirtyy Google-konsoliin ja lataa se. Tämän toiminnon avulla Google voi myös tarkistaa, toimiiko botti oikein ja luettelon sivustoista, jotka on estetty tiedoston avulla.
Oikean Robots-txt:n päämuoto Bitrixille (Bitrix):
- Legend robots.txt.
- , lisää kommentteja, joita käytetään vain muistiinpanoina.
- Skannerit jättävät huomioimatta nämä kommentit sekä käyttäjien kirjoitusvirheet.
- User-agent - osoittaa, missä hakukoneessa tiedoston ohjeet on lueteltu.
- Tähden () lisääminen kertoo skannereille, että ohjeet ovat kaikille.
Tarkoittaa tietyn botin, esimerkiksi Googlebot, Baiduspider, Applebot. Disallow kertoo indeksoijille, mitä verkkosivuston osia ei tule indeksoida. Se näyttää tältä: User-agent:. Tähti tarkoittaa "kaikki robotit". Voit kuitenkin määrittää tiettyjä sivujabotit. Tätä varten sinun on tiedettävä sen botin nimi, jolle suositukset on asetettu.
Yandexin oikea robotti-txt saattaa näyttää tältä:
Jos botin ei pitäisi indeksoida sivustoa, voit määrittää sen, ja käyttäjäagenttien nimien löytämiseksi on suositeltavaa tutustua osoitteen useragentstring.com online-ominaisuuksiin.
Sivun optimointi
Seuraavia kahta riviä pidetään täydellisenä robots.txt-tiedostona, ja yksi robots-tiedosto voi sisältää useita rivejä käyttäjäagentteja ja komentoja, jotka estävät tai sallivat indeksoinnin. Oikean Robots-txt:n päämuoto:
- Käyttäjäagentti: [agentin käyttäjätunnus].
- Disallow: .
Tiedostossa jokainen komentolohko näytetään erillisenä rivillä erotettuna. Agentin käyttäjähakemiston vieressä olevassa tiedostossa kutakin sääntöä sovelletaan tiettyyn osiolla eroteltujen rivien joukkoon. Jos tiedostossa on usean agentin sääntö, robotti ottaa huomioon vain tarkimman ohjeryhmän.
Tekninen syntaksi
Se voidaan pitää robots.txt-tiedostojen "kielenä". Tässä muodossa voi olla viisi termiä, joista tärkeimpiä ovat:
- User-agent – Web-indeksointirobotti, jossa on indeksointiohjeet, yleensä hakukone.
- Disallow on komento, jota käytetään käskemään käyttäjäagenttia ohittamaantietyn URL-osoitteen (poissaolo). Jokaiselle on vain yksi kielletty ehto.
- Salli. Googlebotilta, joka saa käyttöoikeuden, jopa käyttäjäsivu estetään.
- Indeksointiviive - määrittää, kuinka monta sekuntia indeksointirobotti tarvitsee ennen indeksointia. Kun robotti ei vahvista sitä, nopeus asetetaan Google-konsolissa.
- Sivustokartta - Käytetään URL-osoitteeseen liittyvien XML-karttojen paikantamiseen.
Kuviot
Kun kyse on URL-osoitteiden varsinaisesta estämisestä tai kelvollisten robottien txt:n sallimisesta, toiminnot voivat olla melko hankalia, koska niiden avulla voit käyttää mallivastaavuutta useiden mahdollisten URL-parametrien peittämiseen. Sekä Google että Bing käyttävät kahta merkkiä, jotka tunnistavat sivut tai alikansiot, jotka hakukoneoptimoija haluaa sulkea pois. Kaksi merkkiä ovat tähti () ja dollarimerkki ($), jossa:on jokerimerkki, joka edustaa mitä tahansa merkkijonoa. $ - vastaa URL-osoitteen loppua.
Google tarjoaa laajan luettelon mahdollisista mallisyntakseista, jotka selittävät käyttäjälle, kuinka Robots-txt-tiedosto määritetään oikein. Joitakin yleisiä käyttötapauksia ovat:
- Estä päällekkäisen sisällön näkyminen hakutuloksissa.
- Pidä verkkosivuston kaikki osat yksityisinä.
- Tallenna hakutulosten sisäiset sivut avoimen lausekkeen perusteella.
- Ilmoita sijainti.
- Estä hakukoneita indeksoimasta tiettyjätiedostot.
- Indeksointiviiveen määrittäminen uudelleenlatauksen lopettamiseksi, kun skannataan useita sisältöalueita samanaikaisesti.
Robottitiedoston olemassaolon tarkistaminen
Jos sivustolla ei ole indeksoitavia alueita, robots.txt-tiedostoa ei tarvita ollenkaan. Jos käyttäjä ei ole varma tämän tiedoston olemassaolosta, hänen on syötettävä juuriverkkotunnus ja kirjoitettava se URL-osoitteen loppuun, esimerkiksi: moz.com/robots.txt. Monet hakubotit jättävät nämä tiedostot huomioimatta. Yleensä nämä indeksointirobotit eivät kuitenkaan kuulu hyvämaineisille hakukoneille. He ovat sellaisia roskapostittajia, sähköpostin kokoajia ja muun tyyppisiä automatisoituja botteja, joita löytyy runsaasti Internetistä.
On erittäin tärkeää muistaa, että robotin poissulkemisstandardin käyttäminen ei ole tehokas turvatoimi. Itse asiassa jotkut robotit voivat alkaa sivuilla, joilla käyttäjä asettaa ne skannaustilaan. Vakiopoikkeustiedostoon menee useita osia. Ennen kuin kerrot robotille, millä sivuilla sen ei pitäisi toimia, sinun on määritettävä, mille robotille haluat puhua. Useimmissa tapauksissa käyttäjä käyttää yksinkertaista ilmoitusta, joka tarkoittaa "kaikki robotit".
SEO-optimointi
Ennen optimointia käyttäjän on varmistettava, että hän ei estä sivun sisältöä tai osia, jotka on ohitettava. Linkkejä sivuille, jotka on estetty oikealla Robots-txt:llä, ei kunnioiteta. Tämä tarkoittaa:
- Jos niitä ei ole linkitetty muille hakukoneiden käytettävissä oleville sivuille, esim. sivut,robots.txt tai metarobotti ei estä niitä, ja niihin liittyviä resursseja ei indeksoida, joten niitä ei voida indeksoida.
- Estetyltä sivulta ei voida välittää linkkiä linkin kohteeseen. Jos tällainen sivu on olemassa, on parempi käyttää erilaista estomekanismia kuin robots.txt.
Koska muut sivut voivat linkittää suoraan henkilökohtaisia tietoja sisältävälle sivulle ja haluat estää tämän sivun hakutuloksista, käytä toista menetelmää, kuten salasanasuojausta tai noindex-metatietoja. Joissakin hakukoneissa on useita käyttäjäagentteja. Google käyttää esimerkiksi Googlebotia orgaanisiin hakuun ja Googlebot-Imageä kuvahakuun.
Useimmat saman hakukoneen käyttäjäagentit noudattavat samoja sääntöjä, joten jokaiselle usealle indeksointirobotille ei tarvitse määrittää ohjeita, mutta se voi hienosäätää sivuston sisällön indeksointia. Hakukone tallentaa tiedoston sisällön välimuistiin ja päivittää yleensä välimuistissa olevan sisällön vähintään kerran päivässä. Jos käyttäjä muuttaa tiedostoa ja haluaa päivittää sen tavallista nopeammin, hän voi lähettää robots.txt-URL-osoitteen Googlelle.
Hakukoneet
Ymmärtääksesi, miten Robots txt toimii oikein, sinun on tiedettävä hakukoneiden ominaisuudet. Lyhyesti sanottuna heidän kykynsä piilee siinä, että he lähettävät "skannereita", jotka ovat ohjelmia, jotkaselaamalla tietoa Internetistä. Sitten he tallentavat osan näistä tiedoista välittääkseen ne myöhemmin käyttäjälle.
Moille ihmisille Google on jo Internet. Itse asiassa he ovat oikeassa, koska tämä on ehkä hänen tärkein keksintönsä. Ja vaikka hakukoneet ovat muuttuneet paljon perustamisensa jälkeen, niiden taustalla olevat periaatteet ovat edelleen samat. Indeksointirobotit, jotka tunnetaan myös nimellä "botit" tai "hämähäkit", löytävät sivuja miljardeilta verkkosivustoilta. Hakukoneet antavat heille ohjeet minne mennä, kun taas yksittäiset sivustot voivat myös kommunikoida robottien kanssa ja kertoa heille, mitä sivuja heidän tulee katsoa.
Yleensä sivustojen omistajat eivät halua näkyä hakukoneissa: hallintasivuilla, taustaportaaleilla, luokilla ja tunnisteilla ja muilla tietosivuilla. Robots.txt-tiedostoa voidaan käyttää myös estämään hakukoneita tarkistamasta sivuja. Lyhyesti sanottuna robots.txt kertoo indeksointiroboteille, mitä tehdä.
Estä sivut
Tämä on robotin poissulkemistiedoston pääosa. Yksinkertaisella ilmoituksella käyttäjä käskee bottia tai robottiryhmää olemaan indeksoimatta tiettyjä sivuja. Syntaksi on yksinkertainen. Voit esimerkiksi estää pääsyn kaikkeen sivuston "admin"-hakemistoon kirjoittamalla: Disallow: /admin. Tämä rivi estää botteja indeksoimasta yoursite.com/admin, yoursite.com/admin/login, yoursite.com/admin/files/secret.html ja kaikkea muuta admin-hakemistossa.
Jos haluat estää yhden sivun, määritä se disallow-riville: Disallow: /public/exception.html. Nyt "poikkeus"-sivuei siirry, mutta kaikki muu "julkisessa" kansiossa siirtyy.
Jos haluat sisällyttää useita sivuja, luettele ne:
Nämä neljä oikean Robots-txt-tekstin riviä sinfoniaa varten koskevat kaikkia käyttäjäagentteja, jotka on luetelturobots.txt -osion yläosassa osoitteessa
Sivustokartta:
Muut komennot:live - älä salli indeksointirobottien indeksoida cpresources/- tai toimittaja/.
Käyttäjäagentti:Disallow: /cpresources/.
Estä: / myyjä / Disallow: /.env.
standardien asettaminen
Käyttäjä voi määrittää tietyt sivut eri boteille yhdistämällä kaksi edellistä elementtiä, tältä se näyttää. Alla on esimerkki oikeasta Robots-txt-tiedostosta kaikille hakukoneille.
Järjestelmänvalvoja- ja Yksityinen-osiot ovat näkymättömiä Googlelle ja Bingille, mutta Google näkee silti "salaisen" hakemiston, kun taas Bing ei. Voit määrittää yleiset säännöt kaikille boteille käyttämällä asteriski-käyttäjäagenttia ja antaa sitten boteille erityisiä ohjeita seuraavissa osioissa. Yllä olevien tietojen avulla käyttäjä voi kirjoittaa esimerkin oikeasta Robots-txt-tiedostosta kaikille hakukoneille. Käynnistä vain suosikkitekstieditori ja kerro roboteille, että he eivät ole tervetulleita sivuston tiettyihin osiin.
Vinkkejä palvelimen suorituskyvyn parantamiseen
SublimeText onmonipuolinen tekstieditori ja kultainen standardi monille ohjelmoijille. Hänen ohjelmointivinkkinsä perustuvat lisäksi tehokkaaseen koodaukseen. käyttäjät arvostavat pikakuvakkeiden läsnäoloa ohjelmassa. Jos käyttäjä haluaa nähdä esimerkin robots.txt-tiedostosta, hänen tulee mennä mille tahansa sivustolle ja lisätä "/robots.txt" loppuun. Tässä on osa robots.txt-tiedostoa GiantBicycles.
Ohjelma mahdollistaa sivujen luomisen, joita käyttäjät eivät halua näyttää hakukoneissa. Ja siinä on myös muutamia ainutlaatuisia asioita, joista harvat tietävät. Esimerkiksi, vaikka robots.txt-tiedosto kertoo boteille, minne ei saa mennä, sivustokarttatiedosto toimii päinvastoin ja auttaa heitä löytämään etsimänsä. Vaikka hakukoneet luultavasti jo tietävät, missä sivustokartta sijaitsee, se ei saa tiellä.
On olemassa kahdenlaisia tiedostoja: HTML-sivu tai XML-tiedosto. HTML-sivu on sivu, joka näyttää vierailijoille kaikki verkkosivuston käytettävissä olevat sivut. Omassa robots.txt-tiedostossaan se näyttää tältä: Sitemap://www.makeuseof.com/sitemap_index.xml. Jos hakukoneet eivät ole indeksoineet sivustoa, vaikka verkkorobotit ovat indeksoineet sen useita kertoja, sinun on varmistettava, että tiedosto on olemassa ja että sen käyttöoikeudet on asetettu oikein.
Oletusarvoisesti tämä tapahtuu kaikille SeoToaster-asennuksille, mutta tarvittaessa voit nollata sen seuraavasti: Tiedosto robots.txt - 644. PHP-palvelimesta riippuen, jos tämä ei toimi käyttäjälle, se on suositeltavaa kokeilla seuraavaa: Tiedosto robots.txt - 666.
Skannausviiveen asettaminen
Ohitusviiveohje ilmoittaa tietyillehakukoneet kuinka usein he voivat indeksoida sivuston sivun. Se mitataan sekunneissa, vaikka jotkut hakukoneet tulkitsevat sen hieman eri tavalla. Jotkut ihmiset näkevät indeksointiviiveen 5, kun heitä kehotetaan odottamaan viisi sekuntia jokaisen tarkistuksen jälkeen ennen kuin seuraava aloitetaan.
Toiset tulkitsevat tämän ohjeeksi skannata vain yksi sivu viiden sekunnin välein. Robotti ei voi skannata nopeammin palvelimen kaistanleveyden säästämiseksi. Jos palvelimen on sovitettava liikennettä, se voi asettaa ohitusviiveen. Yleensä useimmissa tapauksissa käyttäjien ei tarvitse huolehtia tästä. Näin kahdeksan sekunnin indeksointiviive asetetaan - Indeksointiviive: 8.
Mutta kaikki hakukoneet eivät noudata tätä ohjetta, joten kun estät sivut, voit määrittää tietyille hakukoneille erilaisia indeksointiviiveitä. Kun kaikki tiedoston ohjeet on määritetty, voit ladata sen sivustolle. Varmista ensin, että se on yksinkertainen tekstitiedosto, jonka nimi on robots.txt ja että se löytyy osoitteesta yoursite.com/robots.txt.
Paras WordPress-botti
WordPress-sivustolla on joitain tiedostoja ja hakemistoja, jotka on lukittava joka kerta. Hakemistot, jotka käyttäjien tulisi kieltää, ovat cgi-bin-hakemisto ja tavalliset WP-hakemistot. Jotkut palvelimet eivät salli pääsyä cgi-bin-hakemistoon, mutta käyttäjien on sisällytettävä se disallow-käskyyn ennen kuin he voivat määrittää oikein Robots txt WordPress
Tavalliset WordPress-hakemistot,joiden pitäisi estää wp-admin, wp-content, wp-includes. Nämä hakemistot eivät sisällä hakukoneille alun perin hyödyllisiä tietoja, mutta poikkeus on, eli wp-content-hakemistossa on alihakemisto, jonka nimi on uploads. Tämä alihakemisto on sallittava robot.txt-tiedostossa, koska se sisältää kaiken WP-median latausominaisuuden avulla ladatun. WordPress käyttää tageja tai luokkia sisällön jäsentämiseen.
Jos käytetään luokkia, niin oikean Robots-txt:n tekemiseksi Wordpressille, ohjelman valmistajan määrittelemällä tavalla, on välttämätöntä estää tunnistearkistot hausta. Ensin he tarkistavat tietokannan menemällä "Hallinta"-paneeliin> "Asetukset"> "Pysyvä linkki".
Oletusarvoisesti pohja on tagi, jos kenttä on tyhjä: Disallow: / tag /. Jos luokkaa käytetään, sinun on poistettava se käytöstä robot.txt-tiedostossa: Disallow: /category/. Oletuksena pohja on tagi, jos kenttä on tyhjä: Disallow: / tag /. Jos luokkaa käytetään, sinun on poistettava se käytöstä robot.txt-tiedostossa: Disallow: / category /.
Tiedostot, joita käytetään ensisijaisesti sisällön näyttämiseen, ne estetään oikealla Wordpressin Robots-txt-tiedostolla:
Joomlan perusasetukset
Kun käyttäjä on asentanut Joomlan, sinun on tarkasteltava oikeaa Joomla Robots txt -asetusta yleisessä kokoonpanossa, joka sijaitsee ohjauspaneelissa. Jotkut asetukset ovat erittäin tärkeitä SEO:lle. Etsi ensin sivuston nimi ja varmista sekäytetään sivuston lyhyttä nimeä. Sitten he löytävät saman näytön oike alta puolelta asetusryhmän, jota kutsutaan SEO-asetuksiksi. Toinen, jonka on ehdottomasti muutettava, on toinen: käytä uudelleenkirjoitusosoitetta.
Tämä kuulostaa monimutkaiselta, mutta periaatteessa se auttaa Joomlaa luomaan selkeämpiä URL-osoitteita. Huomattavin, jos poistat index.php-rivin URL-osoitteista. Jos muutat sitä myöhemmin, URL-osoitteet muuttuvat, eikä Google pidä siitä. Tätä asetusta muutettaessa on kuitenkin suoritettava useita vaiheita samanaikaisesti oikean robots-txt:n luomiseksi Joomlalle:
- Etsi htaccess.txt-tiedosto Joomlan juurikansiosta.
- Merkitse se muotoon.htaccess (ei laajennusta).
- Sisällytä sivuston nimi sivujen otsikoihin.
- Etsi metatietoasetukset yleisen määritysnäytön alaosasta.
Robotti pilvessä MODX
Aiemmin MODX Cloud tarjosi käyttäjille mahdollisuuden hallita robots.txt-tiedoston toimittamista kojelaudassa olevan valitsimen avulla. Vaikka tämä oli hyödyllistä, oli mahdollista vahingossa sallia indeksointi lavastus-/kehityssivustoilla vaihtamalla hallintapaneelin vaihtoehto. Samoin oli helppo poistaa indeksointi käytöstä tuotantopaikalla.
Palvelu olettaa nykyään robots.txt-tiedostojen olemassaolon tiedostojärjestelmässä seuraavalla poikkeuksella: mikä tahansa verkkotunnus, joka päättyy modxcloud.com:iin, toimii Disallow: /-direktiivinä kaikille käyttäjäagenteille niiden läsnäolosta riippumatta. tai tiedoston puuttuminen. Tuotantosivustojen, jotka saavat todellista kävijäliikennettä, on käytettävä omaa verkkotunnustaan, jos käyttäjä haluaa indeksoida sivustonsa.
Jotkin organisaatiot käyttävät oikeaa Robots-txt-tiedostoa modx:lle ajaakseen useita verkkosivustoja yhdestä asennuksesta kontekstien avulla. Tapaus, jossa tätä voitaisiin soveltaa, olisi julkinen markkinointisivusto yhdistettynä aloitussivun mikrosivustoihin ja mahdollisesti ei-julkinen intranet.
Perinteisesti tämä on ollut vaikea tehdä monen käyttäjän asennuksissa, koska niillä on sama verkkojuuri. MODX Cloudilla tämä on helppoa. Lataa vain ylimääräinen tiedosto robots-intranet.example.com.txt-nimiseen verkkosivustoon, jossa on seuraava sisältö, ja se estää indeksoinnin hyvin toimivilla roboteilla ja kaikki muut isäntänimet palautuvat vakiotiedostoiksi, ellei muita erityisiä nimisolmuja ole.
Robots.txt on tärkeä tiedosto, jonka avulla käyttäjä voi linkittää sivustoon Googlessa, suurissa hakukoneissa ja muissa sivustoissa. Web-palvelimen juuressa sijaitseva tiedosto ohjeistaa verkkorobotteja indeksoimaan sivusto ja määrittämään, mitkä kansiot sen tulisi indeksoida tai ei, käyttämällä Bot Exclusion Protocol -protokollaksi kutsuttua ohjesarjaa. Esimerkki oikeasta Robots-txt-tiedostosta kaikille hakukoneille obots.txt on erityisen helppo tehdä SeoToasterilla. Sille on luotu erityinen valikko ohjauspaneeliin, joten botin ei koskaan tarvitse tehdä ylityötä päästäkseen käsiksi.
