A Google Search Central Robots Refresher sorozata segít a weboldaltulajdonosoknak jobban megérteni, hogyan szabályozhatják a keresőrobotok viselkedését. Az első részben a robots.txt fájl működését mutatták be, most pedig a robots meta tagek és az X-Robots-Tag HTTP fejlécek szerepét veszik górcső alá. Ezekkel az eszközökkel már nemcsak mappákra, hanem akár egyes oldalakra vagy fájlokra is külön szabályokat adhatunk meg a keresők számára.
A robots.txt egy egyszerű eszköz, amellyel megadhatjuk, hogy a keresőrobotok a weboldal mely részeit látogathatják. De nem ez az egyetlen mód arra, hogy befolyásoljuk, hogyan viselkedjenek a keresők az oldalunkon.
A meta tagek a ’90-es évek közepén jelentek meg, melyeknek egyik változata a keresőrobotoknak szánt robots meta tag. Később ezt egészítette ki az X-Robots-Tag, amit nem az oldal kódjába, hanem a kiszolgáló válaszába lehet beépíteni. Ezekkel már jóval pontosabban irányíthatjuk, hogy mit tehetnek a keresők egy-egy konkrét oldallal vagy fájllal.
Fontos viszont, hogy ezek a beállítások csak akkor érvényesülnek, ha az adott oldal nincs letiltva a robots.txt fájlban. A robots.txt, a meta tag és az X-Robots-Tag együtt alkotják a Robots Exclusion Protocol (REP) nevű szabványt, amelynek segítségével pontosan meghatározhatjuk, mit engedünk – és mit nem – a keresőrobotoknak a weboldalunkon.
Robots meta tagek – mit jelentenek?
A meta tagek olyan információkat tartalmaznak, amelyeket a keresőrobotok és más gépek tudnak értelmezni egy weboldalról. A robots meta tag ezeknek egy speciális változata, amivel azt jelezhetjük, mit kezdhet a kereső az adott oldallal. Például azt is megadhatjuk vele, hogy:
- szabad-e indexelni az oldalt, vagyis bekerülhet-e a keresési találatok közé;
- követheti-e a keresőrobot az oldalon lévő linkeket.
Íme egy egyszerű példa a robots meta tagre, ami megakadályozza, hogy az oldal bekerüljön a keresőbe:
<meta name="robots" content="noindex">Ha szeretnéd megnézni, hogy egy adott oldalon vannak-e ilyen beállítások, elég megnyitni az oldal forráskódját a böngészőben, és a „robots” kifejezésre rákeresve megtalálhatod a megfelelő sort.
Az X-Robots-Tag – robots utasítások bármilyen URL-re
Nem minden online tartalom HTML formátumú – gondolj például PDF-ekre, képekre vagy letölthető dokumentumokra. Ezekhez a fájlokhoz nem lehet meta tageket írni, ezért hozták létre az X-Robots-Tag nevű HTTP fejlécet. Ezzel ugyanúgy megadhatjuk a keresőknek, hogy például ne indexeljék az adott tartalmat.
A működése hasonló a robots meta taghez, csak ez nem a HTML-kódban, hanem a kiszolgáló válaszában jelenik meg, például így:
X-Robots-Tag: noindex
Ezt a fejlécet a böngésző fejlesztői eszközeiben tudod megnézni, például a Chrome „Hálózat” (Network) fülén, amikor betöltődik egy oldal vagy fájl.
Példák robots meta tagekre és X-Robots-Tag fejlécekre
Ne jelenjen meg kivonat az oldal tartalmából
- HTTP fejlécben
X-Robots-Tag: nosnippet
- HTML meta tagként
<meta name="robots" content="nosnippet">
Egy adott keresőmotor számára indexelési tilalom beállítása
Ha például csak az ExampleBot-News keresőmotort szeretnénk kizárni az indexelésből, így tehetjük meg:
- HTTP fejlécben
X-Robots-Tag: examplebot-news: noindex
- HTML meta tagként
<meta name="examplebot-news" content="noindex">
Egy adott keresőmotor ne jelenítsen meg kivonatot, más keresők pedig ne kövessék a linkeket
Ebben a példában az ExampleBot nem jeleníthet meg kivonatot, minden más kereső számára pedig le van tiltva a linkek követése. A keresők mindig a legszigorúbb szabályokat veszik figyelembe.
- HTTP fejlécben
X-Robots-Tag: examplebot: nosnippet
X-Robots-Tag: nofollow
- HTML meta tagként
<meta name="examplebot" content="nosnippet">
<meta name="robots" content="nofollow">
Robots.txt vs. meta tagek vs. X-Robots-Tag – melyiket válasszuk?
Bár a robots.txt és az oldalszintű szabályok (robots meta tag, X-Robots-Tag) hasonló célt szolgálnak, nem teljesen felcserélhetők. Az alábbi táblázat segít eldönteni, mikor melyiket érdemes használni:
| Szabályozási mód | Mikor érdemes használni? |
|---|---|
| robots.txt | Ha teljes könyvtárakat vagy nagyobb tartalmi részeket szeretnél tiltani. FTP szervereken is alkalmazható. |
| robots meta tag | Ha egy-egy adott HTML oldalt akarsz szabályozni, például megakadályozni a snippetek megjelenítését. |
| X-Robots-Tag | Ha nem HTML formátumú tartalmakat (PDF, képek stb.) szeretnél szabályozni. |
A Robots Exclusion Protocol – folyamatosan fejlődő szabvány
A Robots Exclusion Protocol (REP) az évek során folyamatosan bővült. Új szabályozási lehetőségek jelentek meg, például a nosnippet, noarchive, max-snippet, miközben mások – mint a noodp, amit korábban a DMOZ katalógus használt – időközben elavultak és kikerültek a használatból.
A weboldaltulajdonosok így ma már nemcsak azt dönthetik el, mit térképezzenek fel a keresőrobotok, hanem azt is, hogyan jelenjenek meg ezek az adatok a találati listákban.
A robots meta tagek és az X-Robots-Tag fejlécek olyan eszközök, amelyeket a legtöbb tartalomkezelő rendszer támogat, és amelyeket weboldalak több milliárdos nagyságrendben használnak világszerte.
Ha kíváncsi vagy a Robots Refresher sorozat további részeire, kövesd a Google Search Central blogját, vagy figyeld a SEOportál híreit akár itt a weboldalon, akár a Facebook oldalunkon.
