Szabályozás egyes aloldalakra – Robots Refresher (2.)

A Google Search Central Robots Refresher sorozata segít a weboldaltulajdonosoknak jobban megérteni, hogyan szabályozhatják a keresőrobotok viselkedését. Az első részben a robots.txt fájl működését mutatták be, most pedig a robots meta tagek és az X-Robots-Tag HTTP fejlécek szerepét veszik górcső alá. Ezekkel az eszközökkel már nemcsak mappákra, hanem akár egyes oldalakra vagy fájlokra is külön szabályokat adhatunk meg a keresők számára.

A robots.txt egy egyszerű eszköz, amellyel megadhatjuk, hogy a keresőrobotok a weboldal mely részeit látogathatják. De nem ez az egyetlen mód arra, hogy befolyásoljuk, hogyan viselkedjenek a keresők az oldalunkon.

A meta tagek a ’90-es évek közepén jelentek meg, melyeknek egyik változata a keresőrobotoknak szánt robots meta tag. Később ezt egészítette ki az X-Robots-Tag, amit nem az oldal kódjába, hanem a kiszolgáló válaszába lehet beépíteni. Ezekkel már jóval pontosabban irányíthatjuk, hogy mit tehetnek a keresők egy-egy konkrét oldallal vagy fájllal.

Fontos viszont, hogy ezek a beállítások csak akkor érvényesülnek, ha az adott oldal nincs letiltva a robots.txt fájlban. A robots.txt, a meta tag és az X-Robots-Tag együtt alkotják a Robots Exclusion Protocol (REP) nevű szabványt, amelynek segítségével pontosan meghatározhatjuk, mit engedünk – és mit nem – a keresőrobotoknak a weboldalunkon.

Robots meta tagek – mit jelentenek?

A meta tagek olyan információkat tartalmaznak, amelyeket a keresőrobotok és más gépek tudnak értelmezni egy weboldalról. A robots meta tag ezeknek egy speciális változata, amivel azt jelezhetjük, mit kezdhet a kereső az adott oldallal. Például azt is megadhatjuk vele, hogy:

  • szabad-e indexelni az oldalt, vagyis bekerülhet-e a keresési találatok közé;
  • követheti-e a keresőrobot az oldalon lévő linkeket.

Íme egy egyszerű példa a robots meta tagre, ami megakadályozza, hogy az oldal bekerüljön a keresőbe:

<meta name="robots" content="noindex">

Ha szeretnéd megnézni, hogy egy adott oldalon vannak-e ilyen beállítások, elég megnyitni az oldal forráskódját a böngészőben, és a „robots” kifejezésre rákeresve megtalálhatod a megfelelő sort.

Az X-Robots-Tag – robots utasítások bármilyen URL-re

Nem minden online tartalom HTML formátumú – gondolj például PDF-ekre, képekre vagy letölthető dokumentumokra. Ezekhez a fájlokhoz nem lehet meta tageket írni, ezért hozták létre az X-Robots-Tag nevű HTTP fejlécet. Ezzel ugyanúgy megadhatjuk a keresőknek, hogy például ne indexeljék az adott tartalmat.

A működése hasonló a robots meta taghez, csak ez nem a HTML-kódban, hanem a kiszolgáló válaszában jelenik meg, például így:

X-Robots-Tag: noindex

Ezt a fejlécet a böngésző fejlesztői eszközeiben tudod megnézni, például a Chrome „Hálózat” (Network) fülén, amikor betöltődik egy oldal vagy fájl.

Példák robots meta tagekre és X-Robots-Tag fejlécekre

Ne jelenjen meg kivonat az oldal tartalmából

  • HTTP fejlécben
X-Robots-Tag: nosnippet
  • HTML meta tagként
<meta name="robots" content="nosnippet">

Egy adott keresőmotor számára indexelési tilalom beállítása

Ha például csak az ExampleBot-News keresőmotort szeretnénk kizárni az indexelésből, így tehetjük meg:

  • HTTP fejlécben
X-Robots-Tag: examplebot-news: noindex
  • HTML meta tagként
<meta name="examplebot-news" content="noindex">

Egy adott keresőmotor ne jelenítsen meg kivonatot, más keresők pedig ne kövessék a linkeket

Ebben a példában az ExampleBot nem jeleníthet meg kivonatot, minden más kereső számára pedig le van tiltva a linkek követése. A keresők mindig a legszigorúbb szabályokat veszik figyelembe.

  • HTTP fejlécben
X-Robots-Tag: examplebot: nosnippet
X-Robots-Tag: nofollow
  • HTML meta tagként
<meta name="examplebot" content="nosnippet">
<meta name="robots" content="nofollow">

Robots.txt vs. meta tagek vs. X-Robots-Tag – melyiket válasszuk?

Bár a robots.txt és az oldalszintű szabályok (robots meta tag, X-Robots-Tag) hasonló célt szolgálnak, nem teljesen felcserélhetők. Az alábbi táblázat segít eldönteni, mikor melyiket érdemes használni:

Szabályozási módMikor érdemes használni?
robots.txtHa teljes könyvtárakat vagy nagyobb tartalmi részeket szeretnél tiltani. FTP szervereken is alkalmazható.
robots meta tagHa egy-egy adott HTML oldalt akarsz szabályozni, például megakadályozni a snippetek megjelenítését.
X-Robots-TagHa nem HTML formátumú tartalmakat (PDF, képek stb.) szeretnél szabályozni.

A Robots Exclusion Protocol – folyamatosan fejlődő szabvány

A Robots Exclusion Protocol (REP) az évek során folyamatosan bővült. Új szabályozási lehetőségek jelentek meg, például a nosnippet, noarchive, max-snippet, miközben mások – mint a noodp, amit korábban a DMOZ katalógus használt – időközben elavultak és kikerültek a használatból.

A weboldaltulajdonosok így ma már nemcsak azt dönthetik el, mit térképezzenek fel a keresőrobotok, hanem azt is, hogyan jelenjenek meg ezek az adatok a találati listákban.

A robots meta tagek és az X-Robots-Tag fejlécek olyan eszközök, amelyeket a legtöbb tartalomkezelő rendszer támogat, és amelyeket weboldalak több milliárdos nagyságrendben használnak világszerte.


Ha kíváncsi vagy a Robots Refresher sorozat további részeire, kövesd a Google Search Central blogját, vagy figyeld a SEOportál híreit akár itt a weboldalon, akár a Facebook oldalunkon.

Top 56 SEO tényező 

Close the CTA

Ebben a kiadványban bemutatjuk azokat a szempontokat, amelyek segítenek, hogy a weboldalad előrébb kerüljön a keresők találati listáján.

Egy kezdő lökés, amit ajándékba adunk.
Most azonnal letöltheted!

Select Options

SOHA nem késő belevágni!