Gondolkodtál már azon, hogy a keresőrobotok hogyan döntik el, mely oldalakat látogatják meg egy weboldalon? Vagy hogy lehet-e szabályozni, mely tartalmak kerüljenek be az indexelésbe? A Google Search Central új blogsorozata, a Robots Refresher, éppen ezekre a kérdésekre ad választ.
A sorozat célja, hogy érthető módon bemutassa a robots.txt fájlok és a robots meta tagek működését, és segítse a weboldaltulajdonosokat abban, hogy hatékonyabban irányíthassák a keresőrobotok hozzáférését weboldalukhoz
Az első bejegyzés 2025. február 24-én jelent meg, amelyben a Google bejelentette ezt a sorozatot, majd 2025. március 7-én közzétették a sorozat első részét, melyben részletes magyarázatot adtak a robots.txt fájl szerepéről és működéséről. Most az eredeti, angol nyelvű blog az összefoglalója következik.
Mi az a robots.txt fájl?
A robots.txt formátumot 1994-ben vezették be, vagyis már a Google alapítása (1998) előtt is létezett. Az internet egyik alapvető szabványává vált, amelyet a keresőmotorok és más webes eszközök azóta is széles körben alkalmaznak. Az évek során a formátum szinte változatlan maradt, és 2022-ben az IETF (Internet Engineering Task Force) hivatalos javasolt szabványként ismerte el.
A robots.txt egy egyszerű szöveges fájl, amely a szerveren található, és amely meghatározza, hogy a keresőrobotok milyen tartalmakhoz férhetnek hozzá és melyeket kell figyelmen kívül hagyniuk. Szinte minden weboldal rendelkezik robots.txt fájllal, amelyet a domain végére „/robots.txt” hozzáadásával lehet megtekinteni.
mintahonlap.hu/robots.txt
A tartalomkezelő rendszerek (CMS) többsége automatikusan létrehozza ezt a fájlt, de manuálisan is könnyen elkészíthető.
Mire való a robots.txt?
A robots.txt fájlok segítségével megadható, hogy a keresőrobotok mely oldalakat indexelhetik és melyeket nem. A fájl utasításokat adhat:
- Teljes weboldalakra,
- Weboldalrészekre,
- Konkrét fájlokra vonatkozóan.
A keresőrobotok túlnyomó többsége tiszteletben tartja ezeket az irányelveket, és több ezer nyílt forráskódú fejlesztői eszköz áll rendelkezésre a robots.txt fájlok kezelésére.
A helyesen beállított robots.txt fájl segíthet a szerver túlterhelésének elkerülésében, mert megakadályozza, hogy a keresőrobotok felesleges dinamikus oldalak betöltésével terheljék a rendszert. Emellett az oldaltulajdonosok számára is hasznos, mivel biztosítja, hogy a keresőmotorok a legfontosabb tartalmakra koncentráljanak.
Hogyan működik a robots.txt?
A robots.txt fájl beállítása rendkívül egyszerű. A fájlban megadhatók allow (engedélyezve) és disallow (tiltva) szabályok, amelyek meghatározzák, hogy mely keresőrobotok (úgynevezett user-agentek) mely URL-eket látogathatják.
Alapvető példák:
- Minden keresőrobot számára tiltani egy adott oldalt:
User-agent: *
Disallow: /kosarEz azt jelenti, hogy a keresőrobotok nem látogathatják a „/kosar” URL-t. A csillag azt jelenti, hogy az összes keresőrobotra vonatkozik a szabály.
- Csak bizonyos keresőrobotokat korlátozni:
User-agent: examplebot
User-agent: otherbot
Disallow: /searchEbben az esetben az „examplebot” és az „otherbot” keresőrobot nem fogja feltérképezni a „/search” oldalt, de minden más kereső feltérképezheti.
- Egy adott bot számára egyes tartalmak engedélyezése, mások tiltása:
User-agent: documentsbot
Allow: /blog/
Disallow: /blog/drafts/Itt a „documentsbot” feltérképezheti a blogot, de a vázlatokat nem.
- Egyes fájltípusok tiltása:
User-agent: documentsbot
Disallow: *.pdfEzzel a „documentsbot” számára minden „.pdf” fájl elérhetetlen lesz.
- Megjegyzések elhelyezése:
# Nem szeretném, ha a keresőrobotok hozzáférnének a régi fényképeimhez
User-agent: *
Disallow: /photos/old/A # jellel kezdődő sorokat a keresőrobotok figyelmen kívül hagyják, így megjegyzések írására használható.
Gyakori robots.txt kifejezések
User-agent: a keresőrobotok azonosítója, amelyre az adott szabály vonatkozik. Pl. User-agent: Googlebot csak a Google keresőrobotjára érvényes.
* (csillag): helyettesítő karakter, amely minden keresőrobotot jelent. Pl. User-agent: * minden botra vonatkozik.
Disallow: megtiltja a keresőrobotoknak egy adott URL elérését. Pl. Disallow: /admin letiltja az /admin mappát.
Allow: engedélyezi egy adott URL elérését, még akkor is, ha egy magasabb szintű Disallow szabály korlátozza. Pl. Allow: /public a /public mappát elérhetővé teszi.
# (kettőskereszt): megjegyzések írására használható, amit a keresőrobotok figyelmen kívül hagynak. Pl. # Ez egy megjegyzésHogyan kezelhetjük a robots.txt fájlt?
A robots.txt fájl szerkesztése nem igényel programozói tudást. Elég egy szöveges fájl létrehozása, amelyet a megfelelő helyre kell feltölteni. A legtöbb tartalomkezelő rendszer (pl. WordPress) lehetőséget biztosít a robots.txt fájl egyszerű módosítására beépített eszközökkel vagy bővítményekkel.
A robots.txt fájl helyes működésének ellenőrzésére számos tesztelő eszköz áll rendelkezésre, például a TametheBot robots.txt tesztelője.
Ha további részletekre vagy kíváncsi a robots.txt működéséről, figyeld a Robots Refresher sorozat következő részeit a Google Search Central Blogon, vagy figyeld a SEOportál Facebook oldalát, ahol az eredeti bejegyzés magyar nyelvű összefoglalóját megjelenítjük.
