Robots.txt a keresőrobotok irányítására – Robots Refresher (1.)

Gondolkodtál már azon, hogy a keresőrobotok hogyan döntik el, mely oldalakat látogatják meg egy weboldalon? Vagy hogy lehet-e szabályozni, mely tartalmak kerüljenek be az indexelésbe? A Google Search Central új blogsorozata, a Robots Refresher, éppen ezekre a kérdésekre ad választ.

A sorozat célja, hogy érthető módon bemutassa a robots.txt fájlok és a robots meta tagek működését, és segítse a weboldaltulajdonosokat abban, hogy hatékonyabban irányíthassák a keresőrobotok hozzáférését weboldalukhoz

Az első bejegyzés 2025. február 24-én jelent meg, amelyben a Google bejelentette ezt a sorozatot, majd 2025. március 7-én közzétették a sorozat első részét, melyben részletes magyarázatot adtak a robots.txt fájl szerepéről és működéséről. Most az eredeti, angol nyelvű blog az összefoglalója következik.

Mi az a robots.txt fájl?

A robots.txt formátumot 1994-ben vezették be, vagyis már a Google alapítása (1998) előtt is létezett. Az internet egyik alapvető szabványává vált, amelyet a keresőmotorok és más webes eszközök azóta is széles körben alkalmaznak. Az évek során a formátum szinte változatlan maradt, és 2022-ben az IETF (Internet Engineering Task Force) hivatalos javasolt szabványként ismerte el.

A robots.txt egy egyszerű szöveges fájl, amely a szerveren található, és amely meghatározza, hogy a keresőrobotok milyen tartalmakhoz férhetnek hozzá és melyeket kell figyelmen kívül hagyniuk. Szinte minden weboldal rendelkezik robots.txt fájllal, amelyet a domain végére „/robots.txt” hozzáadásával lehet megtekinteni.

mintahonlap.hu/robots.txt

A tartalomkezelő rendszerek (CMS) többsége automatikusan létrehozza ezt a fájlt, de manuálisan is könnyen elkészíthető.

Mire való a robots.txt?

A robots.txt fájlok segítségével megadható, hogy a keresőrobotok mely oldalakat indexelhetik és melyeket nem. A fájl utasításokat adhat:

  • Teljes weboldalakra,
  • Weboldalrészekre,
  • Konkrét fájlokra vonatkozóan.

A keresőrobotok túlnyomó többsége tiszteletben tartja ezeket az irányelveket, és több ezer nyílt forráskódú fejlesztői eszköz áll rendelkezésre a robots.txt fájlok kezelésére.

A helyesen beállított robots.txt fájl segíthet a szerver túlterhelésének elkerülésében, mert megakadályozza, hogy a keresőrobotok felesleges dinamikus oldalak betöltésével terheljék a rendszert. Emellett az oldaltulajdonosok számára is hasznos, mivel biztosítja, hogy a keresőmotorok a legfontosabb tartalmakra koncentráljanak.

Hogyan működik a robots.txt?

A robots.txt fájl beállítása rendkívül egyszerű. A fájlban megadhatók allow (engedélyezve) és disallow (tiltva) szabályok, amelyek meghatározzák, hogy mely keresőrobotok (úgynevezett user-agentek) mely URL-eket látogathatják.

Alapvető példák:

  1. Minden keresőrobot számára tiltani egy adott oldalt:
User-agent: *
Disallow: /kosar

Ez azt jelenti, hogy a keresőrobotok nem látogathatják a „/kosar” URL-t. A csillag azt jelenti, hogy az összes keresőrobotra vonatkozik a szabály.

  1. Csak bizonyos keresőrobotokat korlátozni:
User-agent: examplebot
User-agent: otherbot
Disallow: /search

Ebben az esetben az „examplebot” és az „otherbot” keresőrobot nem fogja feltérképezni a „/search” oldalt, de minden más kereső feltérképezheti.

  1. Egy adott bot számára egyes tartalmak engedélyezése, mások tiltása:
User-agent: documentsbot
Allow: /blog/
Disallow: /blog/drafts/

Itt a „documentsbot” feltérképezheti a blogot, de a vázlatokat nem.

  1. Egyes fájltípusok tiltása:
User-agent: documentsbot
Disallow: *.pdf

Ezzel a „documentsbot” számára minden „.pdf” fájl elérhetetlen lesz.

  1. Megjegyzések elhelyezése:
# Nem szeretném, ha a keresőrobotok hozzáférnének a régi fényképeimhez
User-agent: *
Disallow: /photos/old/

A # jellel kezdődő sorokat a keresőrobotok figyelmen kívül hagyják, így megjegyzések írására használható.

Gyakori robots.txt kifejezések

User-agent: a keresőrobotok azonosítója, amelyre az adott szabály vonatkozik. Pl. User-agent: Googlebot csak a Google keresőrobotjára érvényes.

* (csillag): helyettesítő karakter, amely minden keresőrobotot jelent. Pl. User-agent: * minden botra vonatkozik.

Disallow: megtiltja a keresőrobotoknak egy adott URL elérését. Pl. Disallow: /admin letiltja az /admin mappát.

Allow: engedélyezi egy adott URL elérését, még akkor is, ha egy magasabb szintű Disallow szabály korlátozza. Pl. Allow: /public a /public mappát elérhetővé teszi.

# (kettőskereszt): megjegyzések írására használható, amit a keresőrobotok figyelmen kívül hagynak. Pl. # Ez egy megjegyzés

Hogyan kezelhetjük a robots.txt fájlt?

A robots.txt fájl szerkesztése nem igényel programozói tudást. Elég egy szöveges fájl létrehozása, amelyet a megfelelő helyre kell feltölteni. A legtöbb tartalomkezelő rendszer (pl. WordPress) lehetőséget biztosít a robots.txt fájl egyszerű módosítására beépített eszközökkel vagy bővítményekkel.

A robots.txt fájl helyes működésének ellenőrzésére számos tesztelő eszköz áll rendelkezésre, például a TametheBot robots.txt tesztelője.


Ha további részletekre vagy kíváncsi a robots.txt működéséről, figyeld a Robots Refresher sorozat következő részeit a Google Search Central Blogon, vagy figyeld a SEOportál Facebook oldalát, ahol az eredeti bejegyzés magyar nyelvű összefoglalóját megjelenítjük.

Top 56 SEO tényező 

Close the CTA

Ebben a kiadványban bemutatjuk azokat a szempontokat, amelyek segítenek, hogy a weboldalad előrébb kerüljön a keresők találati listáján.

Egy kezdő lökés, amit ajándékba adunk.
Most azonnal letöltheted!

Select Options

SOHA nem késő belevágni!