A REP fejlődése és jövője – Robots Refresher (3.)

A Robots Refresher sorozat célja, hogy érthetően bemutassa, hogyan irányíthatják a weboldaltulajdonosok a keresőrobotokat – vagyis hogyan adhatják meg, hogy a keresők mit láthatnak az oldalukból, és mit ne. A Google Search Central által indított sorozat gyakorlati példákon keresztül mutatja be a legfontosabb eszközöket és szabályokat.

Az első részben a robots.txt fájl alapjait vettük végig, a második részben pedig azt mutattuk meg, hogyan lehet az egyes oldalak vagy fájltípusok viselkedését külön szabályozni meta tagek és HTTP fejlécek segítségével. Ebben a részben arra keressük a választ, hogyan maradhat hosszú távon is megbízható és fejleszthető a Robots Exclusion Protocol (REP) a folyamatosan változó webes környezetben.

A REP története: stabil alapok, időtálló megoldás

A robots.txt nem új találmány – 1994 óta létezik, és 2022-ben hivatalosan is elfogadott internetes szabvánnyá vált. Ez önmagában is ritka dolog. Az igazán meglepő viszont az, hogy az alapjai alig változtak azóta, mindössze az allow szabály került hozzá a kezdeti alapokhoz. Annyira jól működik, hogy több milliárd weboldal használja, és szinte minden keresőmotor tiszteletben tartja.

A robots.txt egyik legnagyobb előnye, hogy egyszerű. Egy sima szöveges fájl, amit a legtöbb rendszer automatikusan kezel, a keresőrobotok pedig könnyen értelmeznek. Nem kell hozzá extra bővítmény vagy programozói tudás – ez is hozzájárult ahhoz, hogy ilyen sokan használják.

De mi a helyzet az extra szabályokkal?

A hivatalos szabvány csak néhány alapvető utasítást tartalmaz – például azt, hogy mely mappák legyenek tiltva. Viszont az évek során a különböző keresők saját kiegészítéseket is bevezettek. Ilyen például a crawl-delay (ami a letöltések közötti időt szabályozza), vagy a sitemap, amivel megadható, hol található az oldalunk térképe. Ezek nem hivatalos részei a szabványnak, de ettől még sok keresőmotor használja őket.

Ez azt is jelenti, hogy a REP (Robots Exclusion Protocol) rugalmas, és képes együtt fejlődni a webbel – de csak akkor, ha ehhez több szereplő is támogatást ad.

A jövő szabványának alapja lehet

A REP egyik legnagyobb előnye az, hogy széles körben ismert és támogatott. Emiatt ideális alap lehet új keresőrobotokra vonatkozó szabályok bevezetésére is. A weboldaltulajdonosok már ismerik a robots.txt szintaxisát, a keresőmotorok pedig már kifejlesztették a hozzá tartozó elemző (parser) rendszereiket, így nem kell mindent elölről kezdeni.

A robots meta tagek és az X-Robots-Tag fejlécek szintén alkalmasak új irányelvek bevezetésére. A szintaxisuk egyszerű és bővíthető, így ha szükség lenne egy új fajta tiltásra vagy beállításra, ezeken keresztül megvalósítható lenne.

Hogyan fejlődhet tovább a REP?

A REP nem „egyvalaki” szabványa. Nyitott, nyilvános szabvány, amit nem lehet egyoldalún megváltoztatni. Ha szeretnél egy új szabályt javasolni, a legfontosabb, amit tehetsz, hogy beszélsz róla nyilvánosan és támogatókat gyűjtesz.

A keresők, fejlesztők és tartalomtulajdonosok közös egyetértése vezethet oda, hogy egy szabályból hivatalos irányelv legyen. Ez történt a sitemap esetében is: nem hivatalos szabályként indult, de mivel mind a keresők, mind a tartalomkészítők hasznosnak tartották, végül elfogadott és támogatott lett.

Ha van egy jó ötleted, ami közös érdeket szolgál, érdemes megosztani azt a szakmai közösséggel. A Robots Exclusion Protocol nemcsak egy múltbeli technikai megoldás, hanem egy olyan szabvány, amely a jövő webes egyensúlyát is segíthet fenntartani.

A Robots Exclusion Protocol tehát nem egy merev, elavult szabályrendszer. Inkább olyan, mint egy közösen használt nyelv, amit folyamatosan csiszolunk – de csak akkor, ha érdemes.


Ha további részletekre vagy kíváncsi a robots.txt működéséről, figyeld a Robots Refresher sorozat következő részeit a Google Search Central Blogon, vagy figyeld a SEOportál Facebook oldalát, ahol az eredeti bejegyzés magyar nyelvű összefoglalóját megjelenítjük.

Top 56 SEO tényező 

Close the CTA

Ebben a kiadványban bemutatjuk azokat a szempontokat, amelyek segítenek, hogy a weboldalad előrébb kerüljön a keresők találati listáján.

Egy kezdő lökés, amit ajándékba adunk.
Most azonnal letöltheted!

Select Options

SOHA nem késő belevágni!