A Robots Refresher sorozat célja, hogy érthetően bemutassa, hogyan irányíthatják a weboldaltulajdonosok a keresőrobotokat – vagyis hogyan adhatják meg, hogy a keresők mit láthatnak az oldalukból, és mit ne. A Google Search Central által indított sorozat gyakorlati példákon keresztül mutatja be a legfontosabb eszközöket és szabályokat.
Az első részben a robots.txt fájl alapjait vettük végig, a második részben pedig azt mutattuk meg, hogyan lehet az egyes oldalak vagy fájltípusok viselkedését külön szabályozni meta tagek és HTTP fejlécek segítségével. Ebben a részben arra keressük a választ, hogyan maradhat hosszú távon is megbízható és fejleszthető a Robots Exclusion Protocol (REP) a folyamatosan változó webes környezetben.
A REP története: stabil alapok, időtálló megoldás
A robots.txt nem új találmány – 1994 óta létezik, és 2022-ben hivatalosan is elfogadott internetes szabvánnyá vált. Ez önmagában is ritka dolog. Az igazán meglepő viszont az, hogy az alapjai alig változtak azóta, mindössze az allow szabály került hozzá a kezdeti alapokhoz. Annyira jól működik, hogy több milliárd weboldal használja, és szinte minden keresőmotor tiszteletben tartja.
A robots.txt egyik legnagyobb előnye, hogy egyszerű. Egy sima szöveges fájl, amit a legtöbb rendszer automatikusan kezel, a keresőrobotok pedig könnyen értelmeznek. Nem kell hozzá extra bővítmény vagy programozói tudás – ez is hozzájárult ahhoz, hogy ilyen sokan használják.
De mi a helyzet az extra szabályokkal?
A hivatalos szabvány csak néhány alapvető utasítást tartalmaz – például azt, hogy mely mappák legyenek tiltva. Viszont az évek során a különböző keresők saját kiegészítéseket is bevezettek. Ilyen például a crawl-delay (ami a letöltések közötti időt szabályozza), vagy a sitemap, amivel megadható, hol található az oldalunk térképe. Ezek nem hivatalos részei a szabványnak, de ettől még sok keresőmotor használja őket.
Ez azt is jelenti, hogy a REP (Robots Exclusion Protocol) rugalmas, és képes együtt fejlődni a webbel – de csak akkor, ha ehhez több szereplő is támogatást ad.
A jövő szabványának alapja lehet
A REP egyik legnagyobb előnye az, hogy széles körben ismert és támogatott. Emiatt ideális alap lehet új keresőrobotokra vonatkozó szabályok bevezetésére is. A weboldaltulajdonosok már ismerik a robots.txt szintaxisát, a keresőmotorok pedig már kifejlesztették a hozzá tartozó elemző (parser) rendszereiket, így nem kell mindent elölről kezdeni.
A robots meta tagek és az X-Robots-Tag fejlécek szintén alkalmasak új irányelvek bevezetésére. A szintaxisuk egyszerű és bővíthető, így ha szükség lenne egy új fajta tiltásra vagy beállításra, ezeken keresztül megvalósítható lenne.
Hogyan fejlődhet tovább a REP?
A REP nem „egyvalaki” szabványa. Nyitott, nyilvános szabvány, amit nem lehet egyoldalún megváltoztatni. Ha szeretnél egy új szabályt javasolni, a legfontosabb, amit tehetsz, hogy beszélsz róla nyilvánosan és támogatókat gyűjtesz.
A keresők, fejlesztők és tartalomtulajdonosok közös egyetértése vezethet oda, hogy egy szabályból hivatalos irányelv legyen. Ez történt a sitemap esetében is: nem hivatalos szabályként indult, de mivel mind a keresők, mind a tartalomkészítők hasznosnak tartották, végül elfogadott és támogatott lett.
Ha van egy jó ötleted, ami közös érdeket szolgál, érdemes megosztani azt a szakmai közösséggel. A Robots Exclusion Protocol nemcsak egy múltbeli technikai megoldás, hanem egy olyan szabvány, amely a jövő webes egyensúlyát is segíthet fenntartani.
A Robots Exclusion Protocol tehát nem egy merev, elavult szabályrendszer. Inkább olyan, mint egy közösen használt nyelv, amit folyamatosan csiszolunk – de csak akkor, ha érdemes.
Ha további részletekre vagy kíváncsi a robots.txt működéséről, figyeld a Robots Refresher sorozat következő részeit a Google Search Central Blogon, vagy figyeld a SEOportál Facebook oldalát, ahol az eredeti bejegyzés magyar nyelvű összefoglalóját megjelenítjük.
