Robots.txt -ről néhány gondolat

A robots.txt -hez mindig is úgy álltam, hogy az egy kötelező elem és fél percnél többet nem érdemel. Ahogy ennek az oldalnak a robots.txt -jében látható, elsősorban azért, mert nem használok megszorításokat.

A sitemap.xml helyét persze feltüntetem, de szerintem ennek inkább akkor volna jelentősége, ha nem az alapértelmezett url-en lenne elérhető. Illetve én amúgy is elküldöm rendszeresen a sitemap-ot, ha változás történt.

Megszorításokat azért nem szeretek beletenni a robots.txt-be, mert azt gondolom, hogy ha valaki fel szeretné törni az oldalt, akkor elsőre ott nézné meg, hogy mely mappákat nem szeretném megmutatni a keresőnek. Vajon miért pont azokat? Vajon mi van ott? Megfelelő header-ekkel jelzem a keresőnek, hogy a kényes lekéréseket ne index-elje le.

Nemrég érdekességképpen belenéztem a Google robots.txt -jébe. Hát… ők ezt másként látják… igen hosszú megoldást választottak. Terhelés szempontjából biztosan jobb ez a megoldás. Illetve valószínűleg ők fel vannak készülve a folyamatos próbálkozásra. Ezután megnéztem a Facebook robots.txt -jébe is. Ez is egy hosszabb lista. Valószínűleg ekkora méretnél fontos ez a finomhangolás. Más dimenzióban mozgunk. :)

Minap szembejött velem egy hosszú cikk, lehetett volna akár az is a címe, hogy Minden, amit nem mertél megkérdezni a robots.txt-vel kapcsolatban? De nem ez volt a cím, valami sokkal unalmasabb megfogalmazást használtak. Leírtak egy rakás utasítást, majd mellé írták, hogy amúgy ezt a Google nem támogatja. Hát ööööhhh… :)

Kicsit komolyabbra fordítva a szót, a Google leírása a témában kifejezetten jó! Ha szeretnél finomhangolni, akkor ezt a cikket mindenképpen olvasd el! Ami itt le van írva az hasznos, minden más meg nem érdekes! Máskülönben meg nem baj, ha te sem foglalkozol fél percnél többet ezzel az egésszel!

Ez a weboldal cookie-kat (sütiket) használ azért, hogy weboldalunk használata során a lehető legjobb élményt tudjuk biztosítani.