Robots.txt -ről néhány gondolat

A robots.txt -hez mindig is úgy álltam, hogy az egy kötelező elem és fél percnél többet nem érdemel. Ahogy ennek az oldalnak a robots.txt -jében látható, elsősorban azért, mert nem használok megszorításokat.

A sitemap.xml helyét persze feltüntetem, de szerintem ennek inkább akkor volna jelentősége, ha nem az alapértelmezett url-en lenne elérhető. Illetve én amúgy is elküldöm rendszeresen a sitemap-ot, ha változás történt.

Megszorításokat azért nem szeretek beletenni a robots.txt-be, mert azt gondolom, hogy ha valaki fel szeretné törni az oldalt, akkor elsőre ott nézné meg, hogy mely mappákat nem szeretném megmutatni a keresőnek. Vajon miért pont azokat? Vajon mi van ott? Megfelelő header-ekkel jelzem a keresőnek, hogy a kényes lekéréseket ne index-elje le.

Nemrég érdekességképpen belenéztem a Google robots.txt -jébe. Hát… ők ezt másként látják… igen hosszú megoldást választottak. Terhelés szempontjából biztosan jobb ez a megoldás. Illetve valószínűleg ők fel vannak készülve a folyamatos próbálkozásra. Ezután megnéztem a Facebook robots.txt -jébe is. Ez is egy hosszabb lista. Valószínűleg ekkora méretnél fontos ez a finomhangolás. Más dimenzióban mozgunk. :)

Minap szembejött velem egy hosszú cikk, lehetett volna akár az is a címe, hogy Minden, amit nem mertél megkérdezni a robots.txt-vel kapcsolatban? De nem ez volt a cím, valami sokkal unalmasabb megfogalmazást használtak. Leírtak egy rakás utasítást, majd mellé írták, hogy amúgy ezt a Google nem támogatja. Hát ööööhhh… :)

Kicsit komolyabbra fordítva a szót, a Google leírása a témában kifejezetten jó! Ha szeretnél finomhangolni, akkor ezt a cikket mindenképpen olvasd el! Ami itt le van írva az hasznos, minden más meg nem érdekes! Máskülönben meg nem baj, ha te sem foglalkozol fél percnél többet ezzel az egésszel!