Robots.txt -ről néhány gondolat

A robots.txt -hez mindig is úgy álltam, hogy az egy kötelező elem és fél percnél többet nem érdemel. Ahogy ennek az oldalnak a robots.txt -jében látható, elsősorban azért, mert nem használok megszorításokat.

A sitemap.xml helyét persze feltüntetem, de szerintem ennek inkább akkor volna jelentősége, ha nem az alapértelmezett url-en lenne elérhető. Illetve én amúgy is elküldöm rendszeresen a sitemap-ot, ha változás történt.

Megszorításokat azért nem szeretek beletenni a robots.txt-be, mert azt gondolom, hogy ha valaki fel szeretné törni az oldalt, akkor elsőre ott nézné meg, hogy mely mappákat nem szeretném megmutatni a keresőnek. Vajon miért pont azokat? Vajon mi van ott? Megfelelő header-ekkel jelzem a keresőnek, hogy a kényes lekéréseket ne index-elje le.

Nemrég érdekességképpen belenéztem a Google robots.txt -jébe. Hát… ők ezt másként látják… igen hosszú megoldást választottak. Terhelés szempontjából biztosan jobb ez a megoldás. Illetve valószínűleg ők fel vannak készülve a folyamatos próbálkozásra. Ezután megnéztem a Facebook robots.txt -jébe is. Ez is egy hosszabb lista. Valószínűleg ekkora méretnél fontos ez a finomhangolás. Más dimenzióban mozgunk. :)

Ez a weboldal cookie-kat (sütiket) használ azért, hogy weboldalunk használata során a lehető legjobb élményt tudjuk biztosítani.

OK!