Vyhledávací roboti

Třeba Altavista nebo Google. Servery, které mají velikou databázi o tom, která stránka internetu obsahuje jaké slovo. Protože umějí hledat v celém textu stránek, říká se jim fulltextové. Také se jim říká pavouci, spiders nebo crawlers.

Takových serverů existují řádově stovky. Nepleťte si, prosím, fulltextové vyhledávače s katalogy (Yahoo, Seznam).

Jak pracují vyhledávače

Robot prochází internetem

Většinou někde začne, třeba v nějakém katalogu. Najde odkaz a sleduje ho. Nalezenou stránku si stáhne pro zaindexování, zároveň hledá další odkazy, které případně opět sleduje, aby si to zase postahoval.

Z toho vyplývá, že robot nemůže odhalit stránku, na kterou nevede žádný odkaz. Musí přitom jít o klasický odkaz (na to obzvláště upozorňuji milovníky různých JavaScriptových parádiček).

Pokud na vaše stránky nebudou roboti chodit, žádný čtenář ty stránky nemůže najít vyhledávačem.

V praxi ale roboti najdou jenom zlomek stránek, které existují, protože to prostě všechno nestíhají.

Jak přilákat roboty

Někteří přijdou sami po té, co se vaše stránka objeví v nějakém katalogu. Jiné roboty musíte popohnat. Většinou se to dělá na hlavní stránce vyhledávací služby (třeba Altavista) nenápadným odkazem (přidej odkaz, add a link, submit site, add site a podobně). Zadá se URL adresa (doporučuji kontrolovat), to je vše. Roboti časem přijdou.

Osobně jsem skeptický k programům, které slibují, že přidají odkaz do spousty zahraničních vyhledávačů. Jednak zahraniční vyhledávače nejsou tak důležité, jako české, druhak se říká, že ty programy stejně jenom schraňují informace o zadavateli, aby to mohli prodat. Opravdu důležitých vyhledávačů je jen málo, není třeba být ve všech špatných. Navíc například Altavista nedávno těmto programům zablokovala přístup.

Zakázání přístupu robotům

Webmasteři mohou nastavit, aby na web roboti nechodili nebo chodili jenom někteří a někam. Nejčastějším důvodem pro tato opatření bývá velké zatížení linky nebo choulostivost informací. Existují dva základní způsoby, jak to udělat:

Robots.txt

Každý robot, který přijde prohledávat váš server, by se měl napřed podívat do souboru robots.txt, zda nemá zakázaný vstup. Soubor robots.txt musí být psán malými písmeny a musí být umístěn v kořeni webu (to jest hned za .cz nebo .com nebo tak). Je to obyčejný texťák. Jednotlivé řádky říkají, který robot (User-agent) kam nesmí (Disallow).

Příklady

čili všichni roboti (to je ta hvězdička) nesmějí do adresáře /php (protože řetězcem "/php/" začíná relativní URL souborů v něm). Nebo:

Takový zápis říká, že Scooter smí všude a Gulliver nikam. Všimněte si povinného prázdného řádku mezi položkami. Nebo:

Tento zápis zakázal všem robotům (hvězdička) vstupovat do adresáře /cgi-bin a načítat stránky, které začínají řetězcem "in". Takže třeba info.html, index.html a podobně. To je mimochodem i přesná definice položky Disallow: zakazuje sledovat cesty, které začínají vypsaným řetězcem.

Všimněte si, že za jedním řádkem User-agent se může vyskytovat více řádků zákazů.

User-agent

Co se tam dá psát kromě hvězdičky? Jméno robota. Žel, nepodobá se jménům služby a já těch jmen moc neznám. Informace se dají najít na stránce http://www.robotstxt.org/wc/active/html/index.html (anglicky), za odkaz děkuji Davidu Moravcovi.

Problémy

Meta robots

Meta tag v hlavičce umožňuje zakázat robotům jednak indexování obsahu, jednak sledování odkazů. Důvody pro takové zákazy mi nejsou moc jasné, ale to neřeším. Ještě musím zmínit, že ne všichni roboti to berou na vědomí.

Je dost otrava, že se to musí psát do každé stránky znova. Naštěstí ne každý se setkává s problémem vlezlých robotů.

Indexování

Čili zpracování dat do databáze. Každý vyhledávač si žvýká nasbírané informace po svém. Nejčastěji si vypisuje všechna slova, počítá jejich váhu a dává je do relace s adresou stránky.

Váha (důležitost)

Při hledání slova vyplivne databáze napřed adresy stánek, na kterých má hledané slovo velkou váhu. Jak se váha počítá? Aneb jak se pozná, zda je slovo pro stránku charakteristické? Především tak, že se vyskytuje v titulku, klíčových slovech, v popisu a v nadpisech.

V tabulce jsem nastínil pouze nejčastější kritéria. Ještě jednou musím zdůraznit, že se různé vyhledávače v počítání váhy opravdu velmi liší. Existují totiž specializovaní roboti, kteří hledají třeba jenom obrázky nebo počet odkazů.

Co vyhledávače sledují	Jak je to v HTML	Důležitost (váha)
titulek	<title>text titulku</title>	obrovská
klíčová slova	<meta name=keywords content="slovo, slovo">	značná
popis (description)	<meta name=description content="Stručný popis">	různá
nadpis 1. úrovně	<H1>Nadpis</h1>	značná
ostatní nadpisy	<Hn>Nadpis</hn>	sporná
začátek stránky	<body>Několik prvních slov ...	větší než malá
adresa URL	jméno souboru včetně cesty	různá
text odkazů mířících na tu stránku z jiného serveru	to většinou neovlivníte	u některých robotů obrovská
alty u obrázků	<img alt="zástupný text" ...>	malá
text stránky	prostě text	malá

Klíčová slova

Velký význam bývá připisován klíčovým slovům (keywords) a popisu (description). Jejich popis mám u meta tagů.

Vyhledávání

Z hlediska autora stránek je vlastní vyhledávací mechanismus nezajímavý. Prostě se dotazuje databáze a vyhazuje to výsledky.

Forma výsledků

Je zajímavé popřemýšlet, jak se moje nalezená stránka zobrazí. Nejčastěji se zobrazuje titulek stránky (obsah tagu <title></title>), pod ním tři různé věci:

Nejčastěji je to právě description. Je dobré jej zadávat. Hlavně je ale třeba mít správně zadaný titulek stránky.

Čeština

Háčky a čárky

Většinou je nutno zadávat dotaz dvakrát. Jednou bez diakritiky, podruhé s ní. Vyskytují-li se navíc ve slově znaky ž, š a ť, je třeba opakovat hledání v jiném kódování. Na českém webu se totiž vyskytují texty ve třech znakových sadách: win, iso a bez diakritiky. Vizte rozdíly kódování.

Roboti ale kódování češtiny ignorují a zapisují slova tak, jak je vidí v ascii kódu. To znamená, že třeba písmenko š si zapíšou jednou jako $185, jindy jako $154.

Proto při vyhledávání vždy kontrolujte, v jakém pracujete kódování (zobrazit - kódování).

Ze stejného důvodu je dobré zadávat klíčová slova nadvakrát -- jednou s a podruhé bez diakritiky. Nebo natřikrát (šžť). Více v popisu meta tagů.

Rozpoznání jazyka

Jak vyhledávače poznají, v jakém jazyce je text? Různě. Mají na to čtyři možné způsoby:

Protože žádná z popsaných metod není spolehlivá (označení jazyka ve většině stránek není, heuristická analýza je pracná), není divu, že se vyhledávače často v rozpoznání jazyka pletou.

Příklady vyhledávačů

Trocha mytologie

Všechno, co jsem psal na této stránce, je do značné míry nejisté. Protože nejsem permanentně připojen na net, nemohu chování vyhledávačů testovat, stejně bych na to neměl čas. Většinu informací jsem někde četl nebo převzal ze specifikací. A v tom je právě problém.

Domnívám se, že každý, kdo popisuje meta tagy a vůbec chování vyhledávačů, také jenom odněkud opisuje, upravuje a přejímá. Obávám se, že skoro nikdo nedělá v oblasti vyhledávačů seriózní výzkum. Ono to také není moc dobře možné, když se musí měsíc čekat, než robot přijde.

Proto jsou informace na této stránce jistým druhem mýtu, který se předává z generace na generaci; pravdivé jádro v něm sice je, ale kdo ví, jak je to opravdu?