Web Crawler .

Web Crawler, po slovensky webový prehľadávač alebo pavúk (anglicky aj spider či bot), je automatizovaný program, ktorý systematicky prechádza internet, navštevuje webové stránky a zbiera o nich informácie. Tieto údaje následne ukladá do databázy, aby ich vyhľadávače ako Google, Bing alebo Seznam mohli použiť pri zobrazovaní výsledkov vyhľadávania.

Ako web crawler funguje

Crawler funguje ako neúnavný knihovník v obrovskej knižnici (internete). Prechádza jednotlivé webové stránky, číta ich obsah, sleduje odkazy na ďalšie podstránky a všetky informácie zapisuje do centrálnej databázy vyhľadávača. Tento proces sa nazýva indexovanie a vďaka nemu vyhľadávač presne vie, čo sa na danom webe nachádza, keď naň niekto zadá súvisiaci dopyt.

Príklad z praxe

Keď firma na e-shope zverejní nový produkt, napríklad „bambusovú zubnú kefku“, Googlebot (najznámejší crawler od Googlu) stránku skôr či neskôr nájde, prejde ju, prečíta texty a obrázky a zaradí ju do svojho indexu. Keď potom niekto do vyhľadávača zadá výraz „bambusová zubná kefka“, Google môže danú stránku zobraziť medzi výsledkami.

Najznámejšie web crawlery

• Googlebot – crawler od Googlu.
• Bingbot – crawler od Microsoft Bing.
• SeznamBot – pre vyhľadávač Seznam.
• AhrefsBot, SemrushBot – crawlery SEO nástrojov analyzujúcich stránky pre marketérov.

Prečo je web crawler dôležitý

Bez crawlerov by vyhľadávače nevedeli objaviť nové stránky ani zmeny na existujúcom webe, takže by sa daná stránka vo výsledkoch vyhľadávania vôbec nezobrazovala. Crawler je teda prvým nevyhnutným krokom k tomu, aby web získaval organickú návštevnosť.

Hlavné výhody a súvisiace benefity

• Viditeľnosť vo vyhľadávačoch – bez crawlera by web v podstate „neexistoval“ pre Google.
• Rýchlejšie zobrazenie nového obsahu vo výsledkoch vyhľadávania.
• Lepšie pozície v SEO, ak je web rýchly a technicky bezchybný – crawler má obmedzený čas na prehliadanie webu (tzv. crawl budget) a čím rýchlejší web, tým viac stránok stihne spracovať.
• Možnosť kontroly, ktoré časti webu má crawler ignorovať (napríklad pomocou súboru robots.txt), napríklad košík alebo administráciu.
• Odhalenie technických chýb, ako sú nefunkčné odkazy (chyby 404), napríklad cez nástroj Google Search Console.

Tip na záver

Na uľahčenie práce crawlerov sa odporúča mať na webe súbor sitemap.xml, akúsi „mapu webu“, ktorá crawlerovi ukáže, kadiaľ má pri prehľadávaní stránky ísť, aby nič dôležité neprehliadol.

Zhrnutie

Web crawler je automatizovaný program, ktorý prechádza a indexuje obsah internetu pre potreby vyhľadávačov. Je základným predpokladom toho, aby sa akákoľvek webová stránka vôbec mohla zobraziť vo výsledkoch vyhľadávania, a preto je jeho pochopenie kľúčové aj pre SEO a organický marketing.