Back to Question Center
0

Semalt Islamabad Expert: els 10 principals rastrejadors i robots web més populars

1 answers:

Hi ha dos tipus de robots a Internet, que s'anomenen bons bots i bots dolents. Heu de prendre mesures serioses contra els robots malament ja que poden consumir l'ample de banda DDN en molt poc temps. A més, els robots negatius o dolents roben el vostre contingut web i ocupen els recursos del servidor. D'altra banda, els bons bons (també anomenats com rastrejadors web) s'han de tractar acuradament ja que ajuden a indexar el vostre lloc web en els resultats del motor de cerca , com ara Bing, Google i Yahoo.

Michael Brown, un expert líder de Semalt , assegura que hi ha centenars a milers de robots i rastrejadors web que circulen per Internet, però els que segueixen són els més populars .

1. GoogleBot

Googlebot és un dels millors i més famosos rastrejadors web fins ara. S'utilitza àmpliament per indexar contingut i articles web per als resultats de cerca de Google. La millor característica de Googlebot és que proporciona als usuaris moltes eines i opcions. Més concretament, Googlebot li diu a Google quines pàgines s'han d'indexar i quines s'han de deixar enrere .

2. Bingbot

Igual que Googlebot, el Bingbot és un popular rastrejador web de Microsoft. Ha estat durant anys i té la intenció d'indexar llocs web als resultats de cerca de Bing. Bingbot és un reemplaçament ideal per al bot MSN. La seva opció més destacada s'anomena Fetch as Bingbot, que està present a les Bing Eines per a administradors web. Aquesta opció us permet sol·licitar pàgines per indexar-les i mostrar-les als resultats de Bing .

3. Slurp Bot

El Bot de Slurp és el rastrejador web de Yahoo, però està activat per Bing. Els llocs web han de permetre que Yahoo Slurp accedeixi a les seves pàgines per aparèixer als resultats de la cerca de Yahoo Mobile. Aquest rastrejador web s'utilitza per recollir contingut dels llocs web associats per incloure's a Yahoo News, Yahoo Sports i Yahoo Finance .

4. DuckDuckBot

El DuckDuckBot és el famós i millor rastrejador web de DuckDuckGo. Aquest motor de cerca és conegut per la seva privadesa i no fa un seguiment d'un usuari sense el seu permís. De mitjana, maneja deu milions de consultes cada dia. El DuckDuckGo rep els resultats de més de més de 400 fonts, incloses diverses fonts verticals que ofereixen respostes relacionades amb Instant Answers, Wikipedia i DuckDuckBot, i també s'encarrega de consultes procedents de fonts com Yandex, Bing i Yahoo .

5. Baiduspider

El Baiduspider és un nom oficial d'un rastrejador o aranya web del motor de cerca xinès. Pot indexar moltes pàgines web cada dia i retorna les actualitzacions del seu índex Baidu. El Baidu és un dels principals motors de cerca xinesos. Compta amb més del vuitanta per cent d'accions dels mercats globals de recerca de la Xina continental.

6. Yandex Bot

El YandexBot és un rastrejador web en particular d'un motor de cerca rus, Yandex. Els mitjans de comunicació afirmen que aquest bot va generar més del 57% de tot el trànsit de motors de cerca a Rússia durant 2015.

7. Sogou Spider

El Sogou Spider és un famós rastrejador web de Sogou.com. Aquest motor de cerca xinès líder va ser llançat el 2004 i té un rang de 103 en Alexa. Cal tenir en compte que l'aranya web de Sogou mai respecta els estàndards d'Internet de robots.txt i està prohibida de diversos llocs a causa del seu exagerat rastreig.

8. Exabot

Aquest rastrejador web és operat per Exalead, un motor de cerca francès. Va ser fundada fa uns anys i compta amb més de setze mil milions de pàgines web indexades en els seus resultats de cerca .

9. Facebook External Hit

El gegant de les xarxes socials, Facebook, permet als seus usuaris compartir vincles interessants amb altres usuaris de Facebook. El Facebook External Hit realitza diverses funcions, inclosa la visualització de diverses imatges, alguns vídeos emocionants i algunes pàgines web. Un dels principals i famosos robots de rastreig és Facebot que ajuda a millorar el rendiment publicitari.

10. Alexa Crawler

Alexa Crawler és operat per Alexa d'Amazon i s'utilitza per indexar dotzenes de pàgines web. Recopila informació sobre els llocs web i els classifica segons les preferències locals i internacionals.

Nota final

Hi ha diversos rastrejadors i bots web, de manera que quan bloquegeu algun lloc web sospitós, assegureu-vos que no bloquegeu els bons bons que indexen les vostres pàgines web als resultats del motor de cerca .

November 30, 2017
Semalt Islamabad Expert: els 10 principals rastrejadors i robots web més populars
Reply