Crawl Small et efficace HTTP Crawler
Télécharger maintenant

Crawl Classement & Résumé

Crawl Mots clés

analyser chenille crawl robot d'exploration http chenille crawl http

Crawl La description

Crawler HTTP petit et efficace L'utilitaire crawl commence une première trershavation de profondeur de la bande aux URL spécifiées. Il stocke toutes les images JPEG correspondant aux contraintes configurées. Crawl est assez rapide et permet une résiliation gracieuse. Après la résiliation, il est possible de le redémarrer exactement au même endroit où il a été résilié. Crawl conserve une base de données persistante qui permet à plusieurs crawls sans revoir sites.crawl ne contient que quelques milliers de lignes de code, ce qui le rend assez facile à personnaliser et à déboguer. Note: Crawl est autorisé et distribué sous les termes de la licence BSD. Voici quelques caractéristiques essentielles de "crawl": · Enregistre des images rencontrées ou d'autres types de médias · Sélection des médias basée sur des expressions et des contraintes de taille régulières · Reprendre le crawnal précédent après une résiliation gracieuse · Base de données persistante des URL visitées · Code très petit et efficace · Recherches asynchrones DNS · Prend en charge des robots.txt Exigences: · Libevent

Crawl Logiciels associés