Systèmes web distribués

Crawling et détection de bots

Les systèmes de crawling évoluent dans un environnement technique et réglementaire changeant. Le coût par page, la détection et la qualité des changements doivent être mesurés ensemble.

Les contraintes qui façonnent ces systèmes

• Les parcs de navigateurs headless consomment beaucoup de calcul et de mémoire
• La détection et les contre-mesures changent sans préavis
• Un chargement réussi n’est pas toujours une observation correcte
• Les limites juridiques et éthiques doivent être appliquées dans le système
• Les reprises et la planification déterminent le coût par page utile

L’expérience de Blobb dans ce secteur

Blobb a travaillé avec un SaaS de surveillance de changements web et possède une expérience des parcs de navigateurs distribués, des chaînes d’extraction, du contrôle des coûts et de la détection de bots.

Constats courants

• Les reprises augmentent le coût sans améliorer la couverture utile
• Le travail du navigateur n’est pas séparé des parcours de chargement moins coûteux
• La réponse à la détection reste manuelle
• La qualité du changement manque d’un niveau de référence stable

Une évaluation indépendante est souvent un bon point de départ ; elle peut prendre la forme d’un audit d’architecture complet ou d’une revue ciblée. Travaux liés : optimisation des performances, cloud et sur site et audit de plateforme mobile.