Protéger votre site des robots

Les robots (« bots ») constituent un problème croissant : ils représentent désormais la majeure partie du trafic Internet, et cette tendance est également observable sur les sites web PhotoDeck.

Certains bots sont tout à fait légitimes et se comportent correctement (comme Googlebot). D’autres sont semi-légitimes (leur objectif n’est pas clair, mais ils proviennent d’une grande entreprise) et/ou saturent les serveurs de manière irresponsable (Facebook et Amazon, on vous regarde !). Beaucoup sont carrément illégitimes : ils recherchent des failles de sécurité ou scrapent agressivement des pages à des fins inconnues - certains botnets exploitent des millions d’appareils grand public piratés pour parcourir Internet.

Afin de protéger les sites web de nos membres contre ces abus, nous avons donc pris de nouvelles mesures pour les combattre — sans imposer aux utilisateurs légitimes de passer par ces redoutables captchas, et sans gêner les robots d’indexation légitimes comme celui de Google.

La mesure visible est la nouvelle page de « vérification de sécurité » que vous avez peut-être déjà remarquée sur votre site, similaire à celle que vous avez vue sur d’autres sites. Elle comprend un défi caché qui est automatiquement et rapidement résolu par le navigateur d’un visiteur légitime, mais pas par les robots basiques. Une fois cette page passée, le visiteur peut naviguer librement sans voir réapparaître cette protection.

Nous déployons progressivement cette protection, en nous concentrant dans un premier temps sur les pages les plus sensibles (connexion, contact, etc.) et sur le trafic provenant de régions où les bots sont nombreux, mais elle s’appliquera à tous les visiteurs et à toutes les pages d’ici quelques semaines.

Les résultats sont déjà spectaculaires : le trafic généré par les bots sur les sites PhotoDeck a chuté de manière drastique (certains membres remarqueront peut-être ce changement dans les statistiques que nous fournissons), sans pour autant affecter les utilisateurs légitimes.

Cette protection, ainsi que les autres que nous avons mises en place, continueront d’évoluer. C’est un jeu du chat et de la souris : les créateurs de robots apprennent au fil du temps à contourner les barrières, ce qui nous oblige à en inventer de nouvelles.

Nous restons sur le coup !