¿Qué es el web scraping y para qué sirve?

Web scraping, es el acto de interactuar con un sitio web o servicio y recopilar información específica. La herramienta presenta los datos recolectados de la manera más adecuada a la necesidad de quienes lo programaron. ESET, compañía líder en detección proactiva de amenazas, explica cómo funciona y comparte consejos de seguridad para utilizarlo.

Por ejemplo, si alguien necesita obtener el valor de cotización en dólares diariamente a una hora determinada: para obtener esta información basta con ir a un sitio web oficial que tenga cotizaciones de monedas extranjeras o consultar en algún buscador, como Google. Ahora, si además es necesaria la información de 14 monedas extranjeras más y 9 criptomonedas específicas. El web scraping es útil para optimizar el proceso de búsqueda y, con uno o dos clics, recopilar toda la información posible.

Cualquier usuario puede realizar web scraping porque es un sistema automático que accede a un sitio web para “ver” una información, sin embargo, según ESET hay dos puntos importantes a tener en cuenta:

 Los delincuentes utilizan el web scraping para configurar bases de datos con fines de intercambio/venta: Como toda herramienta, sea digital o no, el destino dado a su uso dependerá única y exclusivamente de quién la esté utilizando. Puede ser útil para ayudar a un banco a obtener información sobre cotizaciones de divisas. Por otro lado, en el caso de un uso malicioso, se puede utilizar para automatizar la recopilación de información de personas, para luego almacenar los datos en un archivo que eventualmente se venderá o intercambiará en foros de la Deep o Dark Web.

“Un caso ejemplo de su utilización sucedió hace algún tiempo cuando una gran tienda hizo una promoción en la que solicitó los datos de registro de sus clientes, pero la página tenía pública la información. Los delincuentes analizaron este sitio y encontraron que también era posible ver esta misma página con los datos de otros clientes, con esta información en la mano fue posible crear un raspador que la recopile y almacene. Varias filtraciones de las que tenemos noticias se llevan a cabo mediante el uso de web scraping, pero el uso también puede ser no malicioso. Para que una colección de información no tenga características maliciosas, es interesante entender cómo darle forma.”, menciona Camilo Gutiérrez Amaya, Jefe del Laboratorio de Investigación de ESET Latinoamérica.

 Riesgo DDoS -denegación de servicio- : Las soluciones de web scraping a través de la línea de comandos tienden a obtener información más rápido, pero si no se parametrizan correctamente, pueden generar una cantidad tan grande de solicitudes que pueden interpretarse como un ataque DDoS y haber un bloqueo temporal o permanente de la IP que está escaneando.

Dependiendo de los sistemas de protección del sitio, la IP de origen puede colocarse en una lista negra y otros sitios pueden rechazar conexiones de la fuente que inició el web scraping.

Si se desea aventurarse en los estudios sobre raspado de datos, puede ser útil aprender a ajustar el número de peticiones por segundo, cuántos segundos de intervalo habrá entre una petición y otra, si existe la posibilidad de cambiar el cliente web que se enviará en las peticiones y configurar un número máximo de recopilación de información para que, si se alcanza este número, se interrumpa el proceso de scraping.