Vladimir interessante, il web scraping può essere usato per vari scopi, principalmente benevoli, ad esempio l'analisi di un sito web tramite Screaming Frog; avere un rapido riepilogo delle pagine del sito web analizzate (meta tag, dimensione, immagini, crawl-depth, ecc) e capire dove/come ottimizzare. Allo stesso modo, avevo scritto proprio una discussione Screaming Frog per l'hacking: in breve, scansionando un sito web posso trovare pagine come immagini, PDF molto pesanti, diversi MB: inviando la richiesta al server per quella risorsa, viene consumata una certa banda di connessione, quindi farlo su grande scala, magari con una Botnet, diventa uno strumento più efficace rispetto ad un classico DDoS brute-force basato sul ping (l'esempio che faccio io, per rendere l'idea: <<vuoi abbattere un castello, se non bastano 1000 arcieri chiami 10000 arcieri o 100000, oppure in alternativa scegli di posizionare alcuni cannoni, questa strada è più efficace>>).
Entro certi limiti, esistono metodi per cui il sito web può difendersi (blocco del numero di richieste, IP, blocco di specifici crawler, ecc).
