Parsero è un tool open-source scritto in Python che consente di leggere il file Robots.txt di un sito web e analizzare le voci Disallow. Queste voci indicano ai motori di ricerca quali cartelle o file ospitati sul server non devono essere indicizzati. esempio "Disallow: /portal/login" significa che il contenuto presente su www.example.com/portal/login non può essere indicizzato da crawler come Google, Bing, Yahoo... Questo è il modo in cui l'amministratore può evitare di condividere informazioni sensibili o private con i motori di ricerca. In questo modo l'utente può avere maggior controllo su ciò che è condiviso con gli spider di ricerca.
Dipendenze
- python3
- python3-bs4
- python3-urllib3
Esempio
Controlliamo ad esempio le parti indicizzate dell'url ethicalhacking.freeflarum.com:
root@kali:~# parsero -u ethicalhacking.freeflarum.com -sb
____
| _ \ __ _ _ __ ___ ___ _ __ ___
| |_) / _` | '__/ __|/ _ \ '__/ _ \
| __/ (_| | | \__ \ __/ | | (_) |
|_| \__,_|_| |___/\___|_| \___/
Starting Parsero v0.75 (https://github.com/behindthefirewalls/Parsero) at 26/01/23 18:01:43
Parsero scan report for ethicalhacking.freeflarum.com
Disallow: /admin#/
Disallow: /u/
Disallow: /notifications
Conclusioni
In conclusione credo che questo tool sia molto valido per avere un idea delle pagine limitate. Questo tool può essere benissimo sfruttato per scoprire informazioni sensibili o protette su un sito web e individuare eventuali cartelle o file che non sono destinati ad essere indicizzati dai motori di ricerca.
Può essere anche utilizzato per scoprire eventuali vulnerabilità come form di login non protetti o script difettosi quindi attenzione!
