Google consiglia HTTP 304 per salvare crawl budget
Dal sito ufficiale developers.google.com, vediamo un aggiornamento alla documentazione. Google stessa, specifica dei consigli, in particolare rivolti a (citando l'articolo):
- Large sites (1 million+ unique pages) with content that changes moderately often (once a week)
- Medium or larger sites (10,000+ unique pages) with very rapidly changing content (daily)
- Sites with a large portion of their total URLs classified by Search Console as Discovered - currently not indexed
Abbiamo noto il concetto di crawl budget, le risorse che il crawler di Google (analogamente Bing, ecc) deve spendere per scansionare il nostro sito, per vedere se ci sono aggiornamenti nelle varie pagine. Dunque lo Status Code 304, anziché il classico 200 di default, in pratica indica "non serve che scarichi questa pagina, ti confermo che è rimasta uguale all'ultima volta".
Il tasso di scansione del nostro sito dipende da vari fattori, in primis l'autorevolezza che Google ci attribuisce e la frequenza di aggiornamento media delle nostre pagine (se il crawler si aspetta frequenti aggiornamenti - es. una testata giornalistica onine - è più propenso a scansionare per indicizzare e posizionare le pagine).
Un aspetto importante è che il crawl budget si intende complessivo: se Google consuma molte risorse per scansionare le immagini (Googlebot-Image), la capacità complessiva viene ridotta (es. Googlebot classico per l'analisi delle pagine web), ciò che conta appunto è il consumo totale.
Nello specifico, Google suggerisce di usare la cache per lo Status Code 304 (esistono molti modi per implementare un codice di stato, es. nel caso di un HTTP 301, Redirect permanente, conviene invece modificare il file .htaccess con la seguente regola: Redirect 301 /vecchia-pagina.html https://www.tuosito.it/nuova-pagina.html):
Use HTTP caching: Support 304 (Not Modified) HTTP status codes. If a page hasn’t changed since Google last crawled it, returning a 304 code tells Google to reuse the cached version, saving your server bandwidth and resources.
In conclusione, ottimizzare il crawl budget non è solo una questione tecnica, ma una strategia fondamentale per garantire che le risorse del crawler siano destinate a ciò che conta davvero: l'indicizzazione dei contenuti nuovi o modificati. Implementare correttamente il 304 permette di "risparmiare" energia al bot, assicurandogli di non sprecare tempo, risorse su pagine statiche e di focalizzarsi sull'esplorazione e l'aggiornamento del sito con la massima efficienza.
