Come risolvere i problemi di indicizzazione di Google

Nelle ultime settimane si sono susseguiti svariati bug di Google Search Console nella fase di richiesta di indicizzazione di un url ed in quella di lettura sitemap, in particolare per i domini ospitati su Siteground. Ovviamente, nonostante usassi le Api di Google da un po’, in questa situazione ci sono incappato anche io insieme ai siti di alcuni miei clienti (alcuni dei quali proprio su Siteground). Ho fatto dei test e provato diverse soluzioni ma alla fine ho risolto proprio con l’aiuto del sistema Api Indexing ed ho scoperto qualche settimana fa un utilissimo plugin di Rank Math per facilitare questo processo in WordPress – su suggerimento di Giuseppe Volpe, amico e collega che stimo molto.

Cosa leggerai in questo post?

– Api Indexing di Google, questa sconosciuta
– Instant Api Indexing di Rank Math per WordPress
– Instant Indexing con tool di terze parti per siti droppati
– Aggiornamento e risoluzione problema dei dns Siteground

Ieri, ho scoperto anche che un altro collega seo (Alessandro Cuminetti) ha risolto con lo stesso metodo. Perciò, ho deciso di provare a spiegarvi come mi sono comportato.

Prima di partire, concludo con una nota che chiarisce il motivo per il quale Google ha concepito questa possibilità:

Nota – Dalle linee guida, Google suggerisce di usare il sistema Api Indexing di indicizzazione “esclusivamente” nei casi di contenuti live streaming e job posting (offerte di lavoro). Anche John Mueller lo specifica in questo tweet del 2019: https://twitter.com/johnmu/status/1134829160587812865. Ma, durante i miei test e quelli di altri colleghi, è venuto fuori che funziona con qualsiasi contenuto ed in qualunque sito web spesso (ma non sempre) con risultati ottimi. Perciò, vale la pena provare!

Ora, possiamo iniziare!

Api Indexing di Google, questa sconosciuta

Spesso (ma purtroppo non sempre) il sistema di Api Indexing di Google aiuta a risolvere i problemi di Google Search Console facilitando e, soprattutto, velocizzando la comunicazione tra Google ed il sito web con annessa sitemap (che tenga traccia delle pagine da indicizzare) nel caso in cui un url (pagina, articolo, ecc) necessiti di essere aggiunto o rimosso dai risultati di ricerca (in serp).

Scrivo spesso e non sempre perché nei casi in cui ho testato la soluzione io è andata bene ma non è detto che funzioni anche nel vostro caso (ma spero di si! Anzi, fatemi sapere nei commenti sotto l’articolo come è andata). Detto questo, come si configura l’api?

La configurazione è relativamente semplice. Per prima cosa, bisogna accedere con un account gmail alla console di Google Cloud Platform e creare un nuovo progetto assegnando gli un nome qualsiasi.

Dopodiché, accedi alla Libreria e cerca Indexing Api. Clicca su Abilita e poi crea un Account di Servizio (come si vede al minuto 2:10 del video di Rank Math che trovi nel paragrafo dedicato al plugin). Segui le istruzioni del video inserendo il nome account, la descrizione (io, solitamente, ci scrivo Api Indexing ma ci puoi mettere quello che preferisci) e clicca su Crea e continua. seleziona il ruolo di Proprietario e Continua di nuovo. Clicca su Fatto e copia l’email dell’account di servizio che dovrai aggiungere successivamente come Proprietario Delegato al Google Search Console del sito interessato. Mi raccomando, non dimenticare questo ultimo passaggio altrimenti la tua Api non funzionerà.

Infine, seleziona i tre puntini a destra dell’account di servizio appena creato (come si vede al minuto 2:42 del video sotto), clicca su Gestisci Chiavi – Aggiungi Chiave – Crea Nuova Chiave, seleziona il formato JSON e poi Crea. Il file della chiave generato verrà salvato sul tuo pc. Custodiscilo gelosamente perché se inavvertitamente dovessi cancellarlo o perderlo l’Api Indexing non funzionerebbe più.

Ora, non ti resta che aggiungere la mail dell’account di servizio generata in precedenza fra i proprietari delegati di Google Search Console (minuto 2:57 del video sotto).

Fatto questo, potrai usare la classica Api Indexing di Google che vedi nell’immagine sotto oppure, se hai WordPress, ti consiglio di installare l’utilissimo plugin di Rank Math per l’Istant Indexing.

Instant Api Indexing di Rank Math per WordPress

Questo plugin è stato la scoperta più interessante delle ultime settimane. Una volta installato, ti basterà caricare il file json scaricato dall’Api Indexing di Google e salvare (minuto 4:12 del video).

Dopodiché, potrai richiedere l’indicizzazione istantanea direttamente dal backend di WordPress. Inoltre, come con la classica dashboard dell’Api Indexing di Google, direttamente da questo plugin di Rank Math è possibile richiedere la rimozione istantanea di un url e controllare lo stato delle richieste fatte in precedenza.

Poi, è free. Quindi, wow!

Instant Indexing con tool di terze parti per siti droppati

Quindi, ricapitolando, per usare l’Api Indexing bisogna aggiungere l’account generato dalla console di Google Cloud alle varie Search Console delle quali vogliamo controllare l’indicizzazione o la rimozione (ne basta anche uno solo, l’importante è aggiungerlo come proprietario delegato, altrimenti non funziona).
Però, per chi ha motivi strategici per i quali non gli conviene usare direttamente la Search Console, come si può risolvere il problema dell’indicizzazione che non avviene perché il crawler di Google viene bloccato per qualche strano motivo?

La risposta non è proprio semplice ma ci sono vari tool disponibili online con una spesa minima o free che non sono sempre efficaci ma vale la pena provarli. Due di questi, sono:

omegaindexer.com (consigliato dal collega Max Del Rosso, Seo Link Builder Specialist presso ilmioposizionamento.it);
site-analyzer.pro/services-seo/indexator-browser.

Poi, entrando in profondità, si potrebbero anche tirare fuori tool fatti in casa usando anche le api ma qui andiamo verso un discorso un po’ più complesso…

Aggiornamento sul problema Siteground che bloccava l’accesso alle sitemap

Chi non conosce l’hosting Siteground? Tutti lo conosciamo e molti lo usano (io, personalmente, no ma alcuni clienti si…). In questi giorni, c’è stato un grosso problema che ha fatto rischiare il collasso a diversi siti ma non si riusciva a trovare la causa. In realtà, Siteground aveva cambiato i propri DNS poche settimane prima e sembra che questa azione a distanza di tempo abbia creato difficoltà in Google Search Console dove le sitemap sono improvvisamente andate in errore e la richiesta di indicizzazione non era più possibile eseguirla dalla stessa Search Console.

Infatti, controllando le statistiche di scansione in Google Search Console di uno di questi siti su Siteground, viene confermato il problema dei DNS che bloccano l’accesso al crawler (Googlebot).

Poi, dopo numerose lamentele, l’hosting ha dichiarato che si trattava di un problema suo di rete che bloccava servizio Google Accelerator di Amazon e Google.

Update sul problema relativo ai bot di Google che non riescono a eseguire il crawl di alcuni siti.
È stato riscontrato un problema di rete tra il servizio Google Accelerator di Amazon e Google. Stiamo collaborando con entrambi i Team per risolverlo. Ringraziamo per la pazienza!

— SiteGround Italia (@siteground_it) November 11, 2021

Beh, ce ne eravamo accorti ma dall’esterno le sitemap ed il sito stesso erano raggiungibili…. Infatti, la comunità seo si è attivata per testare varie soluzioni: alcuni che avevano già attiva la cdn hanno risolto direttamente con l’Api Indexing mentre altri hanno dovuto puntare i dns altrove e Search Console si è ripresa.

Ad oggi, il problema principale non è ancora risolto ma si può mettere una pezza cambiando i dns ed attivando la cdn free di Cloudflare.

Personalmente, sull’unico sito hostato su Siteground che seguo, ho combinato le due soluzioni per ottenere il massimo risultato: anche io ho puntato i dns verso una cdn, aspettato la loro propagazione e ripingato con Api Indexing a Google le pagine non indicizzate da scansionare. E, finalmente, anche le pagine che non erano nell’indice da giorni e quelle che stavano sparendo dalle serp sono state indicizzate!

Perché? In effetti, puntando i dns altrove il crawler di Google riesce ad accedere anche alla sitemap e quindi può completare il processo di indicizzazione seguendo le richieste istantanee ricevute dal sistema Api Indexing.

Fonti: