Come indicizzare una pagina web in pochi e rapidi passaggi

Quali sono le cose che dobbiamo assolutamente sapere per indicizzare al meglio il nostro sito o pagina web? Ci sono dei parametri che più di altri influenzano il risultato? E come fare per riconoscere e correggere eventuali errori?

Indicizzazione e posizionamento di un sito o pagina web, due concetti distinti del processo con cui Google e gli altri motori di ricerca classificano il nostro sito e lo mostrano agli utenti nelle SERP, e soprattutto due concetti che, soprattutto all’inizio, è possibile confondere. Questo accade perché i fattori SEO che influenzano indicizzazione e posizionamento sono per lo più comuni, ovvero valgono per entrambi (salvo alcune eccezioni).

Per prima cosa è dunque importante avere chiaro che cosa si intenda per posizionamento (se ne parla qui) e indicizzazione di un sito o pagina web, ed in questo articolo scopriremo come capire se il nostro sito web sia ben indicizzato, cioè se tutte le pagine del nostro sito web siano ben visibili da Google ed altri motori di ricerca, se siano scritte bene ed in modo tale che Google possa “leggerle”, interpretarle. Un sito web, anche il più basico e piccolo, sarà comunque composto da più pagine, ciascuna distribuita in categorie e sotto-categorie, e facilmente (se siamo stati bravi) navigabile dagli utenti tramite una sitemap ben scritta, ed una struttura di link interni ben studiata, che permetta agli utenti di arrivare a ciò che cerca (che sia un acquisto, o una ricerca di informazioni) in pochi passaggi, non più di due-tre click.

Bene, anche il sito web più piccolo necessita un’indicizzazione ottimale di ogni sua pagina. Pena, l’invisibilità assoluta sui motori di ricerca della pagina stessa, zero traffico organico per la pagina, ed una penalizzazione globale per il nostro sito.

Come indicizzare le pagine di un sito web: cos’è l’indicizzazione?

Il processo che porta un sito web a comparire a seguito di una SERP su di un motore di ricerca si può suddividere grossolanamente in tre fasi distinte: scansione, indicizzazione e posizionamento (crawling, indexing, ranking). La prima fase – la scansione – è un processo continuo con cui Google e gli altri motori di ricerca leggono i contenuti (le pagine) di un sito web, navigando attraverso i suoi codici di scrittura tramite gli spider o crawler, saltando da un sito all’altro attraverso i loro link esterni, e raccogliendo le informazioni potenzialmente utili alla ricerca degli utenti su ogni pagina visitata.

Nella seconda fase, l’indicizzazione, i motori di ricerca sfruttano la struttura, la sitemap di ogni sito per indicizzare ogni sua pagina, per indicizzarne il suo contenuto.

Un sito web si dice indicizzato quando tutte le sue pagine web sono presenti all’interno degli indici di Google e degli altri principali motori di ricerca. Il processo di indicizzazione di un sito web è il metodo con cui tutti i contenuti di un sito vanno ad indicizzarsi, ovvero ad inserirsi nel database di un motore di ricerca, in modo tale che (e qui entra in gioco il posizionamento) il motore di ricerca possa proporle all’utente che effettua una query (ricerca). La qualità dell’indicizzazione di un sito web è data dal numero di pagine indicizzate, e se tutte le pagine del nostro sito sono presenti nei motori di ricerca, allora possiamo dire di avere un’indicizzazione completa, un bel 100% di indicizzazione web.

I fattori che influenzano, e decidono dell’indicizzazione di un sito web sono i fattori di scrittura on-page (o on-site) del sito: sitemap, URL SEO friendly – URL dalla struttura breve e chiara, che rimarchino ad esempio la struttura del sito ed il percorso della pagina – la velocità di risposta del server su cui il sito è caricato, la qualità degli outbound link (link in uscita dal sito e verso altri siti), e la presenza di file robot.txt (delle automatizzazioni con cui ad esempio evitare di indicizzare file o cartelle che non ci interessano).

Con indicizzazione di un sito web si intende dunque l’organizzazione dei contenuti del sito, un’organizzazione che va eseguita in modo chiaro, coerente e logico, senza “nodi” ed errori nella scrittura che possano impedire ai motori di ricerca di leggerli velocemente tramite gli spider, durante il primo processo di scansione di ogni pagina del nostro sito. Indicizzazione e posizionamento sono dunque due fasi diverse del processo con cui un motore di ricerca riconosce, legge e propone agli utenti un sito web. Due momenti diversi, distinti tra loro ma da tenere a mente sin dal primo momento, quando si va a progettare un sito web.

Come ottenere un’indicizzazione perfetta del tuo sito o pagina web

Il nostro obiettivo sarà dunque quello di avere un sito web perfettamente indicizzato, o indicizzato al 100%. Non vogliamo che alcune delle sue pagine, magari proprio le più importanti come le nostre landing page risultino invisibili, e se in fase di scrittura del nostro sito saremo stati bravi, questo non accadrà.

Indicizzazione web: riconoscere gli errori

Per accertarsi che ogni pagina sia effettivamente indicizzata, quindi letta da Google altri motori di ricerca, dobbiamo però verificare. Come? Controllando con Google Search Console il rapporto di copertura dell’indice del nostro sito (Google index coverage report). Inserendo in Google Search Control l’url del nostro sito, il tool ci fornirà un rapporto sullo status di ogni url di ogni pagina, raggruppati per status, e segnalandoci eventuali errori e momento in cui questi siano comparsi. Ciò di cui dobbiamo andare in cerca è la quantità di pagine indicizzate nel sito, e valutarne la crescita progressiva (man mano che produciamo contenuti, aggiungiamo pagine al sito).

Report di Google Search Console sull’indicizzazione di una sito web

Così facendo abbiamo notato degli errori su pagine importanti? Ci aspettavamo di trovare più pagine indicizzate? I motivi potrebbero essere molteplici. Ad esempio, in fase di scrittura potremmo aver utilizzato un file robot.txt in un url che in realtà non lo richiedeva e che fa si che la pagina non venga riconosciuta e indicizzata. O ancora, tante pagine potrebbero essere riconosciute da Google o altro motore di ricerca come un duplicato di altra pagina che è invece indicizzata, oppure in caso di contenuti (pagine) nuovi, Google potrebbe aver bisogno di alcuni giorni di tempo per leggere e interpretarli, e quindi fornirli nel rapporto: l’indicizzazione non è mai immediata. Come detto, il tool ci fornirà la natura dell’errore (errore-avviso-esclusa), ed in tal caso potremo andare ad agire per correggere ogni errore grave (quelli che Google chiama “di maggiore impatto”) che impedisce l’indicizzazione di una pagina.

Le tipologie di errore che Google Search Console può fornirci sono molteplici. Google possiede una pagina dettagliata di FAQ davvero utile per orientarsi nell’uso di Google Search Console, e di casistiche ricorrenti nella user experience. Saper comprendere il rapporto che il tool ci fornisce è importante per guadagnare tempo nella correzione di eventuali errori

Migliorare l’indicizzazione di una pagina web tramite i link interni

Abbiamo detto che i motori di ricerca usano gli spider (crawler) per analizzare in fase di scansione tutte le pagine del nostro sito, usando sitemap e link interni per muoversi. Parlando di link interni, un buon principio per aumentare l’autorevolezza (authority) di ogni pagina è trasferirla e distribuirla in ogni nostra pagina!

Come fare? Possiamo ad esempio sfruttare le nostre pagine con maggiore authority per mandare da queste un link interno ad una pagina che abbia bisogno di una “spintarella”, da ogni punto di vista: così facendo aumenteremo la reputazione della pagina raggiunta dal link, ed al contempo potremo aumentare il traffico verso la pagina deviando (o meglio indirizzando) una parte del traffico della nostra pagina più popolare. Come sempre quando si parla di SEO e ottimizzazione, bisogna tenere ben presente che i link ipertestuali – sia interni che esterni – devono essere coerenti, omogenei e correlati: non facciamo saltare l’utente di palo in frasca solo per aumentare il traffico inter-pagina, non funzionerà!

A livello visivo, per fissare tale concetto, immaginiamo un sito indicizzato come un archivio cartaceo a cartelle in un cassetto: guardandolo dall’alto, vedremo le cartelle tutte in fila, magari per ordine alfabetico o cronologico (indicizzato, appunto), e dobbiamo immaginare i link interni come un filo invisibile che tenga unite tutte le cartelle. Ora, immaginiamo di stendere ogni cartella dell’archivio sulla nostra scrivania: vedremo come i fili (i link) tengono unite le cartelle che desideriamo siano collegate, per cui navigabili avanti e indietro per gli utenti.

Non tutti i link, sia inbound che outbound, forniscono authority (perlomeno diretta) ad un sito: è il caso di link “nofollow” come ad esempio quelli di Wikipedia. In ogni caso, se la fonte è autorevole, meglio averli che non averli!

Pagine inutili? Blocchiamole

Non diamo troppa strada da fare allo spider, diamo una struttura il più essenziale possibile e soprattutto il più verticale possibile alla nostra sitemap. Con una pratica di controllo periodico del livello di indicizzazione del nostro sito web, andiamo a bloccare le pagine inutili, quelle che allungano la strada ai crawler e che possano mandare fuori strada l’utente. Lo possiamo fare con i link interni, che indirizzeremo a dovere e non a caso, ma anche con degli accorgimenti tecnici.

• In sede di scrittura del sito, scriviamo come NON INDEX quelle pagine che sono importanti per l’utente ma non per Google (ad esempio delle landing page sponsorizzate con pay to click)
• Con il file robot.txt, per non indicizzare contenuti che non valga la pena indicizzare (immagini, cartelle) ma che comunque l’utente può visitare e che hanno (e fanno) traffico
• Tutte le pagine che segnano l’errore 301 (URL redirection), verso però cui esistono ancora dei link in entrata
• Tutte le pagine che segnano l’errore 404 (not found) contenuto cancellato, non più esistente

Come Google scansiona un sito web…

Come visto, non basta creare una pagina, anche curando a dovere i suoi meta-tag e posizionandola alla perfezione: se questa non è integrata al meglio nella sitemap del nostro sito, non si indicizzerà. Dobbiamo capire quali siano le pagine davvero importanti per il nostro sito, quelle su cui vogliamo che i nostri utenti arrivino, e dobbiamo fare in modo che queste si indicizzino bene, altrimenti l’indicizzazione di tutto il nostro sito ne risentirà.

Come fare per sapere se la nostra pagina top si è indicizzata nella sitemap? Ancora una volta, con Google Search Console controlliamo lo status di ogni pagina: se dovete apporre dei correttivi e usate WordPress (e siete admin), Yoast fa al caso vostro.

Nota bene: Un sito potrebbe essere indicizzato benissimo ma mal posizionato e non apparire mai nelle prime pagine di ricerca! Ovviamente affinché si possa parlare di posizionamento è indispensabile che il sito venga prima indicizzato (un sito non indicizzato, ovviamente, non può essere posizionato).

Come indicizzare una pagina web? Condividetela!

Condividere i post sui social network è ormai cosa di tutti i giorni, e per chi fa marketing anche utilizzando i social (Facebook Ads ad esempio: consultate qui la guida non plus ultra) anche condividere le landing page del proprio sito lo è.

Quale social network utilizzare per sfruttare il processo di indicizzazione di Google? Fate una semplice ricerca su qualche contenuto di vostra scelta chi vi aspettereste si trovare su un social network: cosa troverete per primo? Twitter è spesso il primo della classe, YouTube non è da meno (dipende dal campo in cui stiamo operando).

Allo stesso modo, condividere le nostre pagine bersaglio su siti ad altissimo volume di traffico, e su post e topic inerenti, è un ottimo strumento di indicizzazione: Reddit e Quora (da un paio d’anni anche in italiano) i due esempi classici. Un post ben calibrato, che possa correre in aiuto di un utente, che vi darà poi un feedback positivo ed inviterà altri con gli stessi dubbi a consultarlo potrebbe portare tantissimo traffico ed aiutare nell’indicizzazione.

Un metodo veloce, anche se un po’ naif può essere quello di usare un ping per far sapere ai motori di ricerca di aggiornamenti recenti nella sitemap del nostro sito: con un ping richiederemo a Google una nuova scansione del nostro sito, lo “stimoleremo” (da qui la terminologia “ping” derivata dai sonar) a scansionare e leggere i nuovi contenti, soprattutto se questi riguardano pochi elementi.

…e come Google indicizza un sito web!

Per te che sei arrivato fino a qui, ti regalo una prima consulenza personale gratuita, compila il modulo qui sotto per sfruttarla!