Cosa sono i Crawler? Un crawler è un programma per computer che cerca automaticamente i documenti sul Web, infatti sono programmati principalmente per azioni ripetitive in modo che la navigazione sia automatizzata.
I motori di ricerca utilizzano i crawler più frequentemente per navigare in Internet e creare un indice, mentre altri cercano diversi tipi di informazioni come feed RSS e indirizzi e-mail. Il termine crawler deriva dal primo motore di ricerca su Internet: il Web Crawler, infatti il più noto è Googlebot. Tuttavia, viene anche detto “Bot” o “Spider”.
GOOGLE BOT
Googlebot è un software di web crawler utilizzato da Google, che raccoglie documenti dal web per creare un indice ricercabile per i motori di ricerca di Google. Tuttavia, questo nome è in realtà usato per riferirsi a due diversi tipi di Spider:
- Desktop spider, che emula un utente su un computer
- Mobile spider, che si rivolge invece ad un utente su mobile
COME FUNZIONA UN CRAWLER
Un bot cerca informazioni sul Web, che assegna a determinate categorie, infatti le indicizza e le cataloga in modo che le informazioni sottoposte a scansione siano recuperabili e possano essere valutate. È sempre alla ricerca di link individuabili sulle pagine e lo annota una volta comprese le caratteristiche, tuttavia i crawler di siti web possono solo setacciare le pagine pubbliche sui siti web. I bot, mentre sono sulla pagina, raccolgono informazioni sulla pagina come i tag copy e meta, infatti memorizzano le pagine nell’indice, quindi l’algoritmo di Google può ordinarle per le loro parole contenute per recuperarle e classificarle in seguito per gli utenti.
CRAWLER E SEO
SEO richiede che le pagine siano raggiungibili e leggibili per i bot, infatti la scansione è il primo modo con cui i motori di ricerca bloccano le pagine. Poiché la scansione va oltre l’inizio della campagna SEO, si può considerare il comportamento del web crawler come una misura proattiva per aiutarti a comparire nei risultati di ricerca e migliorare l’esperienza dell’utente.
