Come Bloccare i Referral Spam in Google Analytics

Chiunque usi Google Analytics per monitorare il trafficodel proprio sito web avrà sicuramente notato un aumento di visite provenienti da siti strani e di non chiara natura, quali ad esempio ilovevitaly.com, darodar.com, priceg.com, blackhatworth.com, o-o-6-o-o.com ed altri domini dai nomi attraenti come una gomma appiccicata sotto una scarpa…

Il problema della manipolazione dei dati da parte dei Referral Spambot sta crescendo e la blacklist aumenta ogni giorno che passa. Nell’immagine di seguito per esempio vediamo la presenza di visite da referral spam (ottenuta andando nella sezione acquisizione -> tutto il traffico -> referral)

Differenza tra Ghost Referrals e Spam Bot Crawlers

Prima di tutto cerchiamo di capire la differenza tra Ghost Referrals e  Spam Bots.

I primi sono riconducibili a manipolazioni di Google Analytics e non richiedono una visita diretta al sito. Per effettuare queste manipolazioni e creare dei dati fasulli in GA (leggi Google Analytics) è sufficiente conoscere l’UA di un account GA (ossia l’id utilizzato da Google Analytics per associare dei dati ad un particolare account). Inviando dei dati al sito di analytics in modo opportuno è possibile manipolarne i dati anche senza effettuare una particolare visita sul sito.  Provare per credere: visita il seguente sito per fere un test (http://veithen.github.io/2015/01/21/referrer-spam/).

Risulta chiaro che quindi in questo caso bloccare l’accesso tramite ad esempio htaccess non avrebbe alcun effetto, non essendoci stato in questo caso nessun accesso diretto al sito. In questo caso l’approccio corretto è quindi quello di filtrare i dati generati in questo modo con dei filtri personalizzati in Google Analytics.

Bloccare i Ghost Referrals in Google Analytics? Scopri come usare i filtri personalizzati

Gli Spam Bot non sono altro che software disegnati e realizzati per visitare le pagine web, navigando da una pagina all’altra e da un sito all’altro tramite i link. In questo caso, al contrario dei ghost referral di cui sopra, abbiamo invece un accesso diretto al sito con conseguenza registrazione dei dati di visita in Google Analytics. Non tutti i BOT hanno intenzioni malevoli, occorre cercare di capire quali di queste attività vengono fatte con ‘buone intenzioni’ e quali con attenzioni meno positive.

Ad esempio, Google utilizza i suoi BOT (denominato googlebot) per scansionare la rete e tenere aggiornato il proprio indice, attività indispensabile per fornire i risultati di ricerca agli utenti che usano il motore di ricerca.

Tuttavia esistono BOT che operano, sempre in modalità automatica e simile a Google, ma con intenzioni sicuramente meno piacevoli. Tra cui:

• copiare il contenuto dei siti web per fini di plagio e generare contenuti automatici
• cercare dettagli personali, quali sistemi di pagamento, riferimenti a conti, etc.
• cercare indirizzi email per alimentare liste di spam
• cercare vulnerabilità per hacker e malintenzionati
• effettuare spam, compilando moduli e sfruttando le vulnerabilità dei siti e dei moduli online per inoltrare comunicazioni

Accanto alle attività di cui sopra, negli ultimi anni sono nati e sono in forte aumento dei servizi automatici il cui unico scopo (sembrerebbe) è quello di

• generare traffico anomalo verso un sito per compromettere i dati statistici
• generare backlinks automatici per aumentare l’indicizzazione di siti di terze parti
• nascondere gli header reali mentre si compiono attività malevoli, quali quelle citate sopra
• fornire indicazioni errate a Google sulla popolarità di siti di terze parti
• creare traffico verso i siti spam, sfruttando i click di chi visualizza i dati di Google Analytics

Queste visite oltre ad essere di poco o nessun valore per il nostro sito, possono avere la conseguenza di compromettere alcune metriche importanti, quali alti tassi di rimbalzo e altre metriche di utilizzo (numero di pagine viste per sessione, tempo sulla pagina, pagine uscita, etc) con la conseguenza di invalidare i dati sul traffico in modo significativo. Nel corso degli anni, gli bot spam di riferimento sono diventati abbastanza sofisticati e ne vengono creati nuovi e più sofisticati ogni giorno, rendendo il lavoro di pulizia dei dati noioso e ripetitivo.

Come Bloccare gli Spam Referral in Google Analytics

Abbiamo visto che quindi i tipi di spam sono due, i primi sono i ghost referral (ossia i referral fantasmi relativi a visite non reali ma solamente simulate) mentre i secondi sono visite di crawlers.

Le tecniche per bloccare questo tipo di traffico sono essenzialmente due:

• bloccare i crawler degli spam bot attraverso un uso di .htaccess
• bloccare i ghost referral la manipolazione dei dati in Google Analytics attraverso l’uso dei filtri che lo strumento mette a disposizione

Di seguito descriviamo brevemente queste due tecniche.

Bloccare i Crawler dei Spam Referral Bot con .htaccess

Il file .htaccess può implementare moltissime funzioni, tra cui bloccare accesso al sito tramite autenticazione .htpassword, implementare dei redirect, configurare il motore di rewriting per la generazione url in modalità search engine friendly. Tra le altre cose è possibile, tramite htaccess, bloccare l’accesso al sito di traffico proveniente da uno specifico referral. Per un elenco completo di tutte le caratteristiche del file htaccess visitare qui: https://httpd.apache.org/docs/2.2/howto/htaccess/.

Stop agli Spam Bot! Ecco come usare .htaccess per bloccare i crawler degli Spam Bot

La regola da implementare sfrutta il motore di rewriting, ossia la riscrittura dell’url basato su regole specifiche. La regola da implementare ha il seguente formato

RewriteEngine on
RewriteCond %{HTTP_REFERER} dominio-da-bloccare.ext [NC]
RewriteRule .* – [F]

La direttiva inizia con

RewriteEngine on

che indica di attivare il modulo. Nel caso sia già presente nel vostro htaccess, non occorre ripeterla e basta inserire il resto sotto. L’opzione [NC] indica che la regola non è case sensitive.
Nel caso siano presenti più condizioni occorre aggiungere l’operatore logico OR e quindi la regola diventa

RewriteEngine on
RewriteCond %{HTTP_REFERER} dominio-da-bloccare.ext [NC,OR]
RewriteCond %{HTTP_REFERER} altro-dominio-da-bloccare.ext [NC]
RewriteRule .* – [F]

Per maggiori dettagli http://httpd.apache.org/docs/current/mod/mod_rewrite/

Bloccare gli Spam Referral con Filtri in Google Analytics

È possibile bloccare la manipolazione dei dati Google Analytics da parte dei ghost referral utilizzando i filtri per bloccare gli host name sospetti. Tuttavia segnaliamo che questa tecnica potrebbe creare qualche problema di campionamento dei dati in GA (per approfondimenti, leggi https://www.optimizesmart.com/improve-accuracy-google-analytics-reports).

La soluzione migliore appare oggi quella di creare dei filtri personalizzati. attraverso il pannello ‘Tutti i filtri’ presente nella gestione Account in Google Analytics.

Per aggiungere un filtro personalizzato in Google Analytics procedere quindi con:

1. entrare nella sezione amministrazione del vostro pannello di controllo in Google Analytics
2. selezionare ‘tutti i filtri’

   

3. cliccare su ‘aggiungi filtro’
4. definire un nome per il filtro (a piacere)
5. cliccare su ‘tipo filtro’ e scegliere ‘personalizzato’ in campo filtro
6. scegliere ‘sorgente campagna’ nel campo ‘pattern filtro’
7. indicare le sorgenti che si vogliono escludere con la seguente sintassi:

   darodar.|semalt.|buttons-for-website|blackhatworth|ilovevitaly|prodvigator|cenokos.|ranksonic.|adcash.|simple-share-buttons.|social-buttons

8. avere cura di fare un escaping del punto (inserire uno back slash ” prima del punto come indicato sopra).

   

9. scegliere a quale vista applicare il filtro creato
10. salvare

Creare automaticamente dei filtri con Referrer Spam Blocker

Ultimamente abbiamo scoperto questo interessante servizio gratuito di Referrer Spam Blocker: https://referrerspamblocker.com è un sito olandese che mette a disposizione un fantastico servizio gratuito che abbiamo testato e trovato estremamente valido ed interessante.

Oltre a mantenere una lista aggiornata in tempo reale dei siti spam con il servizio offerto da questo sito è possibile creare automaticamente i filtri personalizzati, aggiornati con l’ultima blacklist a disposizione.

Attenzione: il servizio è gratuito perché utilizza le API di Google per creare per voi i filtri personalizzati. Tuttavia le API in modalità gratuita sono limitate a 2000 chiamate al giorno, che di fatto limitano l’utilizzo dello strumento a 76 operazioni al giorno (ogni operazione sul singolo sito richiede circa 26 chiamate). Niente di più facile che in futuro questo servizio possa diventare a pagamento…

Una volta utilizzato il servizio troverete nel vostro pannello di Google Analytics, per l’account selezionato, i relativi filtri già creati e configurati.