Robots.txt: se c’è, fai in modo che Google lo trovi

Cosa succede se Googlebot, arrivando ad “annusare” il nostro sito, richiede al server il file robots.txt ma non riceve risposta? Semplice, se ne va senza indicizzare niente.

Accade infatti che nel dubbio, ovvero se non viene restituito un file valido ma nemmeno in alternativa un errore 404 di file non trovato, Google preferisce non indicizzare nessuna pagina del sito, a scanso di spiacevoli incomprensioni.

Questo comportamento dell’algoritmo è stato confermato da voci vicine interne a Google e, nonostante sia lecito pensare che non riguarderà la maggioranza dei casi, in cui la risposta del server non impedisce al crawler di Mountain View di verificare la presenza o meno del file in questione, è sempre bene tenere a mente questa informazione.

In sostanza, se avete speso del tempo per confezionare un file robots.txt ad hoc per il vostro sito, assicuratevi che nulla interferisca con il suo recupero da parte di Google, altrimenti non c’è speranza per le pagine che avevate intenzione di far indicizzare.

Questione di precisazioni

Via Matt Cutts apprendo che Google ha dato una rinfrescata ad alcune pagine della sua documentazione: dalle informazioni sull’uso del nofollow a ritocchi sugli standard di qualità.

Proprio su questo argomento vorrei soffermarmi. Matt fa notare come nella frase

Make pages for users, not for search engines.

sia stato di recente aggiunto l’avverbio “primarily” (principalmente):

Make pages primarily for users, not for search engines.

Che succede? Google allenta le maglie della censura? Inizia in certa misura a tollerare il cloaking?

E’ lo stesso Matt a fare delle precisazioni: non è detto che sviluppare pagine per gli utenti impedisca di predisporre degli accorgimenti che facilitino il lavoro dei motori. Alcuni esempi:

• Aggiungere l’attributo nofollow a un link
• Aggiungere la description tra i meta tag
• Aggiungere una sitemap

Tutte azioni che migliorano la qualità dei risultati di ricerca senza pregiudicare la fruibilità di un sito.

L’ennesima lezione di programmazione web made in Google? E’ giusto seguire supinamente i dettami di Mountain View? Che ne pensate?

Search API, da dove cominciare?

Chi vuole iniziare ad utilizzare le API che consentono di attingere ai servizi messi a disposizione dai motori di ricerca dovrebbe per prima cosa avere una discreta conoscenza dei seguenti argomenti

• Programmazione Lato Server (php, perl, asp…almeno uno tra questi linguaggi)
• Javascript & Ajax
• Sapere cosa sono i Webservice e come funzionano

Non preoccupatevi, comunque, nessuno “nasce imparato” e la rete è piena zeppa di informazioni: per i principianti non sarebbe male cominciare con una visitina a siti come www.html.it o www.w3schools.com; mentre gli utenti più scafati troveranno pane per i loro denti nei diversi developer center , dove non mancano documentazione ed esempi di codice.

Ma perchè dovrei prendermi la briga di utilizzare attraverso la programmazione i servizi messi a disposizione da Google o dagli altri motori di ricerca?

Le ragioni sono le più diverse, da quelle black hat a quelle più ortodosse…un caso pratico che mi viene in mente è quello di realizzare un sistema che consenta di gestire le campagne Google Adwords automatizzando determinate operazioni: pensiamo ad esempio alla possibilità di regolare costantemente il costo per click e la posizione in cui vogliamo comparire, sulla base dell’andamento del posizionamento naturale.

Come fare? Beh…cominciamo con uno studio approfondito dell’apposito servizio.

I più intraprendenti nel mio blogroll troveranno i riferimenti a tutti gli altri servizi, per ora è tutto alla prossima puntata!