Toolurl raccoglie in una unica pagina numerosi strumenti per SEO e info generali sui domini. Un’unica interfaccia per compiere le più comuni operazioni di ricerca/analisi su domini.

Iniziamo il percorso di introduzione alle tecniche dello spamming. Obiettivo migliorare il nostro posizionamento sui motori di ricerca. Il primo metodo tratta di dns spamming. I DNS (acronimo di Domain Name System) costituiscono il software applicativo che permette la risoluzione di nomi di dominio in indirizzi IP.

Tipicamente un file di zona (un banale file di testo contenente la mappatura host/ip) conterrà le informazioni riguardanti server dns [NS],server mail [MX] e i nomi di dominio di terzo livello che ci permetteranno di raggiungere i servizi (www,mail,ftp)

Possiamo preparare il server su Debian in pochi semplici passi:

Installazione server BIND e documentazione:

#apt-get install bind bind-doc

Il server è già pronto per l’uso:

#echo "nameserver localhost" > /etc/resolv.conf

Prima di continuare una saggia lettura file:///usr/share/doc/bind/html/zone.html

Inserimento zona:

#vi /etc/bind/named.conf.local

//
// Add local zone definitions here.
zone "fittizio.it" IN {
type master;
file "/etc/bind/fittizio.it";
allow-update { none; };
};

Creazione del file di zona con wild-card per gestire domini di terzo livello.

#vi /etc/bind/fittizio.it

$TTL    36000
@       IN      SOA     ns1.fittizio.it. root.ns1.fittizio.it. (
2006061200      ; serial
86400           ; refresh
7200            ; retry
2592000         ; expire
0)              ; default-ttl

NS              ns1.fittizio.it.
fittizio.it.                   IN      MX      10      mx.fittizio.it.
ns1                            A               192.168.20.168
mail                           A               192.168.20.162
ftp                            A               192.168.20.169
*                              A               192.168.20.168

Per verificare il corretto inserimento della zona:

Reload del demone bind

#/etc/init.d/bind reload

e

# grep fittizio.it  /var/log/daemon.log

Jun 12 10:40:41 localhost named[18244]: master zone "fittizio.it" (IN) loaded (serial 2006061200)

Con l’utility dig interroghiamo il server…

# dig  questononesiste.fittizio.it

; <<>> DiG 9.2.4 <<>> questononesiste.fittizio.it
;; global options:  printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 59886
;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 1, ADDITIONAL: 1

;; QUESTION SECTION:
;questononesiste.fittizio.it.   IN      A

;; ANSWER SECTION:
questononesiste.fittizio.it. 36000 IN   A       192.168.20.168
[...]
;; SERVER: 127.0.0.1#53(127.0.0.1)

Il nostro nameserver ci ha opportunamente risposto che il record A associato al dominio di terzo livello "questononesiste" è associato all'indirizzo 192.168.20.168.

Con "ftp" la risposta sarà

ftp.fittizio.it.        36000   IN      A       192.168.20.169

Ora potete iniziare a modificare i link del vostro sito. Prendiamo come esempio un sito sui personaggi dei mondiali di calcio. Il webmaster ha preparato le pagine per ciascun giocatore (una pagina php preleva da un db le informazioni + mod_rewrite per la riscrittura delle url ), il menù della index linka ogni pagina nel formato http://www.sitosuimondiali.it/cognomegiocatore.html

Esempio http://www.fittizio.it/totti.html

Proviamo utilizzando un nameserver esterno (es 151.99.0.100) a richiamare la pagina http://totti.fittizio.it/totti.html. Il browser vi restituirà un errore non riuscendo a risolvere totti.fittizio.it.

Utilizzate il vostro dns bind e provate con http://forzatotti.fittizio.it/totti.html. Funziona, non vi rimane che ampliare ai domini di X° livello la tecnica senza dover creare nessun sottodominio. Nell'esempio appena fatto interessante la combinazione nazionalità + cognome:

http://brasile.ronaldinho.fittizio.it/brasile/ronaldinho.html

http://italia.totti.fittizio.it/italia/totti.html

PS: non abusatene

Parlando con un amico mi sono ritrovato a rispondere a domande sui motori di ricerca cercando di dargli una risposta di non troppo difficile interpretazione.

Ma come funzionano questi “motori di ricerca” ?? Ne voglio fare uno pure io e indicizzare il mio sito su tutti motori…

I prerequisiti per costruirsi da soli un motore di ricerca sono essenzialmente 3: una macchina collegata alla rete, un bot (Web Crawler/Web Spider o più semplicemente script), un front end (una pagina di ricerca).

Il bot si occuperà (seguendo un determinato algoritmo) di catalogare e ordinare le pagine web (salvataggio su DBRMs).

Non dovrà essere troppo invasivo (pensate al vostro sito preso di “mira” da bot malformati con centinaia di richieste al secondo…) onde evitare DOS

Non dovrà catalogare le pagine escluse dal protocollo robots.txt

Dovrà contenere delle politiche anti-spamming: le tecniche utilizzate (spesso in buona fede) dai webmaster portano a pesanti penalizzazioni, addirittura al ban del dominio!

[Politiche interne MR]

Altre penalizzazioni dette parametri off page: la società di posizionamento X aiuta il sito Y, la società del motore di ricerca Z che non gradisce per i più svariati motivi X e blacklista Y indipendentemente dal fatto che il sito avesse posto in essere delle pratiche di spamming.

Brett Tabke

[/Politiche interne MR]

Ma che cosa sono le pratiche di spamming?

Scriverò qualche post sull’argomento, dopo tanti test è ora di procedere con la pubblicazione dei risultati, spesso contrastanti fra un sito e l’altro.
Fantastico, possiamo iniziare con il codice??

Torniamo al nostro di motore.. si può iniziare con la preparazione di un algoritmo di catalogazione. Siccome sono 10 anni che esistono motori di ricerca ed esiste già una branchia dell’informatica che si occupa del reperimento di documenti elettronici prepariamoci ad una full immersion su

Information Retrieval

Inizialmente il numero di documenti/pagine web online era limitato a quelche migliaia, oggi se ne contano decine di miliardi; un numero destinato a crescere esponenzialmente nei prossimi anni. Le tecniche di indicizzazione praticate dai primi motori di ricerca si sono rivelate obsolete (text-matching) per sottostare all’enorme quantità di dati. Cause non meno importanti l’ambiguità di molti termini del nostro dizionario, la mancanza di una struttura semantica per la rappresentazione delle informazioni, l’uso sconsiderato di tecniche di spam.

Per approfondire l’argomento un’ottima lettura si è rivelata questo testo http://elite.polito.it/tesi/macagno.pdf

Il codice? Semplice: non cè!