Generatore robots.txt
Crea un file robots.txt chiaro e compatto.
Generatore robots.txt
Genera un file robots.txt leggibile per guidare i motori di ricerca, dichiarare la sitemap, limitare alcuni crawler e bloccare bot indesiderati.
Profilo del sito
Regole generali
Sitemap
Bot da bloccare
Avanzato
generato robots.txt
robots.txt fornisce istruzioni ai crawler. Non è una protezione di sicurezza.
Spiegazione rapida
Scegli un profilo iniziale, aggiungi le regole generali, indica la sitemap se necessario e seleziona i robot da bloccare. Il file generato resta compatto per evitare ripetizioni inutili.
Prova anche
Vuoi controllare il passaggio dei crawler?
Usa l’Analizzatore log Apache per vedere IP, motori di ricerca, errori e URL realmente richiesti sul tuo sito.
Informazioni aggiuntive
Preparare un robots.txt leggibile
Il file robots.txt fornisce indicazioni ai robot che esplorano un sito. Può segnalare aree da non scansionare, dichiarare l’indirizzo della sitemap, impostare un ritardo di scansione per alcuni bot o bloccare user-agent specifici.
Questo generatore privilegia un risultato breve e facile da rileggere: le direttive comuni vengono raggruppate, i blocchi inutili evitati e il risultato può essere copiato direttamente in un file robots.txt.
Bloccare senza creare confusione
I profili rapidi offrono una base pulita: sito normale, consenti tutto, blocca tutto o sito in preparazione. Puoi poi aggiungere i percorsi Allow e Disallow e selezionare soltanto i robot che desideri escludere.
Un file robots.txt non è una protezione di sicurezza. Per nascondere una pagina privata servono una vera protezione lato server, un’autenticazione o una regola di accesso adeguata.
Controllare dopo la pubblicazione
Dopo la pubblicazione, verifica il comportamento reale dei crawler con l’Analizzatore log Apache. I log mostrano quali URL vengono richiesti, quali robot passano più spesso e quali errori si ripetono.
Limiti e riutilizzo
Gli strumenti AppErgo sono forniti gratuitamente per scopi pratici e informativi. Nonostante l’attenzione dedicata alla loro progettazione, un risultato può essere incompleto, inatteso o errato. Prima di fare affidamento su un risultato per un uso importante, verificalo con un metodo appropriato.
Per segnalare un errore nello strumento, puoi usare il modulo dedicato alle segnalazioni.
I risultati prodotti dagli strumenti AppErgo possono essere copiati e riutilizzati liberamente. In caso di riutilizzo pubblico di un risultato, di un metodo o di una pagina AppErgo, è gradito un link alla pagina pertinente.
Salvo diversa indicazione, testi, immagini, elementi visivi, script, modelli e componenti interni di AppErgo restano di proprietà di AppErgo.
Per qualsiasi altra richiesta, puoi contattare il webmaster.