Robots.txt 2.0
Sarai in grado di scaricare in 5 secondi.
Circa Robots.txt
Robots.txt è un editor visivo per file di esclusione dei robot e un software per analizzatori di log. Consente all'utente di creare rapidamente e facilmente i file dei robot.txt necessari per istruire i ragni dei motori di ricerca, quali parti di un sito Web non devono essere indicizzate e rese ricercabili dal pubblico Web in generale e quindi identificare i ragni, che non si atiscono a tali istruzioni. Il programma fornisce all'utente un modo per accedere al suo server FTP o di rete locale e quindi selezionare i documenti e le directory che non devono essere resi ricercabili. Attraverso questo programma sarai in grado di generare visivamente robot standard del settore.txt file; identificare ragni dannosi e indesiderati e vietarli dal tuo sito; crawler dei motori di ricerca diretti alle pagine appropriate per i siti multilingue; utilizzare robot.txt file per la gestione delle pagine delle porte; tenere i ragni fuori dalle aree sensibili e private del sito Web; caricare i file dei robot formattati correttamente.txt direttamente sul server FTP non passando da Robots.txt Editor; tenere traccia delle visite ai ragni; creare report sulle visite spider in formato HTML, CSV e XML di Microsoft Excel e altro ancora. Aggiornamenti e aggiornamenti gratuiti del programma senza restrizioni nel tempo; numero illimitato di siti Web con cui lavorare