Robots.txt 2.0
Вы сможете скачать в течение 5 секунд.
О Robots.txt
Роботы.txt является визуальным редактором Robot Exclusion Files и программного обеспечения для анализа журналов. Это позволяет пользователю быстро и легко создавать роботы.txt файлы, необходимые для инструктажа поисковых пауков, какие части веб-сайта не должны быть проиндексированы и сделаны для поиска в интернет-общественности, а затем для выявления пауков, которые не хвастют этим инструкциям. Программа предоставляет пользователю способ войти на свой FTP или локальный сетевой сервер, а затем выбрать документы и каталоги, которые не должны быть сделаны для поиска. С помощью этой программы вы сможете визуально генерировать стандартные в отрасли роботы.txt файлы; определить вредоносных и нежелательных пауков и запретить их с вашего сайта; прямые сканеры поисковых систем на соответствующие страницы для многоязычных сайтов; использовать роботы.txt файлы для управления страницами дверей; держать пауков из чувствительных и частных областях вашего веб-сайта; загрузить правильно отформатированные роботы.txt файлы непосредственно на ваш сервер FTP, не переключаясь с .txt Robots; отслеживать посещения паука; создавать отчеты о посещениях пауков в форматах HTML, Microsoft Excel CSV и XML и многое другое. Бесплатные обновления и обновления программы неограниченны во времени; неограниченное количество веб-сайтов для работы с