Программы lionheart

Этот инструмент анализа роботов.txt может легко проверить содержание «квоты;роботы.txt»quot; произвольного веб-сервера (файл, который определяет поведение на сервере для робота поисковой системы и т.д.) из Интернета.