Программы cwlr.sf.net

Очень простой однонитной сканер для веб (http), написанный в perl. Поддерживает ссылки, следующие правилам и коллекциям, чтобы получить информацию о посещенных страницах (на основе regexp).