Программы larbin.sf.net/

Larbin - это веб-сканер HTTP с простым интерфейсом, который работает под Linux. Он может принести более 5 миллионов страниц в день на стандартном компьютере (с хорошей сетью).