harvestman(1) on Linux
The text 5dca9757dcd3, as Debian 4.0 (Etch) shipped it.
multithreaded desktop webcrawler written in Python
Flags it lists
-
--basedir -
--cache -
--configfile -
--connections -
--depth -
--fetchlevel -
--help -
--localize -
--maxfiles -
--maxthreads -
--nocrawl -
--project -
--projectfile -
--proxy -
--proxypass -
--proxyuser -
--retry -
--robots -
--subdomain -
--timelimit -
--urlfilter -
--urlserver -
--urlslist -
--urltree -
--verbosity -
--version -
--workers -
-C -
-M -
-N -
-P -
-R -
-S -
-T -
-U -
-V -
-W -
-Y -
-b -
-c -
-d -
-f -
-h -
-l -
-n -
-p -
-r -
-s -
-t -
-u -
-v -
-w