[问题]如何获得一个http站点的目录和文件结构。

[x-dongzi]

我现在的需求是需要同步一个网站，虽然使用wget -m可以同步，但是wget是单线程的，只能一个一个来，而我要同步的网站上小文件上万了，这样就造成了同步的速度很慢，于是我想得到这个http站点的目录和文件结构，然后开多个进程程使用wget下载，这样速度会快上很多。
但是我不清楚如何得到网站的文件结构，也就是说我不清楚网站上有那些目录和文件，
希望大家能踊跃告知。

[eexpress]

wget -nc -l 1 --no-cookies -t 2 -T 5 -p -k xxxxxxxxxxxxxxxxxxx