[问题]如何获得一个http站点的目录和文件结构。

sh/bash/dash/ksh/zsh等Shell脚本
回复
x-dongzi
帖子: 44
注册时间: 2007-01-03 17:44
送出感谢: 0
接收感谢: 0

[问题]如何获得一个http站点的目录和文件结构。

#1

帖子 x-dongzi » 2008-08-27 15:15

我现在的需求是需要同步一个网站,虽然使用wget -m可以同步,但是wget是单线程的,只能一个一个来,而我要同步的网站上小文件上万了,这样就造成了同步的速度很慢,于是我想得到这个http站点的目录和文件结构,然后开多个进程程使用wget下载,这样速度会快上很多。
但是我不清楚如何得到网站的文件结构,也就是说我不清楚网站上有那些目录和文件,
希望大家能踊跃告知。
:)
头像
eexpress
帖子: 58428
注册时间: 2005-08-14 21:55
来自: 长沙
送出感谢: 4 次
接收感谢: 256 次

#2

帖子 eexpress » 2008-08-27 15:27

wget -nc -l 1 --no-cookies -t 2 -T 5 -p -k xxxxxxxxxxxxxxxxxxx
● 鸣学
回复

回到 “Shell脚本”