[问题]输入网址,将该网页保存…… 不知道应该从哪儿下手?

软件和网站开发以及相关技术探讨
回复
GodPig
帖子: 240
注册时间: 2007-04-27 23:07

[问题]输入网址,将该网页保存…… 不知道应该从哪儿下手?

#1

帖子 GodPig » 2007-12-30 18:53

课程设计,输入网址,然后将该网页的内容保存,也可以指定链接层数,即将该网页内的链接也下载下来

不知道该从哪儿下手?
应该看些什么方面的书籍??
最好是用C/C++的

3Q
头像
tipfoo
帖子: 303
注册时间: 2007-07-12 16:30
来自: 桂林

#2

帖子 tipfoo » 2007-12-30 21:27

先了解TCP/IP编程,再了解HTTP协议。
例如,给定URL“http://www.xxxxxxxxx.com/xxxx.html”:
通过TCP/IP编程,发送“GET /xxxx.html”请求到主机“www.xxxxxxxxx.com”的80端口。
icosagon
帖子: 55
注册时间: 2007-01-22 10:22

#3

帖子 icosagon » 2008-01-07 21:04

代码: 全选

//根据请求的相对URL输出HTTP请求头
void FormatRequestHeader(char *&m_requestheader, int &Length, char *pServer,char *pObject,char *pCookie = NULL, char *pReferer = NULL, long nFrom = 0,long nTo = 0, int nServerType = 0)
{

	char szTemp[20];

	//第1行:方法,请求的路径,版本
	strcat(m_requestheader,"GET ");

	strcat(m_requestheader,pObject);
	strcat(m_requestheader," HTTP/1.1");
	strcat(m_requestheader,"\r\n");

	///第2行:主机
	strcat(m_requestheader,"Host:");
	strcat(m_requestheader,pServer);
	strcat(m_requestheader,"\r\n");

	///第3行:
	if(pReferer != NULL)
	{
		strcat(m_requestheader,"Referer:");
		strcat(m_requestheader,pReferer);
		strcat(m_requestheader,"\r\n");
	}
	//第4行:接收的数据类型
	strcat(m_requestheader,"Accept:*/*");
	strcat(m_requestheader,"\r\n");

	///第5行:浏览器类型
	strcat(m_requestheader,"User-Agent:Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");
	strcat(m_requestheader,"\r\n");

	///第6行:连接设置,保持
	strcat(m_requestheader,"Connection:Keep-Alive");
	strcat(m_requestheader,"\r\n");

	///第7行:Cookie.
	if(pCookie != NULL)
	{
		strcat(m_requestheader,"Set Cookie:0");
		strcat(m_requestheader,pCookie);
		strcat(m_requestheader,"\r\n");
	}
	///第8行:请求的数据起始字节位置(断点续传的关键)
	if(nFrom > 0)
	{
		strcat(m_requestheader,"Range: bytes=");
		_ltoa(nFrom,szTemp,10);
		strcat(m_requestheader,szTemp);
		strcat(m_requestheader,"-");
		if(nTo > nFrom)
		{
			_ltoa(nTo,szTemp,10);
			strcat(m_requestheader,szTemp);
		}
		strcat(m_requestheader,"\r\n");
	}

	///最后一行:空行
	strcat(m_requestheader,"\r\n");

	///返回结果
	Length=strlen(m_requestheader);
}

windows下的,linux下不知道能不能用,应该差不多吧
上次由 icosagon 在 2008-01-09 22:23,总共编辑 1 次。
头像
nobrain
帖子: 808
注册时间: 2005-08-25 13:58
来自: ustc
联系:

Re: [问题]输入网址,将该网页保存…… 不知道应该从哪儿下手?

#4

帖子 nobrain » 2008-01-07 21:09

GodPig 写了: 最好是用C/C++的
如果用 python 就简单了,《python 核心编程》上就有一个类似的例子
爱喝真猪奶茶的夜鸣猪
回复