旧版 

首页

影音盒子

酷录

酷抓

升级易

我的博文

关于

 

 您现在的位置Hensence.com - 技术文章 - HTTP协议程序的编写与调试

HTTP协议程序的编写与调试

关键字:HTTP协议,编写,调试

2009-02-14 12:35:04

HTTP协议是比较简单的协议,纯文本的,它的命令及选项都比较少,特别是常用的选项就那么几个。现在HTTP协议有1.0和1.1两个版本,文档分别为RFC1945和RFC2068。前者有中文版,后者似乎没有看到中文版,有时间了也许可以翻译一下。

一个典型的HTTP会话的请求与响应如下:
请求头:
GET /news/0601/10/2.jpg HTTP/1.1
Accept: */*
Referer: http://news.163.com
Accept-Language: zh-cn
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; MyIE2; (R1 1.5))
Host: cimg.163.com
Connection: Keep-Alive
Cookie: **************************

响应头:
HTTP/1.0 200 OK
Date: Tue, 10 Jan 2006 09:54:32 GMT
Server: Apache/1.3.34 (Unix) PHP/4.4.1
Cache-Control: max-age=3600
Expires: Tue, 10 Jan 2006 10:54:32 GMT
Last-Modified: Tue, 10 Jan 2006 09:46:14 GMT
ETag: "320156-5132-43c38266"
Accept-Ranges: bytes
Content-Length: 20786
Content-Type: image/jpeg
Age: 2006
X-Cache: HIT from cimg.163.com
Connection: keep-alive

在Windows下写HTTP程序有几个选择:直接使用winsock编程、使用wininet库、使用MFC的CHttpConnection等相关类。MFC的网络库我从来没有用过,效率不高不说,我还是喜欢比较低层次的面向过程一点的,因为可以自己掌握整个过程。

我最先开始写HTTP程序的时候是直接用的winsock,如我的“BBS图片同步浏览工具”的最早版本。使用winsock的一个优点是你可以完全自定义你所发送的请求数据,比如向上面的请求头,也许你只需要发送一个GET命令加一个Host字段就可以胜任了。然而如此自由地使用最低层的接口时,你就必须能对整个HTTP协议了如指掌,你有一个功能不能实现你的程序就有了巨大的缺陷。比如上面我的“BBS图片同步浏览工具”,当在全国大多数教育网内的BBS内都能够用得很好的时候,发现在武汉白云黄鹤根本不能用。究其原因原来是它使用了Chunked传输编码,于是我必须能识别并能够接收这种编码的文件。虽然后来我实现了chuncked编码的解码(在我的另一篇文章中我会把关于它的中文翻译贴出来的),但是我不能等我的程序出来问题再来补救,天晓得什么时候某个服务器又有什么特殊的选项。后来逐渐接触到wininet库,它是在windows平台下写HTTP程序的最佳选择。有时候折衷的也许是最好的。wininet库介于winsock与MFC库之间,它的灵活性仍然非常大,你可以掌控HTTP一个会话的每一个过程,同时它又封装了HTTP协议,免去了自己实现HTTP所有选项的麻烦,况且,这个库就是微软Internet Explorer所使用的核心库,对于它的强大性应该不庸质疑了。我后来的几个HTTP相关的软件都是在WinInet库上做的,比如前面说的BBS图片浏览器的后来版本,BBS的文件上传及转载工具,万方论文下载、软件在线升级、突破下载限制的下载工具等。

下面描述一下使用WinInet库写HTTP程序的一般过程:
InternetOpen 打开一个Internet会话句柄,WinInet不仅实现了HTTP,还实现了FTP,GOPHER等,因此这个句柄也就不限于HTTP程序。对于这个句柄,还可以设置一些选项,比如连接超时、重试次数等
InternetConnect 指定INTERNET_SERVICE_HTTP类型,它向指定的服务器及端口发起连接
HttpOpenRequest 打开一个HTTP请求,此时并不会向服务器发送数据,它需要与下面的几个函数结合使用,HTTP请求有GET、POST、HEAD等。通常可用HEAD命令获取服务器上文件的信息,比如说大小等。GET命令就是下载文件了,POST通常用于发送额外的数据给服务器,常用的就是对有用户登录要求的服务器发送登录信息、发送表单、上传文件等。
HttpSendRequest 正式向服务器发送请求命令,在这个函数里还可以自定义你的请求头内容了,比如自定义User-Agent字段,文件分段下载所使用的Range字段等。除了使用HttpSendRequest定义请求头外,还可以使用HttpAddRequestHeaders逐个添加字段。另外还有一个HttpSendRequestEx函数,这个函数可以用于发送大数据量的POST请求,比如文件上传等,后面会有一个上传文件的例子。
InternetReadFile 开始接收服务器的响应,服务器的响应通常是一个网页(更准确地说是文件)
HttpQueryInfo 可以查询当前HTTP请求及响应的状态,它可以查询服务器响应头的几乎每一个字段,比如文件大小、时间、服务器的状态码等。也可以用它得到整个响应的原始字符串。
InternetCloseHandle HTTP会话结束后就可以使用这个函数关闭打开的各个句柄了,包括Internet会话句柄、HTTP连接句柄、HTTP请求句柄。当然最好是按句柄打开的先后顺序的逆序关闭。

WinInet库除了直接与HTTP、FTP等相关的函数外,还有许多实用函数,比如与URL处理相关的函数,本地缓存操作的函数等。

HTTP协议程序的调试:
要评测你的HTTP程序写得对不对,除了看结果以外,最好还是要查看它的过程。要查看HTTP会话的过程,那就要用到网络数据包监视软件了。比如CommView、Ethereal、Iris等,这些都是全局的网络监视软件,支持对各种网络协议的解析,但讲到要监视HTTP协议的软件,用EffeTech HTTP Sniffer就比较好了,它能够直接解析HTTP协议,界面也符合HTTP协议的特殊要求。有时候你会抱怨,明明我的代码是对的,为什么服务器就不给你你想要的结果呢?而用IE等客户端就能得到正确的结果。这个时候你就可以用网络监视软件监视你的程序发送的数据包与IE等发送的数据包有什么不同,如果你能把与IE完全一样的数据包发送给服务器,它能做到的,你的程序也能做到。我的另一个软件URLDownloader就是一个可以突破某些网站下载限制的下载工具。因为它的一个最大特点就是可以完全自定义请求头,你可以把请求头定义成与IE的完全一致,这样IE中能看到的,能听到的、能下载的,它也都能下载。因为网站限制下载通常都是利用HTTP请求头中的特殊的字段,比如Referer字段、User-Agent字段、Cookie字段等。

使用HttpSendRequestEx向服务器上传文件:
说实在的,做了一些HTTP相关的软件,但我始终没有去完全解读HTTP协议,基本上都上按照我上面的理解加上参考IE等客户端的网络包做出来的。关于向服务器上传文件,我不知道在HTTP协议中是否有明确的规定,或者只是某些客户端/服务器软件对HTTP协议的扩展。不过我见过一些文件上传功能,基本上都是使用MIME封装(RFC1341/1521/1522/1523等)的,先给出Content-type,boundary,接下来就是要上传的文件的数据流了,文件完了之后还要加一些辅助数据(都通过边界隔开)。下面是上传的过程:

......
INTERNET_BUFFERS BufferIn;
BufferIn.dwStructSize = sizeof( INTERNET_BUFFERS ); // Must be set or error will occur
BufferIn.Next = NULL;
BufferIn.lpcszHeader = strRequest; // 请求头
BufferIn.dwHeadersLength = strRequest.GetLength();
BufferIn.dwHeadersTotal = 0;
BufferIn.lpvBuffer = NULL;
BufferIn.dwBufferLength = 0;
BufferIn.dwBufferTotal = dwContentLen; // This is the only member used other than dwStructSize
BufferIn.dwOffsetLow = 0;
BufferIn.dwOffsetHigh = 0;
HttpSendRequestEx(hHttpRequest, &BufferIn, NULL, 0, 0);
InternetWriteFile(hHttpRequest, (LPVOID)(LPCTSTR)strPostData, strPostData.GetLength(), &dwBytesWritten); // Post数据
InternetWriteFile(hHttpRequest, buf, dwBytesRead, &dwBytesWritten); // 文件数据
InternetWriteFile(hHttpRequest, (LPVOID)(LPCTSTR)strPostData2, strPostData2.GetLength(), &dwBytesWritten); // 剩下的Post数据
......



版权所有 © 2003 - 2012 Hensence.com
粤ICP备07011841