我不叫大脸猫 2008-2-21 14:54
读一读百度的心思--iis日志解读
先放上一段我的IIS日志
[20/Feb/2008:05:06:15 -0700] "GET /blog.php?do-list-uid-15-type-blog-y-2021-m-9.html HTTP/1.1" 200 12327 "-" "Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url])"
61.146.41.30
[20/Feb/2008:05:06:15 -0700]是百度蜘蛛向服务器发出阅读请求的时间,
GET是获取目标页面所使用的数据传输方式,
获取的页面是目标域名下的/blog.php?do-list-uid-15-type-blog-y-2021-m-9.html ;
HTTP/1.1则是文件传输使用的传输协议.
200表示请求得到了响应,意味着请求成功,并返回请求页面.
12327是端口.
Baiduspider就是所谓的百度蜘蛛了,后面附加的链接就是百度蜘蛛的说明页.
能够看懂iis日志就可以读懂百度的心思了,统计百度蜘蛛每天来访的时间,停留了多久,喜欢抓哪种类型的页面.这样你就可以调整网站内容更新的方式了,比如百度喜欢抓取你网站下的二级栏目,那么你在制作热门专题的时候就要在该二级栏目下制作,百度会先抓取先发布.对于百度不太喜欢的页面,你就可以做上一些内链让百度蜘蛛顺着链接爬过去,这样百度就会逐渐的喜欢上所有的页面了.