首页/黑帽文章/正文
详细罗列出各个搜索引擎蜘蛛日志及服务器常见状态码含义

 2021年12月09日  阅读 334  评论 0

摘要:IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况,可以更近距离的分析和接触蜘蛛。爬取次数,爬取时间点,爬取高峰期,爬取反应出来的HTTP状态码,为我们带来清晰的分析便利。

其实我们做seo网站优化的一般来说都是一个全知全能的职位,因为做优化做排名影响的因素太多了,就比如我们今天要讲的课题,日志的分析如果不会分析看不懂蜘蛛的爬行轨迹,那么在优化的过程中出现问题,就很有可能思路是错的而不自知。  

IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况,可以更近距离的分析和接触蜘蛛。爬取次数,爬取时间点,爬取高峰期,爬取反应出来的HTTP状态码,为我们带来清晰的分析便利。  

一、各大搜索引擎的蜘蛛名称:  

百度(Baidu)爬虫名称(Baiduspider)  

谷歌(Google)爬虫名称(Googlebot)  

雅虎(Yahoo)爬虫名称(YahooSlurp)  

有道(Yodao)蜘蛛名称(YodaoBot)  

搜狗(sogou)蜘蛛名称(sogouspider)  

MSN的蜘蛛名称:msnbot  

二、IIS分析:  

案例日志:61.135.168.22--[11/Jan/2009:04:02:45+0800]"GET/thread-7303-1-1.htmlHTTP/1.1"2008450"-""Baiduspider(+http:-www-baidu-com/search/spider.htm)"  

分析:  

1、61.135.168.22是访问了是服务器IP为这个的网站.  

2、11/Jan/2009:04:02:45表示蜘蛛爬行时间  

3、GET/thread-7303-1-1.htmlHTTP,表示蜘蛛抓取了这个页面。  

4、200状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。  

5、8450表示此次抓取了8450个字节  

6、Baiduspider(+http:-www-baidu-com/search/spider.htm)表示百度蜘蛛的名称  

三、基本状态码:  

200:请求已经完成,蜘蛛访问页面正常  

301:已经移动,永久重定向  

302:临时重定向  

304:蜘蛛爬取后发现,页面没有修改  

305:使用代理  

400:请求错误  

404:找不到页面  

四、IIS详细状态码含义:  

100-表示已收到请求的一部分,正在继续发送余下部分。  

101-切换协议。  

2XX-成功服务器成功地接受了客户端请求。(只要是2XX的状态,都表示成功)  

200-确定。客户端请求已成功。  

201-已创建。  

202-已接受。  

203-非有名性信息。  

204-无内容。  

205-重置内容。  

206-部分内容。  

300-针对收到请求,服务器可执行多种操作。  

301-永久移动转移,请求的内容已永久移动其他新位置。  

302-临时移动转移,请求的内容已临时移动新的位置  

304-未修改。自从上次请求后,请求的内容未修改过。  

307-临时重定向。服务器目前从不同位置响应请求,但请求者应继续使用原有位置来进行以后的请求。  

400-错误的请求。  

401-访问被拒绝。IIS定义了许多不同的401错误,它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示,但不在IIS日志中显示:  

401.1-登录失败。  

401.2-服务器配置导致登录失败。  

401.3-由于ACL对资源的限制而未获得授权。  

401.4-筛选器授权失败。  

401.5-ISAPI/CGI应用程序授权失败。  

401.7-访问被Web服务器上的URL授权策略拒绝。这个错误代码为IIS6.0所专用。  

403-禁止访问:IIS定义了许多不同的403错误,它们指明更为具体的错误原因:  

403.1-执行访问被禁止。  

403.2-读访问被禁止。  

403.3-写访问被禁止。  

403.4-要求SSL.  

403.5-要求SSL128.  

403.6-IP地址被拒绝。  

403.7-要求客户端证书。  

403.8-站点访问被拒绝。  

403.9-用户数过多。  

403.10-配置无效。  

403.11-密码更改。  

403.12-拒绝访问映射表。  

403.13-客户端证书被吊销。  

403.14-拒绝目录列表。  

403.15-超出客户端访问许可。  

403.16-客户端证书不受信任或无效。  

403.17-客户端证书已过期或尚未生效。  

403.18-在当前的应用程序池中不能执行所请求的URL.这个错误代码为IIS6.0所专用。  

403.19-不能为这个应用程序池中的客户端执行CGI.这个错误代码为IIS6.0所专用。  

403.20-Passport登录失败。这个错误代码为IIS6.0所专用。  

404-未找到请求的内容。  

404.0-未找到文件或目录。  

404.1-无法在所请求的端口上访问Web站点。  

404.2-Web服务扩展锁定策略阻止本请求。  

404.3-MIME映射策略阻止本请求。  

405-用来访问本页面的HTTP谓词不被允许(方法不被允许)  

406-客户端浏览器不接受所请求页面的MIME类型。  

407-要求进行代理身份验证。  

412-前提条件失败。  

413-请求实体太大。  

414-请求URI太长。  

415-不支持的媒体类型。  

416-所请求的范围无法满足。  

417-执行失败。  

423-锁定的错误。  

500-服务器内部错误。  

500.12-应用程序正忙于在Web服务器上重新启动。  

500.13-Web服务器太忙。  

500.15-不允许直接请求Global.asa.  

500.16-UNC授权凭据不正确。这个错误代码为IIS6.0所专用。  

500.18-URL授权存储不能打开。这个错误代码为IIS6.0所专用。  

500.100-内部ASP错误。  

501-服务器无法完成请求的功能。  

502-服务器用作网关或代理服务器时收到了无效响应。  

502.1-CGI应用程序超时。  

502.2-CGI应用程序出错。  

503-服务不可用。这个错误代码为IIS6.0所专用。  

504-网关超时。  

505-HTTP版本不受支持。


(学习黑帽SEO技术,网站快速排名,蜘蛛池加速收录)扫一下添加微信:



。转载请注明来源地址:黑帽SEO http://www.heimao.wiki 专注于SEO培训,快速排名
黑帽WiKi_黑帽百科(www.heimao.wiki),8年黑帽SEO优化技术,黑帽seo快速排名,黑帽seo技术培训学习,黑帽SEO快速排名程序、泛目录寄生虫技术,赠送免费黑帽SEO视频教程

(黑帽seo技术,网站快速排名,蜘蛛池加速收录,目录程序定制)

扫一下添加微信:



版权声明:本文为 “黑帽百科” 原创文章,转载请附上原文出处链接及本声明;

原文链接:https://www.heimao.wiki/post/50029.html

黑帽百科:黑帽wiki

QQ:25496334
  • 文章10572
  • 评论261
  • 浏览3879230
关于我们
黑帽百科:黑帽seo百科,黑帽seo技术学习培训分享,黑帽SEO快排程序分享,定制。 SEO快速排名收录学习 老师qq:25496334
扫码关注
联系方式
全国服务热线:
地址:新加坡 - 市中心(Singapore City)乌节路
Email:hack66666@foxamil.com
邮编:
Copyright Your 黑帽百科.|网站地图.Some Rights Reserved.