Google官方robots.txt系列(2)：

发布于 2018-01-20 12:36:51 670次浏览, robots.txt 文件位于您网站的根目录下，用于表明您不希望搜索引擎抓取工具访问您网站上的哪些内容。此文件使用的是 漫游器排除标准，该标准是一种内含一小组命令的协议，可依照网站各部分和特定的网页抓取工具类型（例如移动版抓取工具与桌面版抓取工具），表明可访问的网站内容。,对于非图片文件（即网页），您应仅将 robots.txt 用于控制抓取流量，因为通常情况下您不会希望 Google 抓取工具造成您的服务器超负荷，或是将抓取预算浪费在抓取您网站上不重要或相似的网页上。 如果您不想让自己的网页显示在 Google 搜索结果中，请不要将 robots.txt 用作隐藏网页的方法。 这是因为其他网页可能会指向您的网页，

你知道网站关键词该怎么布局吗？

导致我们将您的网页编入索引，而让 robots.txt 文件失去效用。如果您想从搜索结果中屏蔽自己的网页，请使用其他方法，例如密码保护或  noindex 标记或指令。,robots.txt  可以阻止图片文件出现在 Google 搜索结果中（不过它不会阻止其他网页或用户链接到您的图片）。,如果您认为加载网页时跳过不重要的图片、脚本或样式文件等资源并不会造成太大影响，那么您可以使用 robots.txt 来屏蔽这些资源文件。不过，如果缺少这些资源会增加 Google 抓取工具在分析网页方面的难度，则建议您不要屏蔽这些资源，否则 Google 将无法正确分析需要依赖这些资源的网页。,在创建  robots.txt 之前，您应该了解这种网址屏蔽方法的潜在风险。有时候，您可能需要考虑采用其他机制来确保搜索引擎无法在网络上找到您的网址。,注意：结合使用多种抓取和索引编制指令可能会导致某些指令与其他指令冲突。请参阅 Google Developers 文档的 “结合使用抓取指令和索引编制/内容提供指令”部分，了解如何正确配置这些指令。,
,转载请注明: 爱推站 » Google官方robots.txt系列(1)：

如何选择域名更有利于SEO

。转载请注明来源地址：黑帽SEO http://www.heimao.wiki 专注于SEO培训，快速排名
黑帽WiKi_黑帽百科(www.heimao.wiki),8年黑帽SEO优化技术,黑帽seo快速排名,黑帽seo技术培训学习,黑帽SEO快速排名程序、泛目录、寄生虫技术,赠送免费黑帽SEO视频教程

（黑帽SEO技术,网站快速排名,蜘蛛池加速收录,目录程序定制）

扫一下添加微信：