Google官方robots.txt系列(1)：

发布于 2018-01-20 12:36:50 541次浏览, 若为非敏感信息，则可以使用 robots.txt 阻止不必要的抓取,“robots.txt”文件会告诉搜索引擎它们是否可以访问您网站的各个部分并执行抓取。此文件必须命名为“robots.txt”，且应位于网站的根目录下。被 robots.txt 阻止的网页也可能会被抓取，因此您应使用更安全的方法保护敏感网页。, ,您可能不希望网站的某些页面被抓取，因为这些页面显示在搜索引擎的搜索结果中可能对用户无用。如果您希望阻止搜索引擎抓取您的网页，Google Search Console 可提供便捷的 robots.txt 生成器帮助您创建此文件。请注意，如果您的网站使用了子域名，并且您希望 Google 不要抓取特定子域名上的某些网页，那么您必须为该子域名单独创建一个 robots.txt 文件。要详细了解 robots.txt，建议您参阅网站站长帮助中心内的 使用 robots.txt 文件 13指南。,了解其他几种阻止内容显示在搜索结果中的方法 14。, 应避免的做法：, 若为敏感信息，则请使用更安全的方法,要阻止用户访问敏感或机密信息，

Google官方robots.txt系列(2)：

Robots.txt 并不是一个适当或有效的方式。它只会告知运行良好的抓取工具不要抓取相应网页，却不会阻止您的服务器将这些网页发送给请求它们的浏览器。其中一个原因是：如果互联网上的某处（例如引荐来源网址日志）恰好存在指向这些被禁止访问的网址的链接，那么搜索引擎仍然能够引用这些网址（仅显示网址，但不显示标题或摘要）。此外，未同意遵守《漫游器排除标准》的不合规搜索引擎或流氓搜索引擎可能会违反您的 robots.txt 文件中的指令。最后，用户可能会出于好奇查看您的 robots.txt 文件中的目录或子目录，并猜测您不想被看见的内容的网址。,在这些情况下，如果您只是希望网页不显示在 Google 中，则可使用 noindex 标记，无需担心任何用户会通过链接访问该网页。然而，为了做到真正的安全，您应该使用合适的授权方法（例如需要用户密码才能访问）或将网页从网站上彻底移除。,
,转载请注明: 爱推站 » Google官方SEO入门指南(3)：告诉 Go

你知道网站关键词该怎么布局吗？

。转载请注明来源地址：黑帽SEO http://www.heimao.wiki 专注于SEO培训，快速排名
黑帽WiKi_黑帽百科(www.heimao.wiki),8年黑帽SEO优化技术,黑帽seo快速排名,黑帽seo技术培训学习,黑帽SEO快速排名程序、泛目录、寄生虫技术,赠送免费黑帽SEO视频教程

（黑帽SEO技术,网站快速排名,蜘蛛池加速收录,目录程序定制）

扫一下添加微信：