如何设置让网站禁止被爬虫收录

　　网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重。

　　以下列举了屏蔽主流搜索引擎爬虫(蜘蛛)抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫(蜘蛛)。

　　1、通过 robotstxt 文件屏蔽

　　可以说 robotstxt 文件是最重要的一种渠道(能和搜索引擎建立直接对话)，给出以下建议：

　　Useragent Baiduspider

　　Disallow /

　　Useragent Googlebot

　　Disallow /

　　Useragent GooglebotMobile

　　Disallow /

　　Useragent GooglebotImage

　　Disallow/

　　Useragent MediapartnersGoogle

　　Disallow /

　　Useragent AdsbotGoogle

　　Disallow /

　　UseragentFeedfetcherGoogle

　　Disallow /

　　Useragent Yahoo Slurp

　　Disallow /

　　Useragent Yahoo Slurp China

　　Disallow /

　　Useragent YahooAdCrawler

　　Disallow /

　　Useragent YoudaoBot

　　Disallow /

　　Useragent Sosospider

　　Disallow /

　　Useragent Sogou spider

　　Disallow /

　　Useragent Sogou web spider

　　Disallow /

　　Useragent MSNBot

　　Disallow /

　　Useragent iaarchiver

　　Disallow /

　　Useragent Tomato Bot

　　Disallow /

　　Useragent

　　Disallow /

　　2、通过 meta tag 屏蔽

　　在所有的网页头部文件添加，添加如下语句：

　　：可以抓取本页，也可以顺着本页继续索引别的链接

　　：禁止抓取本页，但可以抓取跟踪本页的其它链接

　　：可以抓取本页，禁止抓取和跟踪本页的其它链接

　　：禁止抓取本页，禁止抓取和跟踪本页的其它链接

　　：禁止搜索引擎建立快照

　　3、通过服务器(如：Linux/nginx )配置文件设置

　　直接过滤 spider/robots 的IP 段。

延伸阅读

• 小程序名字修改的技巧规则

  我们都知道名字的意义，名称作为陌生人最先的认知，在物质喧嚣的时代，如何从众多名称中脱颖而出给陌人生留下一个良好且深刻的印象，这至关重要。随着小程序开发越来越多，运营者在给小程序...

• 小程序商城怎么运营？

  小程序商城在当今电商领域日益受到瞩目，成功运营这样一个平台对于每个经营者而言都至关重要。那么，我们该如何着手呢?一、确立品牌方向首先，我们要清晰地定义自己的品牌在市场中的位置。...

• 自建商城运营秘籍，吸引顾客有妙招！

  新建网站的运营与维护之道一、明确核心产品的市场定位要让新建的商城网站在竞争激烈的市场中脱颖而出，关键在于精准地定位核心产品。选择具有市场潜力的热销产品，并突出其独特之处，是吸引...

• 小程序商城推广完全指南

  随着小程序商城的日益兴起，如何在竞争激烈的市场中脱颖而出成为了关键。小程序商城的推广方式多种多样，以下是一些有效的策略：1.公众号与小程序的结合：商家可以将小程序与公众号绑定，...

• 推广引流方法有哪些，裂变营销什么意思

  推广引流方法有哪些，裂变营销什么意思除了各公域平台，另一个比较重要的引流场景，就是在微信中。一方面做信社交性强，对于身边用友的链接更紧密，微信上也会以群、公众号的形式聚集一群有...