robots屏蔽二级域名蜘蛛抓取 会导致主域名不收录吗？

禁止某二级域名的抓取,robots如何写

首先，你要明白robots文件怎么写！一般允许抓取的话是
allow：/www/xxx/
如果是不允许的话就是:disallow:/www/xxxx/
你如果想禁用你的二级网站的话，只需要禁用二级网站所在的文件夹就好了！例如，你的二级网站所在的文件夹是/erji/
那么，你就可以在robots加入：
disallow:/www/erji/ 就可以了！

　　robots中，屏蔽二级域名的写法：
　　User-Agent:
　　*Disallow: /
　　robots.txt一般指robots协议，（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，就可以创建和编辑它。

分情况来看，如果二级域名有独的内容，可在二级域名网站中单独设置robots ；如果二级域名和主域名的内容是一样的，则可301转向到主域名，这样主站权重集中，不分散，也有利于排名。

搜索引擎蜘蛛会把二级域名和主域名算做两个域名，分开计算权重，因此可以单独设置两个域名的robots.txt文件即可~~~