The Robots meta标签nofollow,noindex值的作用

大家都知道robots.txt是为爬虫协议，是针对搜索引擎规则设置的文件。理论上搜索引擎的爬虫蜘蛛在爬行你的网页之前都会先访问这个文件。看看你具体设置了哪些规则，哪些内容希望内收录，哪些内容禁止被收录。这些都是通过根目录下的robots.txt文件来操作完成，这个文件相当于与搜索引擎对话的指定文件。其实robots开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签。   大家对robots.txt接触的比较多，然而对the robots meta标签可能使用的比较少。其实两者各有利弊组合搭配使用的话对优化来说效果才最好。the robots meta也可用作禁止搜索引擎收录和传递权重，就连国内的知名网站也会使用这些标签。如下图是网易首页代码：  ...