百度上线“蓝天算法”，严厉打击低质软文侵扰用户
商业软文推广，对于这个词大家应该并不陌生，利用各大新闻源做推广，来影响搜索引擎的展现排序;利用新闻源软文做虚假营销，这些都是百度搜索的禁区，因为，这些内容不仅影响到用户体验，在信息的传播过程中还会错误的引导网民的消费决策。
其实，近年来百度搜索一直在通过各种手段打击低质量商业内容破坏用户体验的行为，比如之前的“冰桶系列算法、石榴算法”，都是通过内容整治减少低质量页面，让用户可以通过搜索更快更精准的访问到自己想要的信息。
近日，百度搜索正式上线“蓝天算法”，进一步打击部分新闻源站点通过出售目录的形式，收费发布低质软文，破坏用户体验的行为。
注：百度新闻源是指符合百度等搜索引擎种子新闻站的标准，新闻源内的站点是经过百度甄选，拥有高质量的、与站点自身主题相匹配的原创资讯内容，在其目标领域内具有一定的用户认知度和一定规模的新闻站点。
百度反作弊团队发现仍有部分新闻源站点通过出售软文、目录的形式，发布大量低质内容，用户在搜索时出现大量商业信息，不堪其扰。针对此情况，百度升级“蓝天算法”，旨在打击干扰用户搜索的新闻源商软现象，触发“蓝天算法”问题站点将被清理出新闻源，同时受到降低在百度搜索系统中的评价的惩罚。
百度搜索在此建议所有新闻源站点尽早自查网站内容，有则改之无则加勉。为了方便站点自查，百度站长平台特制作新闻源专题，站点可通过教育文章进行网站检查整改：https://zhanzhang.baidu.com/act/baidunews，被惩罚的站点清理相关内容后还可以再次申请新闻源，我们会根据内容整改情况判定是否符合新闻源收录要求。
“蓝天算法” 升级后将长期持续政治此类现象，并向大众开通举报通道，如有发现新闻源软文售卖行为，可通过站长平台新闻源反馈中心进行反馈情况，平台会根据内容真实性做出及时处理，还搜索用户一片健康搜索的蓝天!
反馈地址：https://zhanzhang.baidu.com/feedback
商业软文推广，对于这个词大家应该并不陌生，利用各大新闻源做推广，来影响搜索引擎的展现排序;利用新闻源软文做虚假营销，这些都是百度搜索的禁区，因为，这些内容不仅影响到用户体验，在信息的传播过程中还会错误的引导网民的消费决策。
其实，近年来百度搜索一直在通过各种手段打击低质量商业内容破坏用户体验的行为，比如之前的“冰桶系列算法、石榴算法”，都是通过内容整治减少低质量页面，让用户可以通过搜索更快更精准的访问到自己想要的信息。
近日，百度搜索正式上线“蓝天算法”，进一步打击部分新闻源站点通过出售目录的形式，收费发布低质软文，破坏用户体验的行为。
注：百度新闻源是指符合百度等搜索引擎种子新闻站的标准，新闻源内的站点是经过百度甄选，拥有高质量的、与站点自身主题相匹配的原创资讯内容，在其目标领域内具有一定的用户认知度和一定规模的新闻站点。
百度反作弊团队发现仍有部分新闻源站点通过出售软文、目录的形式，发布大量低质内容，用户在搜索时出现大量商业信息，不堪其扰。针对此情况，百度升级“蓝天算法”，旨在打击干扰用户搜索的新闻源商软现象，触发“蓝天算法”问题站点将被清理出新闻源，同时受到降低在百度搜索系统中的评价的惩罚。
百度搜索在此建议所有新闻源站点尽早自查网站内容，有则改之无则加勉。为了方便站点自查，百度站长平台特制作新闻源专题，站点可通过教育文章进行网站检查整改：https://zhanzhang.baidu.com/act/baidunews，被惩罚的站点清理相关内容后还可以再次申请新闻源，我们会根据内容整改情况判定是否符合新闻源收录要求。
“蓝天算法” 升级后将长期持续政治此类现象，并向大众开通举报通道，如有发现新闻源软文售卖行为，可通过站长平台新闻源反馈中心进行反馈情况，平台会根据内容真实性做出及时处理，还搜索用户一片健康搜索的蓝天!
反馈地址：https://zhanzhang.baidu.com/feedback
百度MIP闪电计划已开启，赶快加入享受优待
一、MIP是什么？
MIP 全称 Mobile Instant Pages，移动网页加速器，是百度提出的页面加速解决方案。
MIP从前端渲染和页面网络传输两方面进行优化，杜绝页面渲染中的堵塞问题，提升页面展现速度。
MIP 官网： www.mipengine.org
二、MIP能解决哪些问题?
网络连接优化
代码执行效率优化
资源元素生命周期
资源缓存
资源加载控制
以及更多...
三、MIP四大收益
MIP化成本：新网站按照MIP规范建立，无额外成本。已建立的千万级流量站点
1个全人力，完成MIP改造，耗时一周
1、瞬间加速:移动页面速度提升30-80%，
支持在搜索引擎中沉浸式浏览，
平均耗时最高降低80%
2、提升流量:搜索结果页专属icon，MIP页
在搜索引擎中的点击量提升可
高达13%，到达率提升5-40%
3、搜索优待:百度搜索会给予MIP结果页页
面级别优待，抓取、收录、排
序一脉相承
4、体验优化:MIP页面符合百度移动友好度
规范，页面内容将以更友好的
方式瞬时到达用户
加入计划，刻不容缓
截至目前超过10.2亿个页面完成MIP化改造
MIP闪电计划：即日起，愿意进行MIP改造的站点，请点击立即加入，
首批完成改造站点不仅可以获得MIP专属标识、搜索优待等，还可获得站长学院公开课线上听课权
点击进入：http://zhanzhang.baidu.com/act/Mipplan
一、MIP是什么？
MIP 全称 Mobile Instant Pages，移动网页加速器，是百度提出的页面加速解决方案。
MIP从前端渲染和页面网络传输两方面进行优化，杜绝页面渲染中的堵塞问题，提升页面展现速度。
MIP 官网： www.mipengine.org
二、MIP能解决哪些问题?
网络连接优化
代码执行效率优化
资源元素生命周期
资源缓存
资源加载控制
以及更多...
三、MIP四大收益
MIP化成本：新网站按照MIP规范建立，无额外成本。已建立的千万级流量站点
1个全人力，完成MIP改造，耗时一周
1、瞬间加速:移动页面速度提升30-80%，
支持在搜索引擎中沉浸式浏览，
平均耗时最高降低80%
2、提升流量:搜索结果页专属icon，MIP页
在搜索引擎中的点击量提升可
高达13%，到达率提升5-40%
3、搜索优待:百度搜索会给予MIP结果页页
面级别优待，抓取、收录、排
序一脉相承
4、体验优化:MIP页面符合百度移动友好度
规范，页面内容将以更友好的
方式瞬时到达用户
加入计划，刻不容缓
截至目前超过10.2亿个页面完成MIP化改造
MIP闪电计划：即日起，愿意进行MIP改造的站点，请点击立即加入，
首批完成改造站点不仅可以获得MIP专属标识、搜索优待等，还可获得站长学院公开课线上听课权
点击进入：http://zhanzhang.baidu.com/act/Mipplan
哪些网页无法建入索引库
上述优质网页进了索引库，那其实互联网上大部分网站根本没有被百度收录。并非是百度没有发现他们，而是在建库前的筛选环节被过滤掉了。那怎样的网页在最初环节就被过滤掉了呢：
1， 重复内容的网页：互联网上已有的内容，百度必然没有必要再收录。
2， 主体内容空短的网页
1）有些内容使用了百度spider无法解析的技术，如JS、AJAX等，虽然用户访问能看到丰富的内容，依然会被搜索引擎抛弃
2）加载速度过慢的网页，也有可能被当作空短页面处理，注意广告加载时间算在网页整体加载时间内。
3）很多主体不突出的网页即使被抓取回来也会在这个环节被抛弃。
3， 部分作弊网页
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
上述优质网页进了索引库，那其实互联网上大部分网站根本没有被百度收录。并非是百度没有发现他们，而是在建库前的筛选环节被过滤掉了。那怎样的网页在最初环节就被过滤掉了呢：
1， 重复内容的网页：互联网上已有的内容，百度必然没有必要再收录。
2， 主体内容空短的网页
1）有些内容使用了百度spider无法解析的技术，如JS、AJAX等，虽然用户访问能看到丰富的内容，依然会被搜索引擎抛弃
2）加载速度过慢的网页，也有可能被当作空短页面处理，注意广告加载时间算在网页整体加载时间内。
3）很多主体不突出的网页即使被抓取回来也会在这个环节被抛弃。
3， 部分作弊网页
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
百度优先建重要库的原则
Baiduspider抓了多少页面并不是最重要的，重要的是有多少页面被建索引库，即我们常说的“建库”。众所周知，搜索引擎的索引库是分层级的，优质的网页会被分配到重要索引库，普通网页会待在普通库，再差一些的网页会被分配到低级库去当补充材料。目前60%的检索需求只调用重要索引库即可满足，这也就解释了为什么有些网站的收录量超高流量却一直不理想。
那么，哪些网页可以进入优质索引库呢。其实总的原则就是一个：对用户的价值。包括却不仅于：
1，有时效性且有价值的页面：在这里，时效性和价值是并列关系，缺一不可。有些站点为了产生时效性内容页面做了大量采集工作，产生了一堆无价值面页，也是百度不愿看到的.
2，内容优质的专题页面：专题页面的内容不一定完全是原创的，即可以很好地把各方内容整合在一起，或者增加一些新鲜的内容，比如观点和评论，给用户更丰富全面的内容。
3，高价值原创内容页面：百度把原创定义为花费一定成本、大量经验积累提取后形成的文章。千万不要再问我们伪原创是不是原创。
4，重要个人页面：这里仅举一个例子，科比在新浪微博开户了，需要他不经常更新，但对于百度来说，它仍然是一个极重要的页面。
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
Baiduspider抓了多少页面并不是最重要的，重要的是有多少页面被建索引库，即我们常说的“建库”。众所周知，搜索引擎的索引库是分层级的，优质的网页会被分配到重要索引库，普通网页会待在普通库，再差一些的网页会被分配到低级库去当补充材料。目前60%的检索需求只调用重要索引库即可满足，这也就解释了为什么有些网站的收录量超高流量却一直不理想。
那么，哪些网页可以进入优质索引库呢。其实总的原则就是一个：对用户的价值。包括却不仅于：
1，有时效性且有价值的页面：在这里，时效性和价值是并列关系，缺一不可。有些站点为了产生时效性内容页面做了大量采集工作，产生了一堆无价值面页，也是百度不愿看到的.
2，内容优质的专题页面：专题页面的内容不一定完全是原创的，即可以很好地把各方内容整合在一起，或者增加一些新鲜的内容，比如观点和评论，给用户更丰富全面的内容。
3，高价值原创内容页面：百度把原创定义为花费一定成本、大量经验积累提取后形成的文章。千万不要再问我们伪原创是不是原创。
4，重要个人页面：这里仅举一个例子，科比在新浪微博开户了，需要他不经常更新，但对于百度来说，它仍然是一个极重要的页面。
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
新链接重要程度判断
好啦，上面我们说了影响Baiduspider正常抓取的原因，下面就要说说Baiduspider的一些判断原则了。在建库环节前，Baiduspide会对页面进行初步内容分析和链接分析，通过内容分析决定该网页是否需要建索引库，通过链接分析发现更多网页，再对更多网页进行抓取——分析——是否建库&发现新链接的流程。理论上，Baiduspider会将新页面上所有能“看到”的链接都抓取回来，那么面对众多新链接，Baiduspider根据什么判断哪个更重要呢？两方面：
第一，对用户的价值：
1，内容独特，百度搜索引擎喜欢unique的内容
2，主体突出，切不要出现网页主体内容不突出而被搜索引擎误判为空短页面不抓取
3，内容丰富
4，广告适当
第二，链接重要程度：
1，目录层级——浅层优先
2，链接在站内的受欢迎程度
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
好啦，上面我们说了影响Baiduspider正常抓取的原因，下面就要说说Baiduspider的一些判断原则了。在建库环节前，Baiduspide会对页面进行初步内容分析和链接分析，通过内容分析决定该网页是否需要建索引库，通过链接分析发现更多网页，再对更多网页进行抓取——分析——是否建库&发现新链接的流程。理论上，Baiduspider会将新页面上所有能“看到”的链接都抓取回来，那么面对众多新链接，Baiduspider根据什么判断哪个更重要呢？两方面：
第一，对用户的价值：
1，内容独特，百度搜索引擎喜欢unique的内容
2，主体突出，切不要出现网页主体内容不突出而被搜索引擎误判为空短页面不抓取
3，内容丰富
4，广告适当
第二，链接重要程度：
1，目录层级——浅层优先
2，链接在站内的受欢迎程度
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
造成Baiduspider抓取异常的原因
有一些网页，内容优质，用户也可以正常访问，但是Baiduspider却无法正常访问并抓取，造成搜索结果覆盖率缺失，对百度搜索引擎对站点都是一种损失，百度把这种情况叫“抓取异常”。对于大量内容无法正常抓取的网站，百度搜索引擎会认为网站存在用户体验上的缺陷，并降低对网站的评价，在抓取、索引、排序上都会受到一定程度的负面影响，最终影响到网站从百度获取的流量。
下面向站长介绍一些常见的抓取异常原因:
1，服务器连接异常
服务器连接异常会有两种情况：一种是站点不稳定，Baiduspider尝试连接您网站的服务器时出现暂时无法连接的情况；一种是Baiduspider一直无法连接上您网站的服务器。
造成服务器连接异常的原因通常是您的网站服务器过大，超负荷运转。也有可能是您的网站运行不正常，请检查网站的web服务器（如apache、iis）是否安装且正常运行，并使用浏览器检查主要页面能否正常访问。您的网站和主机还可能阻止了Baiduspider的访问，您需要检查网站和主机的防火墙。
2，网络运营商异常：网络运营商分电信和联通两种，Baiduspider通过电信或网通无法访问您的网站。如果出现这种情况，您需要与网络服务运营商进行联系，或者购买拥有双线服务的空间或者购买cdn服务。
3，DNS异常：当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。
4，IP封禁：IP封禁为：限制网络的出口IP地址，禁止该IP段的使用者进行内容访问，在这里特指封禁了BaiduspiderIP。当您的网站不希望Baiduspider访问时，才需要该设置，如果您希望Baiduspider访问您的网站，请检查相关设置中是否误添加了BaiduspiderIP。也有可能是您网站所在的空间服务商把百度IP进行了封禁，这时您需要联系服务商更改设置。
5，UA封禁：UA即为用户代理（User-Agent），服务器通过UA识别访问者的身份。当网站针对指定UA的访问，返回异常页面（如403，500）或跳转到其他页面的情况，即为UA封禁。当您的网站不希望Baiduspider访问时，才需要该设置，如果您希望Baiduspider访问您的网站，useragent相关的设置中是否有Baiduspider UA，并及时修改。
6，死链：页面已经无效，无法对用户提供任何有价值信息的页面就是死链接，包括协议死链和内容死链两种形式:
协议死链：页面的TCP协议状态/HTTP协议状态明确表示的死链，常见的如404、403、503状态等。
内容死链：服务器返回状态是正常的，但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。
对于死链，我们建议站点使用协议死链，并通过百度站长平台--死链工具向百度提交，以便百度更快地发现死链，减少死链对用户以及搜索引擎造成的负面影响。
7，异常跳转：将网络请求重新指向其他位置即为跳转。异常跳转指的是以下几种情况：
1）当前该页面为无效页面（内容已删除、死链等），直接跳转到前一目录或者首页，百度建议站长将该无效页面的入口超链接删除掉
2）跳转到出错或者无效页面
注意：对于长时间跳转到其他域名的情况，如网站更换域名，百度建议使用301跳转协议进行设置。
8，其他异常：
1）针对百度refer的异常：网页针对来自百度的refer返回不同于正常内容的行为。
2）针对百度ua的异常：网页对百度UA返回不同于页面原内容的行为。
3）JS跳转异常：网页加载了百度无法识别的JS跳转代码，使得用户通过搜索结果进入页面后发生了跳转的情况。
4）压力过大引起的偶然封禁：百度会根据站点的规模、访问量等信息，自动设定一个合理的抓取压力。但是在异常情况下，如压力控制失常时，服务器会根据自身负荷进行保护性的偶然封禁。这种情况下，请在返回码中返回503(其含义是“Service Unavailable”)，这样Baiduspider会过段时间再来尝试抓取这个链接，如果网站已空闲，则会被成功抓取。
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
有一些网页，内容优质，用户也可以正常访问，但是Baiduspider却无法正常访问并抓取，造成搜索结果覆盖率缺失，对百度搜索引擎对站点都是一种损失，百度把这种情况叫“抓取异常”。对于大量内容无法正常抓取的网站，百度搜索引擎会认为网站存在用户体验上的缺陷，并降低对网站的评价，在抓取、索引、排序上都会受到一定程度的负面影响，最终影响到网站从百度获取的流量。
下面向站长介绍一些常见的抓取异常原因:
1，服务器连接异常
服务器连接异常会有两种情况：一种是站点不稳定，Baiduspider尝试连接您网站的服务器时出现暂时无法连接的情况；一种是Baiduspider一直无法连接上您网站的服务器。
造成服务器连接异常的原因通常是您的网站服务器过大，超负荷运转。也有可能是您的网站运行不正常，请检查网站的web服务器（如apache、iis）是否安装且正常运行，并使用浏览器检查主要页面能否正常访问。您的网站和主机还可能阻止了Baiduspider的访问，您需要检查网站和主机的防火墙。
2，网络运营商异常：网络运营商分电信和联通两种，Baiduspider通过电信或网通无法访问您的网站。如果出现这种情况，您需要与网络服务运营商进行联系，或者购买拥有双线服务的空间或者购买cdn服务。
3，DNS异常：当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。
4，IP封禁：IP封禁为：限制网络的出口IP地址，禁止该IP段的使用者进行内容访问，在这里特指封禁了BaiduspiderIP。当您的网站不希望Baiduspider访问时，才需要该设置，如果您希望Baiduspider访问您的网站，请检查相关设置中是否误添加了BaiduspiderIP。也有可能是您网站所在的空间服务商把百度IP进行了封禁，这时您需要联系服务商更改设置。
5，UA封禁：UA即为用户代理（User-Agent），服务器通过UA识别访问者的身份。当网站针对指定UA的访问，返回异常页面（如403，500）或跳转到其他页面的情况，即为UA封禁。当您的网站不希望Baiduspider访问时，才需要该设置，如果您希望Baiduspider访问您的网站，useragent相关的设置中是否有Baiduspider UA，并及时修改。
6，死链：页面已经无效，无法对用户提供任何有价值信息的页面就是死链接，包括协议死链和内容死链两种形式:
协议死链：页面的TCP协议状态/HTTP协议状态明确表示的死链，常见的如404、403、503状态等。
内容死链：服务器返回状态是正常的，但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。
对于死链，我们建议站点使用协议死链，并通过百度站长平台--死链工具向百度提交，以便百度更快地发现死链，减少死链对用户以及搜索引擎造成的负面影响。
7，异常跳转：将网络请求重新指向其他位置即为跳转。异常跳转指的是以下几种情况：
1）当前该页面为无效页面（内容已删除、死链等），直接跳转到前一目录或者首页，百度建议站长将该无效页面的入口超链接删除掉
2）跳转到出错或者无效页面
注意：对于长时间跳转到其他域名的情况，如网站更换域名，百度建议使用301跳转协议进行设置。
8，其他异常：
1）针对百度refer的异常：网页针对来自百度的refer返回不同于正常内容的行为。
2）针对百度ua的异常：网页对百度UA返回不同于页面原内容的行为。
3）JS跳转异常：网页加载了百度无法识别的JS跳转代码，使得用户通过搜索结果进入页面后发生了跳转的情况。
4）压力过大引起的偶然封禁：百度会根据站点的规模、访问量等信息，自动设定一个合理的抓取压力。但是在异常情况下，如压力控制失常时，服务器会根据自身负荷进行保护性的偶然封禁。这种情况下，请在返回码中返回503(其含义是“Service Unavailable”)，这样Baiduspider会过段时间再来尝试抓取这个链接，如果网站已空闲，则会被成功抓取。
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
Baiduspider抓取频次原则及调整方法
Baiduspider根据上述网站设置的协议对站点页面进行抓取，但是不可能做到对所有站点一视同仁，会综合考虑站点实际情况确定一个抓取配额，每天定量抓取站点内容，即我们常说的抓取频次。那么百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢，主要指标有四个：
1，网站更新频率：更新快多来，更新慢少来，直接影响Baiduspider的来访频率
2，网站更新质量：更新频率提高了，仅仅是吸引了Baiduspier的注意，Baiduspider对质量是有严格要求的，如果网站每天更新出的大量内容都被Baiduspider判定为低质页面，依然没有意义。
3，连通度：网站应该安全稳定、对Baiduspider保持畅通，经常给Baiduspider吃闭门羹可不是好事情
4，站点评价：百度搜索引擎对每个站点都会有一个评价，且这个评价会根据站点情况不断变化，是百度搜索引擎对站点的一个基础打分（绝非外界所说的百度权重），是百度内部一个非常机密的数据。站点评级从不独立使用，会配合其它因子和阈值一起共同影响对网站的抓取和排序。
抓取频次间接决定着网站有多少页面有可能被建库收录，如此重要的数值如果不符合站长预期该如何调整呢？百度站长平台提供了抓取频次工具（http://zhanzhang.baidu.com/pressure/index），并已完成多次升级。该工具除了提供抓取统计数据外，还提供“频次调整”功能，站长根据实际情况向百度站长平台提出希望Baiduspider增加来访或减少来访的请求，工具会根据站长的意愿和实际情况进行调整。
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
Baiduspider根据上述网站设置的协议对站点页面进行抓取，但是不可能做到对所有站点一视同仁，会综合考虑站点实际情况确定一个抓取配额，每天定量抓取站点内容，即我们常说的抓取频次。那么百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢，主要指标有四个：
1，网站更新频率：更新快多来，更新慢少来，直接影响Baiduspider的来访频率
2，网站更新质量：更新频率提高了，仅仅是吸引了Baiduspier的注意，Baiduspider对质量是有严格要求的，如果网站每天更新出的大量内容都被Baiduspider判定为低质页面，依然没有意义。
3，连通度：网站应该安全稳定、对Baiduspider保持畅通，经常给Baiduspider吃闭门羹可不是好事情
4，站点评价：百度搜索引擎对每个站点都会有一个评价，且这个评价会根据站点情况不断变化，是百度搜索引擎对站点的一个基础打分（绝非外界所说的百度权重），是百度内部一个非常机密的数据。站点评级从不独立使用，会配合其它因子和阈值一起共同影响对网站的抓取和排序。
抓取频次间接决定着网站有多少页面有可能被建库收录，如此重要的数值如果不符合站长预期该如何调整呢？百度站长平台提供了抓取频次工具（http://zhanzhang.baidu.com/pressure/index），并已完成多次升级。该工具除了提供抓取统计数据外，还提供“频次调整”功能，站长根据实际情况向百度站长平台提出希望Baiduspider增加来访或减少来访的请求，工具会根据站长的意愿和实际情况进行调整。
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
刚才提到百度搜索引擎会设计复杂的抓取策略，其实搜索引擎与资源提供者之间存在相互依赖的关系，其中搜索引擎需要站长为其提供资源，否则搜索引擎就无法满足用户检索需求；而站长需要通过搜索引擎将自己的 内容推广出去获取更多的受众。spider抓取系统直接涉及互联网资源提供者的利益，为了使搜素引擎与站长能够达到双赢，在抓取过程中双方必须遵守一定的 规范，以便于双方的数据处理及对接。这种过程中遵守的规范也就是日常中我们所说的一些网络协议。
以下简单列举：
http协议：超文本传输协议，是互联网上应用最为广泛的一种网络协议，客户端和服务器端请求和应答的标准。客户端一般情况是指终端用户，服务器端即指网 站。终端用户通过浏览器、蜘蛛等向服务器指定端口发送http请求。发送http请求会返回对应的httpheader信息，可以看到包括是否成功、服务 器类型、网页最近更新时间等内容。
https协议：实际是加密版http，一种更加安全的数据传输协议。
UA属性：UA即user-agent，是http协议中的一个属性，代表了终端的身份，向服务器端表明我是谁来干嘛，进而服务器端可以根据不同的身份来做出不同的反馈结果。
robots协议：robots.txt是搜索引擎访问一个网站时要访问的第一个文件，用以来确定哪些是被允许抓取的哪些是被禁止抓取的。 robots.txt必须放在网站根目录下，且文件名要小写。详细的robots.txt写法可参考 http://www.robotstxt.org 。百度严格按照robots协议执行，另外，同样支持网页内容中添加的名为robots的meta标 签，index、follow、nofollow等指令。
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
以下简单列举：
http协议：超文本传输协议，是互联网上应用最为广泛的一种网络协议，客户端和服务器端请求和应答的标准。客户端一般情况是指终端用户，服务器端即指网 站。终端用户通过浏览器、蜘蛛等向服务器指定端口发送http请求。发送http请求会返回对应的httpheader信息，可以看到包括是否成功、服务 器类型、网页最近更新时间等内容。
https协议：实际是加密版http，一种更加安全的数据传输协议。
UA属性：UA即user-agent，是http协议中的一个属性，代表了终端的身份，向服务器端表明我是谁来干嘛，进而服务器端可以根据不同的身份来做出不同的反馈结果。
robots协议：robots.txt是搜索引擎访问一个网站时要访问的第一个文件，用以来确定哪些是被允许抓取的哪些是被禁止抓取的。 robots.txt必须放在网站根目录下，且文件名要小写。详细的robots.txt写法可参考 http://www.robotstxt.org 。百度严格按照robots协议执行，另外，同样支持网页内容中添加的名为robots的meta标 签，index、follow、nofollow等指令。
相关文章：
哪些网页无法建入索引库
百度优先建重要库的原则
新链接重要程度判断
造成Baiduspider抓取异常的原因
Baiduspider抓取频次原则及调整方法
Baiduspider抓取过程中涉及的网络协议
Baiduspider 主要抓取策略类型
Spider抓取系统的基本框架
