百度spider专家现场QA集锦:抓取建库篇

  • A+
广告也精彩

百度spider专家孙权在2016年百度在大发快3上海 举办的大发快3vip 大讲堂上作了一场与大发快3站长 面对面的大发快3培训 交流,针对与会大发快3站长 提出的各种问题,一一作了解答。本文将大发快3培训 现场抖出的干货整理如下,各位同行可以通过QA记录看看自己心中的疑问是否已被解答。

百度spider专家现场QA集锦:抓取建库篇

问:为什么收录量像坐过山车一样的,还有为什么有些网页今天在明天就没了?

答:百度会周期建库,且每个库的收录量是恒定的,大发快3你 老是有新增,肯定会再从库里淘汰一些,反正总是保持那个库是满的。在建库的过程中,大发快3你 会感觉有波动。具体的怎么筛,哪个页面会留下哪个页面会淘汰,这个策略是有很多的,他随着时间的变化,收录的标准策略也是在发生微调

问:大发快3大发快3我 们 站点使用CDN加速会不会比较容易造成蜘蛛无法抓取?因为有时候修改掉他绑定的什么东西。

答:如果要修改掉一定要通知到上一级,现在不存在这个问题,现在大发快3你 如果修改掉也可以解析掉,之前可能会存在这个问题。

问:大发快3你 们百度自己也有一个CDN加速,对抓录排名有没有影响?

答:在使用CDN加速这个问题上,大发快3大发快3我 们 对所有站点一视同仁。但大发快3我 建议大发快3你 使用大发快3技术 能力强的CDN大发快3服务 商,保证站点的稳定和速度,百度会更喜欢。【本人之前使用过百度的CDN加速,对网站的排名有不太好的影响,所以建议大家还是不要使用百度CDN加速】

问:刚才您说IP上的站点数不能太多,那CDN这种情况怎么办?

答:CDN的情况另说,如果大发快3大发快3我 们 识别出来是CDN的话不会受站点数量的影响,如果大发快3你 是提供独立IP的话会有这样一些问题。【百度spider专家在现场课程中说到了,同一个IP大发快3地址 上的站点数量不能太多,所以建议大家不要把自己的多个网站都放在一个IP上,也尽量购买独立IP主机.】

问:还是IP上站点数量的问题,如果是主域跟二级域名呢?也受数量限制?

答:大发快3我 说的是独立域名。当然质量比较好的二级域名也可以认为是独立域名

问:多个域名,他有相同的一些内容,怎么建库?

答:如果是多域名在同一个主域下面有相同内容的话,不可能所有都建库,而且被建库的那个可能不是大发快3你 希望的那个,所以尽量不要有相同的内容。【根据该回答,建议做站群的大发快3企业 ,且各个网站有相同内容,尽量把各个网站放置在不同IP】

问:刚才讲的IP如果是多域名的话,好几百个IP域名,现在大发快3大发快3我 们 也用了CDN,按照刚才的说法,单个IP最多抓多少?1000万是说对站点还是对IP?

答:对IP,但1000万是大发快3我 举例,不是实际的数据,这个数据不会分享出来的

问:现在大发快3我 的网站被很多蜘蛛爬,大发快3我 想只让百度蜘蛛爬,百度蜘蛛IP多少?能设白名单么?

答:百度蜘蛛IP是不断变的,现在网上的确有一些白名单的说法,暂时是有效的,但不保证今后不会变,所以建议站点还是通过ua进行判断,大发快3大发快3我 们 百度大发快3站长 平台上有相关的文章,大发快3你 可以找一下。

问:如果大发快3我 写robots只想禁掉动态链接的话,会不会影响动态参数前面正常链接的抓取?

答:不会的,大发快3你 原来的页面还在,肯定会抓。

问:比如大发快3大发快3我 们 一个域名www.abcde.com,大发快3大发快3我 们 想把带?号的url全部禁掉,大发快3首页 大发快3大发快3我 们 不要禁掉,怎么弄?

答:?前面有个*,后面再有个*就可以了。

问:大发快3我 想了解,如果大发快3我 现在收录有5万,大概多长时间才能把大发快3我 原来收录5万重新抓取一遍?

答:不同站点不好说,一个是大发快3你 站点做的很好,知名度很响更新很快质量很好就会快;如果大发快3你 的站点默默无闻,贡献很少,可能就会很慢。

(接上个问题)

问:就是差不多的情况,大概。

答:这个没有人能估出来。

问:百度大发快3站长 平台上有数据提交的大发快3工具 ,大发快3大发快3我 们 实时提交,大发快3你 们也会实时抓取吗?

答:不会,他会有一层判断。现在只是通知大发快3你 提交成功,后面什么时候抓,什么时候建库没有,大发快3大发快3我 们 正在研究要不要把这个分享出来。

问:大发快3我 网站有一些列表页,都没有链接,担心百度抓不到

答:现在百度大发快3站长 平台的站内大发快3搜索 大发快3工具 有一个绿色收录通道,在那里提交种子页,大发快3大发快3我 们 就知道的。

(接上个问题)

问:提交种子页面必须要用站搜?

答:是的。

问:如果说页面里url特别多的话,蜘蛛会不会有选择性的进行抓取?

答:不会,他都会一个不漏给大发快3你 提出来,但会把JS、CSS这样的链接给过滤掉。但请注意,全部抓取过来之后会进行筛选,并不是所有都会建库

问:现在很多网站都有自己的站内大发快3搜索 ,都会产生站内大发快3搜索 结果页,百度不喜欢大发快3搜索 结果页的话,大发快3大发快3我 们 用这个会不会对大发快3大发快3我 们 有影响?只是不喜欢还是对大发快3大发快3我 们 网站会有惩罚

答:蜘蛛会去抓,抓完之后重要是提取里面的链接。如果只有一两条这样的页面质量不好问题不大,如果整体质量较差,有可能受到惩罚。

问:新出的时效性文章当时没有被收录,后期是否还会被收录?

答:会

问:站点每天最高爬虫多少次?

答:这个其实说不好,有的站点大发快3大发快3我 们 一天会抓一两千万,有的站点只抓几个、几十个,看大发快3你 的规模和质量,而且这个抓取量也是会根据网站的情况进行调整的。

  • 大发快3我 的微信
  • 这是大发快3我 的微信扫一扫
  • weinxin
  • 大发快3推荐 大发快3公众号
  • 文元说销
  • weinxin
广告也精彩
吴 文元

评论已关闭!

目前评论:1   其中:访客  1   博主  0

    • 老碗面 老碗面 0

      干货很多,值得研究研究