• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • dedecms
  • ecshop
  • z-blog
  • UcHome
  • UCenter
  • drupal
  • WordPress
  • 帝国cms
  • phpcms
  • 动易cms
  • phpwind
  • discuz
  • 科汛cms
  • 风讯cms
  • 建站教程
  • 运营技巧
您的位置:首页 > CMS教程 >运营技巧 > 网站抓取:如何正确识别Baiduspider移动ua

网站抓取:如何正确识别Baiduspider移动ua

作者:查字典编辑 字体:[增加 减小] 来源:互联网

查字典编辑向大家介绍了网站抓取:如何正确识别Baiduspider移动ua,自学教程,网站运营教程等相关知识,希望对您有所帮助
网站抓取:如何正确识别Baiduspider移动ua1

近日,百度站长平台发布公告宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider ua,那么该如何正确识别移动ua呢?对此,百度站长平台技术专家孙权给出了答案。

新版移动ua:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +/search/spider.html)

PC ua:

Mozilla/5.0 (compatible; Baiduspider/2.0; +/search/spider.html)

之前通过“+/search/spider.html”进行识别的网站请注意!您需要修改识别方式,新的正确的识别Baiduspider移动ua的方法如下:

1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。

2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动 Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于 PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • 网站抓取:如何正确识别Baiduspider移动ua

相关文章

  • 在Linux系统的命令行中为MySQL创建用户的方法
  • SEOer怎么才能一气呵成写出文章?
  • 跨界营销:看怎样捆绑影视IP玩好它!
  • 简单了解Google的主力数据存储系统Bigtable
  • 浅谈2016年,seo这个职业该何去何从
  • 如何迅速学会一本正经胡说八道的生存技能?
  • ARP攻击防制的基本方法
  • 淘宝无线端创意图需要掌控的几点细节
  • 该怎么做竞价推广
  • 内链如何优化?网站内链优化细节及核心点分析

文章分类

  • dedecms
  • ecshop
  • z-blog
  • UcHome
  • UCenter
  • drupal
  • WordPress
  • 帝国cms
  • phpcms
  • 动易cms
  • phpwind
  • discuz
  • 科汛cms
  • 风讯cms
  • 建站教程
  • 运营技巧

最近更新的内容

    • 如何提高帖子点击
    • 详解利用七牛云存储简单托管静态网站的方法
    • SEO算法变化与对策
    • 乐视发力云计算及云平台服务推动网站整体发展
    • Google Container Engine上申请和使用Docker容器的教程
    • URL构成越简单越平常 百度越顺畅 越容易正确生效
    • APP线下推广有哪些方式?APP线下推广的几种主要方式汇总介绍
    • 如何利用网站目录最大效用的推广网站?利用网站目录推广网站的技巧
    • 四招加强Windows2003系统安全性
    • 分析新浪微博的用户管理与大数据利用经验

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有