• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • dedecms
  • ecshop
  • z-blog
  • UcHome
  • UCenter
  • drupal
  • WordPress
  • 帝国cms
  • phpcms
  • 动易cms
  • phpwind
  • discuz
  • 科汛cms
  • 风讯cms
  • 建站教程
  • 运营技巧
您的位置:首页 > CMS教程 >运营技巧 > 网站抓取:如何正确识别Baiduspider移动ua

网站抓取:如何正确识别Baiduspider移动ua

作者:查字典编辑 字体:[增加 减小] 来源:互联网 时间:2022-05-05

查字典编辑向大家介绍了网站抓取:如何正确识别Baiduspider移动ua,自学教程,网站运营教程等相关知识,希望对您有所帮助
网站抓取:如何正确识别Baiduspider移动ua1

近日,百度站长平台发布公告宣布新版Baiduspider移动ua上线,同时公布了PC版Baiduspider ua,那么该如何正确识别移动ua呢?对此,百度站长平台技术专家孙权给出了答案。

新版移动ua:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +/search/spider.html)

PC ua:

Mozilla/5.0 (compatible; Baiduspider/2.0; +/search/spider.html)

之前通过“+/search/spider.html”进行识别的网站请注意!您需要修改识别方式,新的正确的识别Baiduspider移动ua的方法如下:

1. 通过关键词“Android”或者“Mobile”来进行识别,判断为移动访问或者抓取。

2. 通过关键词“Baiduspider/2.0”,判断为百度爬虫。

另外需要强调的是,对于robots封禁,如果封禁的agent是Baiduspider,会对PC和移动同时生效。即,无论是PC还是移动 Baiduspider,都不会对封禁对象进行抓取。之所以要强调这一点,是发现有些代码适配站点(同一个url,PC ua打开的时候是PC页,移动ua打开的时候是移动页),想通过设置robots的agent封禁达到只让移动Baiduspider抓取的目的,但由于 PC和移动Baiduspider的agent都是Baiduspider,这种方法是非常不可取的。

分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • 网站抓取:如何正确识别Baiduspider移动ua

相关文章

  • 2022-05-05刚刚起步的新站怎么做SEO?
  • 2022-05-05如何有效的优化网页的加载速度?优化网页速度的7种方法
  • 2022-05-05怎么分析关键词的竞争程度
  • 2022-05-05网站做百度推广的创意怎样撰写
  • 2022-05-05网站主关键词怎么选择
  • 2022-05-05移动化友好度建设要注意哪些?织梦移动化友好度建设注意事项总结
  • 2022-05-05百度云的免费CDN加速的用法与简单评测
  • 2022-05-05禁止搜索引擎收录:robots.txt文件详解
  • 2022-05-05SEO都有哪些赚钱的方式? SEO的十种赚钱方式详解
  • 2022-05-05什么是SEO核心关键词?如何筛选SEO核心关键词?

文章分类

  • dedecms
  • ecshop
  • z-blog
  • UcHome
  • UCenter
  • drupal
  • WordPress
  • 帝国cms
  • phpcms
  • 动易cms
  • phpwind
  • discuz
  • 科汛cms
  • 风讯cms
  • 建站教程
  • 运营技巧

最近更新的内容

    • 我们应该如何看待seo优化工作?
    • 做SEO应该从细节出发
    • 网站真的必须定期更新内容吗?网站定期更新内容的理由
    • 网站友情链接的作用有哪些? 友情链接对网站的好处
    • 如何控制网站跳出率
    • 网站索引量大减怎么办?
    • 效果杠杠滴!另类的推广方法
    • 移动搜索优化策略及网站移动化痛点
    • 超赞!有哪些将侧边导航玩得特别出彩的网站?
    • Moniker 域名站内转移Push方法(图文)

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有