• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • vbs
  • DOS/BAT
  • hta/htc
  • python
  • perl
  • VBA
  • ColdFusion
  • ruby
  • PowerShell
  • Lua
  • Golang
  • linux shell
您的位置:首页 > 脚本语言 >python > Python实现抓取页面上链接的简单爬虫分享

Python实现抓取页面上链接的简单爬虫分享

作者:junjie 字体:[增加 减小] 来源:互联网

junjie 通过本文主要向大家介绍了python爬虫抓取图片,python爬虫抓取文字,python爬虫抓取数据,python3爬虫抓取图片,python爬虫抓取文本等相关知识,希望对您有所帮助,也希望大家支持linkedu.com www.linkedu.com

除了C/C++以外,我也接触过不少流行的语言,PHP、java、javascript、python,其中python可以说是操作起来最方便,缺点最少的语言了。

前几天想写爬虫,后来跟朋友商量了一下,决定过几天再一起写。爬虫里重要的一部分是抓取页面中的链接,我在这里简单的实现一下。

首先我们需要用到一个开源的模块,requests。这不是python自带的模块,需要从网上下载、解压与安装:

$ curl -OL https://github.com/kennethreitz/requests/zipball/master
$ python setup.py install
</div>

windows用户直接点击下载。解压后再本地使用命令python setup.py install安装即可。 https://github.com/kennethreitz/requests/zipball/master

这个模块的文档我也正在慢慢翻译,翻译完了就给大家传上来(英文版先发在附件里)。就像它的说明里面说的那样,built for human beings,为人类而设计。使用它很方便,自己看文档。最简单的,requests.get()就是发送一个get请求。

代码如下:

# coding:utf-8
import re
import requests

# 获取网页内容
r = requests.get('http://www.163.com')
data = r.text

# 利用正则查找所有连接
link_list =re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" ,data)
for url in link_list:
    print url

</div>

首先import进re和requests模块,re模块是使用正则表达式的模块。

data = requests.get('http://www.163.com'),向网易首页提交get请求,得到一个requests对象r,r.text就是获得的网页源代码,保存在字符串data中。

再利用正则查找data中所有的链接,我的正则写的比较粗糙,直接把href=""或href=''之间的信息获取到,这就是我们要的链接信息。

re.findall返回的是一个列表,用for循环遍历列表并输出:

这是我获取到的所有连接的一部分。

上面是获取网站里所有链接的一个简单的实现,没有处理任何异常,没有考虑到超链接的类型,代码仅供参考。requests模块文档见附件。

</div>

您可能想查找下面的文章:

  • 基于python实现的抓取腾讯视频所有电影的爬虫
  • python制作爬虫并将抓取结果保存到excel中
  • Python实现抓取城市的PM2.5浓度和排名
  • Python实现抓取页面上链接的简单爬虫分享

相关文章

  • Python操作MySQL数据库9个实用实例
  • Python处理XML格式数据的方法详解
  • 深入解析Python中的变量和赋值运算符
  • Python实现包含min函数的栈
  • python根据时间生成mongodb的ObjectId的方法
  • Python检测网站链接是否已存在
  • 利用Python中unittest实现简单的单元测试实例详解
  • python计算圆周率pi的方法
  • python回调函数的使用方法
  • Python实现程序的单一实例用法分析

文章分类

  • vbs
  • DOS/BAT
  • hta/htc
  • python
  • perl
  • VBA
  • ColdFusion
  • ruby
  • PowerShell
  • Lua
  • Golang
  • linux shell

最近更新的内容

    • Python 爬虫爬取指定博客的所有文章
    • python中的函数用法入门教程
    • python实现的一只从百度开始不断搜索的小爬虫
    • python实现可以断点续传和并发的ftp程序
    • 深入解析Python编程中JSON模块的使用
    • Python3使用requests包抓取并保存网页源码的方法
    • Python 多线程抓取图片效率对比
    • Python多进程编程技术实例分析
    • Python读大数据txt
    • python基于xmlrpc实现二进制文件传输的方法

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有