• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • JavaScript
  • ASP.NET
  • PHP
  • 正则表达式
  • AJAX
  • JSP
  • ASP
  • Flex
  • XML
  • 编程技巧
  • Android
  • swift
  • C#教程
  • vb
  • vb.net
  • C语言
  • Java
  • Delphi
  • 易语言
  • vc/mfc
  • 嵌入式开发
  • 游戏开发
  • ios
  • 编程问答
  • 汇编语言
  • 微信小程序
  • 数据结构
  • OpenGL
  • 架构设计
  • qt
  • 微信公众号
您的位置:首页 > 程序设计 >编程问答 > 请问下面这个python35下的爬虫程序有什么错误,为什么运行正常但是不爬取图片?

请问下面这个python35下的爬虫程序有什么错误,为什么运行正常但是不爬取图片?

作者:佚名 字体:[增加 减小] 来源:互联网 时间:2017-06-07

佚名通过本文主要向大家介绍了请问下面这个python35下的爬虫程序有什么错误,为什么运行正常但是不爬取图片?等相关知识,希望对您有所帮助,也希望大家支持linkedu.com www.linkedu.com
问题:请问下面这个python35下的爬虫程序有什么错误,为什么运行正常 但是不爬取图片?
描述:

环境:OS X EI 10.11.4
python3.5

import socket

import re

import os

import sys

targetDir = r".\" # 当前目录下

def destFile(path):
    if not os.path.isdir(targetDir):
        os.mkdir(targetDir)

    pos = path.rindex('/')

    t = os.path.join(targetDir,pos[pos+1])

    return  t

if __name__ == '__main__': # 程序运行入口

    weburl = 'http://www.douban.com'

    webheaders = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:43.0) Gecko/20100101 Firefox/43.0'}

    req = urllib.request.Request(url=weburl,headers=webheaders) #构造请求报头

    webpage = urllib.request.urlopen(req)   #发送请求报头

    contentBytes = webpage.read()

    for link,t in set(re.findall(r'(http:[^\s]*?(jpg|png|gif))',str(contentBytes))): #正则表达式查找所有的图片
        print(link)

        try:
            urllib.request.urlretrieve(link,destFile(link)) #下载图片
        except:
            print('失败') #异常抛出

解决方案1:

正则表达式写错了 https://([^\s]+)\.(jpg|png|gif) 协议是https的
另外bytes到str应该用decode()而不是str()


分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • 请问下面这个python35下的爬虫程序有什么错误,为什么运行正常但是不爬取图片?

相关文章

  • 2017-06-07 请教个pdDtataFrame的问题
  • 2017-06-07 客户端直传多文件,如何设置自定义变量直接通过json返回给客户端而不需要返回业务服务器
  • 2017-06-07 [JAVA]求一个验证数字,字母不分大小写,中文汉字的正则表达式
  • 2017-06-07 靠谱的API设计(描述)语言
  • 2017-06-07 如何将jbossas加入windows服务
  • 2017-06-07 如何使用python在windows开发仿linux的消息提醒气泡(半透明圆角矩形)
  • 2017-06-07 函数调用中参数传递的问题
  • 2017-06-07 jbpm审批流程审核时出现两个开始,求解
  • 2017-06-07 codecademy中ADayattheSupermarket遇到问题
  • 2017-06-07 公有空间访问图片的url组合规则是什么?

文章分类

  • JavaScript
  • ASP.NET
  • PHP
  • 正则表达式
  • AJAX
  • JSP
  • ASP
  • Flex
  • XML
  • 编程技巧
  • Android
  • swift
  • C#教程
  • vb
  • vb.net
  • C语言
  • Java
  • Delphi
  • 易语言
  • vc/mfc
  • 嵌入式开发
  • 游戏开发
  • ios
  • 编程问答
  • 汇编语言
  • 微信小程序
  • 数据结构
  • OpenGL
  • 架构设计
  • qt
  • 微信公众号

最近更新的内容

    • android上传的uptoken怎么获取?
    • 使用用nodejs或者python或者php如何跳到12306的查询结果页面?
    • IIS:404错误设置
    • 关于flask配置gunicorn的一些问题,求指点
    • 怎样更新自定义域名下的缓存?我没有找到更新自定义域名下缓存的地方。
    • assert问题
    • 有什么辅助分析递归的方法(方法论)?
    • githubgithub证书问题
    • 指教:如何成为java技术牛人
    • shell脚本(shell)脚本程序问题

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有