• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • JavaScript
  • ASP.NET
  • PHP
  • 正则表达式
  • AJAX
  • JSP
  • ASP
  • Flex
  • XML
  • 编程技巧
  • Android
  • swift
  • C#教程
  • vb
  • vb.net
  • C语言
  • Java
  • Delphi
  • 易语言
  • vc/mfc
  • 嵌入式开发
  • 游戏开发
  • ios
  • 编程问答
  • 汇编语言
  • 微信小程序
  • 数据结构
  • OpenGL
  • 架构设计
  • qt
  • 微信公众号
您的位置:首页 > 程序设计 >编程问答 > 重写start_requests遇到的一个怪问题?

重写start_requests遇到的一个怪问题?

作者:佚名 字体:[增加 减小] 来源:互联网 时间:2017-06-07

佚名通过本文主要向大家介绍了start requests,start requests self,requests,python requests,python requests模块等相关知识,希望对您有所帮助,也希望大家支持linkedu.com www.linkedu.com
问题:重写start_requests遇到的一个怪问题?
描述:

背景:scrapy

介绍:

#items.jl和spider放在同一目录下。
def start_requests(self):
        with open('items.jl','rb') as urls:
          for url in urls:
             print url
             link=eval(url)
             yield Request(link['url'],d
             

items.jl文件是一个json数据:
{"url": "http://onlinelibrary.wiley.com/getIdentityKey?redirectTo=http%3A%2F%2Fonlinelibrary.wiley.com%2Fdoi%2F10.1002%2Fanie.201509111%2Ffull%3Fwol1URL%3D%2Fdoi%2F10.1002%2Fanie.201509111%2Ffull&userIp=112.65.190.171&doi=10.1002%2Fanie.201509111"}

问题:

   url死活打印不出来,貌似一直进不到循坏中。
   

补充:

#items.jl和spider放在同一目录下。
with open('items.jl','rb') as urls:
              for url in urls:
                 print url
                 
这样,url是能打印出来的。

   

.............补充(代码参考来源)...............................
http://stackoverflow.com/questions/9322219/how-to-generate-the-start-urls-dynamically-in-crawling/10379463#10379463


解决方案1:

你这是定义了个生成器啊

要

for i in start_requests(): pass

才可以


分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • start_requests和make_requests_from_url的区别在哪儿?
  • 重写start_requests遇到的一个怪问题?

相关文章

  • 2017-06-07 java获得一个String字符串中第一个数字的下标,并截取后面的6位和前面的地区
  • 2017-06-07 新浪微博如何私信(python)如何得到新浪微博的热门话题前十
  • 2017-06-07 「C自动补全插件」sublimeclang的编码问题
  • 2017-06-07 (python)如何对Django的每一个URL请求进行处理
  • 2017-06-07 七牛的工单入口藏的太深了
  • 2017-06-07 Redis通过Sentinel可以实现主从切换,客户端怎么实现自动切换?
  • 2017-06-07 laravel关联模型查询
  • 2017-06-07 一个关于STL的内存问题,不懂了
  • 2017-06-07 ipcamera直播云如何接入ipcamera?
  • 2017-06-07 Python爬取网页,?

文章分类

  • JavaScript
  • ASP.NET
  • PHP
  • 正则表达式
  • AJAX
  • JSP
  • ASP
  • Flex
  • XML
  • 编程技巧
  • Android
  • swift
  • C#教程
  • vb
  • vb.net
  • C语言
  • Java
  • Delphi
  • 易语言
  • vc/mfc
  • 嵌入式开发
  • 游戏开发
  • ios
  • 编程问答
  • 汇编语言
  • 微信小程序
  • 数据结构
  • OpenGL
  • 架构设计
  • qt
  • 微信公众号

最近更新的内容

    • curl如何通过代理IP请求https网址
    • python包管理:pipsearch"xxx"为什么没有返回
    • laravel54在类的构造函数中打印Auth::check;返回的是false,在类的方法中打印又是返回true
    • 数组对比效率问题
    • (python)Scrapy如何输出中文的item类名称?
    • python学习之路指南
    • 七牛,Java,删除和上传文件时,如何判断是否成功处理?
    • Python写excel文件报错
    • 如何将jbossas加入windows服务
    • 以太网没有有效的ip配置请问没有对以太网通信进行封装的python库?

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有