• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • vbs
  • DOS/BAT
  • hta/htc
  • python
  • perl
  • VBA
  • ColdFusion
  • ruby
  • PowerShell
  • Lua
  • Golang
  • linux shell
您的位置:首页 > 脚本语言 >python > python正则匹配抓取豆瓣电影链接和评论代码分享

python正则匹配抓取豆瓣电影链接和评论代码分享

作者: 字体:[增加 减小] 来源:互联网

通过本文主要向大家介绍了python核心编程豆瓣,python 豆瓣源,python数据分析 豆瓣,python 豆瓣,python基础教程 豆瓣等相关知识,希望对您有所帮助,也希望大家支持linkedu.com www.linkedu.com

def movie(movieTag):

    tagUrl=urllib.request.urlopen(url)
    tagUrl_read = tagUrl.read().decode('utf-8')
    return tagUrl_read

def subject(tagUrl_read):

    '''
        这里还存在问题:
        ①这只针对单独的一页进行排序,而没有对全部页面的电影进行排序
        ②下次更新添加电影链接,考虑添加电影海报
        ③需要追加列表
        ④导入到本地txt或excel中
        ⑤在匹配电影名字时是否可以同时匹配链接与名字、评分、评论组成数组
        ⑥
    '''
#正则表达式匹配电影的名字(链接)、评分与评论   
    nameURL = re.findall(r'(http://movie.douban.com/subject/[0-9.]+)\/"\s+title="(.+)"',tagUrl_read)
    scoreURL = re.findall(r'<span\s+class="rating_nums">([0-9.]+)<\/span>',tagUrl_read)
    evaluateURL = re.findall(r'<span\s+class="pl">\((\w+)人评价\)<\/span>',tagUrl_read)
    movieLists = list(zip(nameURL,scoreURL,evaluateURL))
    newlist.extend(movieLists)
    return newlist

#用quote处理特殊(中文)字符
movie_type = urllib.request.quote(input('请输入电影类型(如剧情、喜剧、悬疑):'))
page_end=int(input('请输入搜索结束时的页码:'))
num_end=page_end*20
num=0
page_num=1
newlist=[]
while num<num_end:
    url=r'http://movie.douban.com/tag/%s?start=%d'%(movie_type,num)
    movie_url = movie(url)
    subject_url=subject(movie_url)
    num=page_num*20
    page_num+=1
else:
    #使用sorted函数对列表进行排列,reverse参数为True时升序,默认或False时为降序, key=lambda还不是很明白这里的原理
    movieLIST = sorted(newlist, key=lambda movieList : movieList[1],reverse = True)
    for movie in movieLIST:
        print(movie)

time.sleep(3)

print('结束')
</div>

</div>

您可能想查找下面的文章:

  • python正则匹配抓取豆瓣电影链接和评论代码分享

相关文章

  • python处理图片之PIL模块简单使用方法
  • Python字符串转换成浮点数函数分享
  • 在Django中同时使用多个配置文件的方法
  • 教大家使用Python SqlAlchemy
  • 编写Python爬虫抓取暴走漫画上gif图片的实例分享
  • Python过滤列表用法实例分析
  • Python读写unicode文件的方法
  • 简单上手Python中装饰器的使用
  • 详解Python多线程
  • Python 元类使用说明

文章分类

  • vbs
  • DOS/BAT
  • hta/htc
  • python
  • perl
  • VBA
  • ColdFusion
  • ruby
  • PowerShell
  • Lua
  • Golang
  • linux shell

最近更新的内容

    • Django Highcharts制作图表
    • Python实现检测服务器是否可以ping通的2种方法
    • 详解Python中的__init__和__new__
    • 探索Python3.4中新引入的asyncio模块
    • Python制作爬虫采集小说
    • python实现逻辑回归的方法示例
    • Python基于checksum计算文件是否相同的方法
    • Python pickle模块用法实例
    • python的Template使用指南
    • Python内置函数bin() oct()等实现进制转换

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有