• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • vbs
  • DOS/BAT
  • hta/htc
  • python
  • perl
  • VBA
  • ColdFusion
  • ruby
  • PowerShell
  • Lua
  • Golang
  • linux shell
您的位置:首页 > 脚本语言 >python > Python中使用asyncio 封装文件读写

Python中使用asyncio 封装文件读写

作者: 字体:[增加 减小] 来源:互联网

通过本文主要向大家介绍了python asyncio,asyncio,@asyncio.coroutine,asyncio.sleep,python 文件读写等相关知识,希望对您有所帮助,也希望大家支持linkedu.com www.linkedu.com

前言

和网络 IO 一样,文件读写同样是一个费事的操作。

默认情况下,Python 使用的是系统的阻塞读写。这意味着在 asyncio 中如果调用了

f = file('xx')
f.read()
</div>

会阻塞事件循环。

本篇简述如何用 asyncio.Future 对象来封装文件的异步读写。

代码在 GitHub。目前仅支持 Linux。

阻塞和非阻塞

首先需要将文件的读写改为非阻塞的形式。在非阻塞情况下,每次调用 read 都会立即返回,如果返回值为空,则意味着文件操作还未完成,反之则是读取的文件内容。

阻塞和非阻塞的切换与操作系统有关,所以本篇暂时只写了 Linux 版本。如果有过 Unix 系统编程经验,会发现 Python 的操作是类似的。

flag = fcntl.fcntl(self.fd, fcntl.F_GETFL) 
if fcntl.fcntl(self.fd, fcntl.F_SETFL, flag | os.O_NONBLOCK) != 0: 
  raise OSError() 
</div>

Future 对象

Future 对象类似 Javascript 中的 Promise 对象。它是一个占位符,其值会在将来被计算出来。我们可以使用

result = await future

在 future 得到值之后返回。而使用

future.set_result(xxx)

就可以设置 future 的值,也意味着 future 可以被返回了。await 操作符会自动调用 future.result() 来得到值。

loop.call_soon

通过 loop.call_soon 方法可以将一个函数插入到事件循环中。

至此,我们的异步文件读写思路也就出来了。通过 loop.call_soon 调用非阻塞读写文件的函数。若一次文件读写没有完成,则计算剩余所学读写的字节数,并再次插入事件循环直至读写完毕。

可以发现其就是把传统 Unix 编程里,非阻塞文件读写的 while 循环换成了 asyncio 的事件循环。

下面是这一过程的示意代码。

def read_step(self, future, n, total):
  res = self.fd.read(n)
  if res is None:
    self.loop.call_soon(self.read_step, future, n, total)
    return
  if not res: # EOF
    future.set_result(bytes(self.rbuffer))
    return
  self.rbuffer.extend(res)
  self.loop.call_soon(self.read_step, future, self.BLOCK_SIZE, total)

def read(self, n=-1):
  future = asyncio.Future(loop=self.loop)

  self.rbuffer.clear()
  self.loop.call_soon(self.read_step, future, min(self.BLOCK_SIZE, n), n)

  return future
</div>

</div>

您可能想查找下面的文章:

  • 基于asyncio 异步协程框架实现收集B站直播弹幕
  • asyncio 的 coroutine对象 与 Future对象使用指南
  • Python中使用asyncio 封装文件读写
  • 在Python3中使用asyncio库进行快速数据抓取的教程

相关文章

  • 简单介绍Python中的filter和lambda函数的使用
  • Python运算符重载用法实例
  • 使用python实现拉钩网上的FizzBuzzWhizz问题示例
  • 使用Python编写简单的画图板程序的示例教程
  • 详解Python中的type()方法的使用
  • Python命名空间详解
  • 让python同时兼容python2和python3的8个技巧分享
  • Python查询Mysql时返回字典结构的代码
  • Python使用scrapy抓取网站sitemap信息的方法
  • 详解Django框架中用户的登录和退出的实现

文章分类

  • vbs
  • DOS/BAT
  • hta/htc
  • python
  • perl
  • VBA
  • ColdFusion
  • ruby
  • PowerShell
  • Lua
  • Golang
  • linux shell

最近更新的内容

    • python解析基于xml格式的日志文件
    • 在Python 3中实现类型检查器的简单方法
    • Python中使用OpenCV库来进行简单的气象学遥感影像计算
    • Python中的条件判断语句与循环语句用法小结
    • pycharm中连接mysql数据库的步骤详解
    • 使用PyInstaller将Python程序文件转换为可执行程序文件
    • c++生成dll使用python调用dll的方法
    • python文件操作之目录遍历实例分析
    • 详解Python中的Descriptor描述符类
    • python使用nntp读取新闻组内容的方法

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有