如何在Python的线程中运行协程

 在一篇文章理解Python异步编程的基本原理这篇文章中,我们讲到,如果在异步代码里面又包含了一段非常耗时的同步代码,异步代码就会被卡住。

那么有没有办法让同步代码与异步代码看起来也是同时运行的呢?方法就是使用事件循环的.run_in_executor()方法。

我们来看一下 Python 官方文档[1]中的说法:

那么怎么使用呢?还是以非常耗时的递归方式计算斐波那契数列的这个函数为例:

 
 
 
 
  1. def sync_calc_fib(n):
  2.     if n in [1, 2]:
  3.         return1
  4.     return sync_calc_fib(n - 1) + sync_calc_fib(n - 2)
  5. async def calc_fib(n):
  6.     result = sync_calc_fib(n)
  7.     print(f'第 {n} 项计算完成,结果是:{result}')
  8.     return result

我们现在需要用 aiohttp 访问一个延迟5秒的网页,同时计算斐波那契数列第36项。

首先我们看看单独计算第36项需要5秒钟:

我们再来看看如果直接把这计算斐波那契数列和请求网站的两个异步任务放在一起“并行”,实际时间是两个任务的时间叠加:

具体原因我在上一篇文章里面已经做了说明。

现在,我想让两个任务“同时运行”,于是就可以这样修改代码:

 
 
 
 
  1. import aiohttp
  2. import asyncio
  3. import time
  4. from concurrent.futures import ThreadPoolExecutor
  5. async def request(sleep_time):
  6.     async with aiohttp.ClientSession() as client:
  7.         resp = await client.get(f'http://127.0.0.1:8000/sleep/{sleep_time}')
  8.         resp_json = await resp.json()
  9.         print(resp_json)
  10. def sync_calc_fib(n):
  11.     if n in [1, 2]:
  12.         return 1
  13.     return sync_calc_fib(n - 1) + sync_calc_fib(n - 2)
  14. def calc_fib(n):
  15.     result = sync_calc_fib(n)
  16.     print(f'第 {n} 项计算完成,结果是:{result}')
  17.     return result
  18. async def main():
  19.     start = time.perf_counter()
  20.     loop = asyncio.get_event_loop()
  21.     with ThreadPoolExecutor(max_workers=4) as executor:
  22.         tasks_list = [
  23.             loop.run_in_executor(executor, calc_fib, 36),
  24.             asyncio.create_task(request(5))
  25.         ]
  26.         await asyncio.gather(*tasks_list)
  27.         end = time.perf_counter()
  28.         print(f'总计耗时:{end - start}')
  29. asyncio.run(main())

运行效果如下图所示:

在5秒钟的时间,就把计算斐波那契数列和请求5秒延迟的网站都做完了。

实现这样的转变,关键的代码就是:loop.run_in_executor(executor, calc_fib, 36)

其中的 loop就是主线程的事件循环(event loop),它是用来调度同一个线程里面的多个协程。

executor是我们使用ThreadPoolExecutor(max_workers=4)创建的一个有4个线程的线程池,calc_fib是一个耗时的同步函数,36是传入calc_fib的参数。loop.run_in_executor(executor, calc_fib, 36)的意思是说:

  1. 把calc_fib函数放到线程池里面去运行
  2. 给线程池增加一个回调函数,这个回调函数会在运行结束后的下一次事件循环把结果保存下来。

请注意上图中红色箭头对应的calc_fib这是一个同步函数,请与上一篇文章中的异步函数区分开。run_in_executor的第二个参数需要是一个同步函数的函数名。

在上面的例子中,我们创建的是有4个线程的线程池。所以这个线程池最多允许4个阻塞式的同步函数“并行”。

网站标题:如何在Python的线程中运行协程
文章路径:http://www.shufengxianlan.com/qtweb/news3/383553.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联