使用Dask在Python中进行并行计算

 Dask 库可以将 Python 计算扩展到多个核心甚至是多台机器。

成都创新互联公司专注于策勒网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供策勒营销型网站建设，策勒网站制作、策勒网页设计、策勒网站官网定制、微信小程序开发服务，打造策勒网络公司原创品牌,更为您提供策勒网站排名全网营销落地服务。

关于 Python 性能的一个常见抱怨是全局解释器锁（GIL）。由于 GIL，同一时刻只能有一个线程执行 Python 字节码。因此，即使在现代的多核机器上，使用线程也不会加速计算。

但当你需要并行化到多核时，你不需要放弃使用 Python：Dask 库可以将计算扩展到多个内核甚至多个机器。某些设置可以在数千台机器上配置 Dask，每台机器都有多个内核。虽然存在扩展规模的限制，但一般达不到。

虽然 Dask 有许多内置的数组操作，但举一个非内置的例子，我们可以计算偏度：

 
 
 

  
  
  
import numpy
  
  
  
import dask
  
  
  
from dask import array as darray
  
  
  
 
  
  
  
arr = dask.from_array(numpy.array(my_data), chunks=(1000,))
  
  
  
mean = darray.mean()
  
  
  
stddev = darray.std(arr)
  
  
  
unnormalized_moment = darry.mean(arr * arr * arr)
  
  
  
## See formula in wikipedia:
  
  
  
skewness = ((unnormalized_moment - (3 * mean * stddev ** 2) - mean ** 3) /
  
  
  
 stddev ** 3)
 
 
 

请注意，每个操作将根据需要使用尽可能多的内核。这将在所有核心上并行化执行，即使在计算数十亿个元素时也是如此。

当然，并不是我们所有的操作都可由这个库并行化，有时我们需要自己实现并行性。

为此，Dask 有一个“延迟”功能：

 
 
 

  
  
  
import dask
  
  
  
 
  
  
  
def is_palindrome(s):
  
  
  
 return s == s[::-1]
  
  
  
 
  
  
  
palindromes = [dask.delayed(is_palindrome)(s) for s in string_list]
  
  
  
total = dask.delayed(sum)(palindromes)
  
  
  
result = total.compute()
 
 
 

这将计算字符串是否是回文并返回文的数量。

虽然 Dask 是为数据科学家创建的，但它绝不仅限于数据科学。每当我们需要在 Python 中并行化任务时，我们可以使用 Dask —— 无论有没有 GIL。

新闻名称：使用Dask在Python中进行并行计算
转载注明：http://www.shufengxianlan.com/qtweb/news9/224859.html

成都网站建设公司_创新互联，为您提供网站设计公司、App开发、网站改版、移动网站建设、响应式网站、网站内链

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联