重新认识生成器Generator

本文转载自微信公众号「小菜学编程」，作者fasionchan。转载本文请联系小菜学编程公众号。

浚县网站建设公司创新互联建站,浚县网站设计制作，有大型网站制作公司丰富经验。已为浚县成百上千家提供企业网站建设服务。企业网站搭建\外贸营销网站建设要多少钱，请找那个售后服务好的浚县做网站的公司定做！

基本用法

我们知道，函数体包含 yield 关键字的函数不是一个普通函数。这种函数叫做生成器 ( generator )，一般用于循环处理结构，应用得当可以极大优化内存使用效率。例如，设计一个函数，打开文件并将每一行转成大写并返回：

 
 
   
  
  def read_file_upper(path):   
  
      lines = []   
  
      with open(path) as f:   
  
          for line in f:   
  
              lines.append(line.upper())   
  
      return lines

这个版本的函数，在内部创建了一个 list 对象，用于保存转换结果。for 循环则遍历文件每一行，将其转成大写并追加到列表中。这样一来，文件中的每一行均需要保存在列表中，如果文件很大，内存开销可想而知。

我们可以借助 yield 关键字，将 read_file_upper 函数改成生成器版本。函数主体逻辑没有任何变化，只是将每行数据的处理结果通过 yield 逐个返回，而不是收集到 list 对象后再返还。

 
 
   
  
  def iter_file_upper(path):   
  
      with open(path) as f:   
  
          for line in f:   
  
              yield line.upper()

如果现在有一个文本文件 data.txt ，里面包含以下内容：

 
 
   
  
  hello, world   
  
  life is short, use python   
  
  my wechat id is: coding-fan   
  
  bye

用 iter_file_upper 生成器，我们可以这样对它进行处理：

 
 
   
  
  >>> for line in iter_file_upper('text.txt'):   
  
  ...     print(line.strip())   
  
  HELLO, WORLD   
  
  LIFE IS SHORT, USE PYTHON   
  
  MY WECHAT ID IS: CODING-FAN   
  
  BYE

iter_file_upper 生成器用法与 read_file_upper 函数大致相同，但它不会一次性拿住文件所有数据行，而是逐行处理、逐个返回，这样便将内存使用量降到最低。

行为观察

那么，生成器为什么会有这样的奇效呢?我们接着观察：

 
 
   
  
  >>> g = iter_file_upper('text.txt')   
  
  >>> g

我们调用 iter_file_upper 后，得到一个生成器对象，而不是文件处理结果，这时 iter_file_upper 还未开始执行。

当我们调用 next 函数从生成器接收下一个数据时，iter_file_upper 开始执行并在 yield 处停下来，并把第一行的处理结果返回给我们：

 
 
   
  
  >>> next(g)   
  
  'HELLO, WORLD\n'

这时，生成器处于暂停状态，没有我们的指令，它不会接着处理第二行数据。

当我们再次执行 next 函数时，生成器再次恢复执行，处理下一行数据并在 yield 处再次暂停：

 
 
   
  
  >>> next(g)   
  
  'LIFE IS SHORT, USE PYTHON\n'

生成器记住了自己的执行进度，每次调用 next 函数，它总是处理并生产下一个数据，完全不用我们瞎操心：

 
 
   
  
  >>> next(g)   
  
  'MY WECHAT ID IS: CODING-FAN\n'   
  
  >>> next(g)   
  
  'BYE\n'

当 iter_file_upper 代码逻辑执行完毕，它将给 next 抛一个异常，以此通知调用者它已经结束了：

 
 
   
  
  >>> next(g)   
  
  Traceback (most recent call last):   
  
    File "", line 1, in    
  
  StopIteration

因此，我们可以简单认为 for-in 循环在 Python 虚拟机内部是这样实现的：

不断调用 next 函数让生成器产出数据;
直到生成器抛出 StopIteration 异常;

在经典的线程模型中，每个线程有一个独立的执行流，只能执行一个任务。如果一个程序需要同时处理多个任务，可以借助多进程或者多线程技术。假设一个站点需要同时服务多个客户端连接，可以为每个连接创建一个独立的线程进行处理。

不管线程还是进程，切换时都会带来巨大的开销：用户态/内核态切换、执行上下文保存和恢复、CPU缓存刷新等等。因此，用线程或进程来驱动小任务的执行，显然不是一个理想的选择。

那么，除了线程和进程，还有其他解决方案吗?

名称栏目：重新认识生成器Generator
文章源于：http://www.shufengxianlan.com/qtweb/news36/195836.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容