创新互联Python教程：python进程池的使用注意

1、使用注意

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：空间域名、虚拟空间、营销软件、网站建设、浑源网站维护、网站推广。

（1）使用池时，如果未指定进程数，则默认为CPU核心数。

（2）核心数量对应于计算机的逻辑处理器数量(任务管理器-性能)，而不是核心数量(我的计算机有2个核心和4个逻辑处理器，因此这里默认使用4个进程)

（3）进程数可以是几十万，并不意味着开放进程的数量是4。只要使用池(10)，就可以同时打开10个进程进行爬网。

（4）但是需要注意的是，无论多线程还是多进程，打开过多都会导致切换耗时，降低效率，所以创建过多的多线程和进程是谨慎的。

2、实例

import requests
from bs4 import BeautifulSoup
from multiprocessing import Pool, current_process
def get_title(i):    
print('start', current_process().name)    
title_list = []    
url = 'https://movie.douban.com/top250?start={}&filter='.format(i*25)    
r = requests.get(url)    
soup = BeautifulSoup(r.content, 'html.parser')    
lis = soup.find('ol', class_='grid_view').find_all('li')    
for li in lis:        
title = li.find('span', class_="title").text        
# return title        
title_list.append(title)        
print(title)    
return(title_list)if __name__ == '__main__':    
pool = Pool()    
for i in range(10):        
pool.apply_async(get_title, (i, ))    
pool.close()    
pool.join()    
print('finish')

以上就是python进程池的使用注意，希望能对大家有所帮助。更多Python学习指路:创新互联python教程

本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。

当前题目：创新互联Python教程：python进程池的使用注意
路径分享：http://www.shufengxianlan.com/qtweb/news8/504958.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联