创新互联Python教程：python多线程处理大量文件数据

在python中，我们会遇到处理大量文件数据的时候。如果我们用for循环顺序处理，处理文件数据效率额很低，这时我们就可以使用我们的多线程来处理多个超大的文件数据。

让客户满意是我们工作的目标，不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户，将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴，公司提供的服务项目有：域名与空间、雅安服务器托管、营销软件、网站建设、修武网站维护、网站推广。

第一步：导入import threading 模块

import threading

第二步：使用多线程可以同时打开并运行多个数据

#! /usr/bin/env python
#encoding=utf-8
 
import threading
import time
from Queue import Queue
 
def readFile():
    file_object = open('/opt/dev/python/list.dat')
    global queue
    for line in file_object:                    
        queue.put(line)
 
class Consumer(threading.Thread):
    def run(self):
        global queue
        while queue.qsize() > 0:
            msg = self.name + '消费了 '+queue.get()
            print msg
            time.sleep(0.01)
 
queue = Queue()
def main():
    readFile()
    for i in range(5):
        c = Consumer()
        c.start()
 
if __name__ == '__main__':
    main()

以上就是用python多线程处理大量数据的演示代码，如果有需要处理大量文件的小伙伴，可以尝试使用多线程，会方便很多哦~

（推荐操作系统：windows7系统、Python 3.9.1，DELL G3电脑。）

新闻名称：创新互联Python教程：python多线程处理大量文件数据
网站路径：http://www.shufengxianlan.com/qtweb/news40/519490.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联