Pandas处理数据太慢，来试试Polars吧！

很多人在学习数据分析的时候，肯定都会用到Pandas这个库，非常的实用！

“只有客户发展了，才有我们的生存与发展！”这是创新互联的服务宗旨！把网站当作互联网产品，产品思维更注重全局思维、需求分析和迭代思维，在网站建设中就是为了建设一个不仅审美在线，而且实用性极高的网站。创新互联对成都网站制作、网站设计、外贸网站建设、网站制作、网站开发、网页设计、网站优化、网络推广、探索永无止境。

从创建数据到读取各种格式的文件(text、csv、json)，或者对数据进行切片和分割组合多个数据源，Pandas都能够很好的满足。

Pandas最初发布于2008年，使用Python、Cython和C编写的。是一个超级强大、快速和易于使用的Python库，用于数据分析和处理。

当然Pandas也是有不足之处的，比如不具备多处理器，处理较大的数据集速度很慢。

今天给大家介绍一个新兴的Python库——Polars。

使用语法和Pandas差不多，处理数据的速度却比Pandas快了不少。

一个是大熊猫，一个是北极熊～

GitHub地址：https://github.com/ritchie46/polars

使用文档：https://ritchie46.github.io/polars-book/

Polars是通过Rust编写的一个库，Polars的内存模型是基于Apache Arrow。

Polars存在两种API，一种是Eager API，另一种则是Lazy API。

其中Eager API和Pandas的使用类似，语法差不太多，立即执行就能产生结果。

而Lazy API就像Spark，首先将查询转换为逻辑计划，然后对计划进行重组优化，以减少执行时间和内存使用。

安装Polars，使用百度pip源。

# 安装polars
pip install polars -i https://mirror.baidu.com/pypi/simple/

安装成功后，开始测试，比较Pandas和Polars处理数据的情况。

使用某网站注册用户的用户名数据进行分析，包含约2600万个用户名的CSV文件。

文件已上传公众号，获取方式见文末。

import pandas as pd
df = pd.read_csv('users.csv')
print(df)

数据情况如下。

此外还使用了一个自己创建的CSV文件，用以数据整合测试。

import pandas as pd
df = pd.read_csv('fake_user.csv')
print(df)

得到结果如下。

首先比较一下两个库的排序算法耗时。

import timeit
import pandas as pd
start = timeit.default_timer()
df = pd.read_csv('users.csv')
df.sort_values('n', ascending=False)
stop = timeit.default_timer()
print('Time: ', stop - start)
-------------------------
Time:  27.555776743218303

可以看到使用Pandas对数据进行排序，花费了大约28s。

import timeit
import polars as pl
start = timeit.default_timer()
df = pl.read_csv('users.csv')
df.sort(by_column='n', reverse=True)
stop = timeit.default_timer()
print('Time: ', stop - start)
-----------------------
Time:  9.924110282212496

Polars只花费了约10s，这意味着Polars比Pandas快了2.7倍。

下面，我们来试试数据整合的效果，纵向连接。

import timeit
import pandas as pd
start = timeit.default_timer()
df_users = pd.read_csv('users.csv')
df_fake = pd.read_csv('fake_user.csv')
df_users.append(df_fake, ignore_index=True)
stop = timeit.default_timer()
print('Time: ', stop - start)
------------------------
Time:  15.556222308427095

使用Pandas耗时15s。

import timeit
import polars as pl
start = timeit.default_timer()
df_users = pl.read_csv('users.csv')
df_fake = pl.read_csv('fake_user.csv')
df_users.vstack(df_fake)
stop = timeit.default_timer()
print('Time: ', stop - start)
-----------------------
Time:  3.475433263927698

Polars居然最使用了约3.5s，这里Polars比Pandas快了4.5倍。

通过上面的比较，Polars在处理速度上表现得相当不错。

可以是大家在未来处理数据时，另一种选择～

当然，Pandas目前历时12年，已经形成了很成熟的生态，支持很多其它的数据分析库。

Polars则是一个较新的库，不足的地方还有很多。

如果你的数据集对于Pandas来说太大，对于Spark来说太小，那么Polars便是你可以考虑的一个选择。

网站名称：Pandas处理数据太慢，来试试Polars吧！
标题来源：http://www.shufengxianlan.com/qtweb/news38/545588.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联