使用Modin让Python发挥到极致
发布于2019-08-17 19:04 阅读(1024) 评论(0) 点赞(5) 收藏(4)
Python用pandas 对特定格式进行处理时会很方便，譬如对jmeter性能测试结果进行分析，如果这个数据比较大（几十个G的数据），这时候处理起来就比较费力，需要的内存就比较大了，还可能导致报（memoryerrord的）错，当然数据比较小（几个G内的数据）处理起来还是不错的。
导致这样的问题与Python语言的天生缺陷有关，不能使用多核CPU，所以就算服务器是多核处理器，在使用Pandas进行数据解析时还是用的服务器中的一个核，为了追求速度充分利用CPU，可以使用Modin库，它可以让你的Pandas运行速度更快。
Modin安装：
在线安装： pip install modin
离线安装： https://github.com/modin-project/modin （离线安装方法请自行百度）
使用方法：
import modin.pandas as pd示例：
- import modin.pandas as pd
-
- df = pd.read_csv("my_dataset.csv")
速度提升：
所属网站分类: 技术文章 > 博客
作者：83748wuw
链接：https://www.pythonheidong.com/blog/article/48341/9656c4c4ccc45039daa6/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力