百科问答小站 logo
百科问答小站 font logo



Python/Pandas如何处理百亿行,数十列的数据? 第1页

  

user avatar   mo-cun-34-45 网友的相关建议: 
      

Pandas并不是什么场景都适用啊,应该灵活变化!可以参考H2O.ai维护的一个项目,告诉您,除了pandas,还有很多武器可以玩

待评估软件

项目目前已收录Python/R/Julia中13种的工具 ,随着工具版本迭代、新工具的出现,该项目也在持续更新,其它工具如AWK、Vaex、disk也在陆续加入到项目中。

       7种Python工具   dask  pandas  datatable  cuDF  Polars  Arrow  Modin  2种R工具  data.table  dplyr  1种Julia工具  DataFrames.jl  3种其它工具  spark  ClickHouse  duckdb       

评估方法

分别测试以上工具在在0.5GB、5GB、50GB数据量下执行groupby、join的效率,

数据量

  • 0.5GB 数据 10,000,000,000行、9列
  • 5GB 数据 100,000,000,000行、9列
  • 50GB 数据1,000,000,000,000行、9列

groupby性能

比较以下各种需求的效率,

详细代码,见每个柱子图上方,


join性能

比较以下各种需求的效率,

详细代码,见每个柱子图上方,


评估结果

groupby

可以看到Python中的Polars、R中的data.table、Julia中的DataFrame.jl等在groupby时是一个不错的选择,性能超越常用的pandas,详细 ,

join

同样可以看到Python中的Polars、R中的data.table在join时表现不俗,详细 ,

小结

R中的data.table、Python中的Polars、Julia中的DataFrame.jl表现连续出色,后续可以用起来,常用的pandas并无亮点~

参考资料


更多好文❤️❤️@pythonic生物人




  

相关话题

  创业公司选择 .NET 技术栈究竟比选 Java/Python 贵多少钱? 
  计算机系为什么要学数据库原理和设计? 
  如何看待短道速滑3000米接力大杨扬的言论? 
  2021 年人工智能、大数据技术与机器人工程蝉联最热专业前三,体现了哪些趋势?未来前景如何? 
  计算机视觉研一,只学过Python基础,目前代码能力很差,要不要换导师,不换的话如何毕业? 
  c++如此繁琐,为什么大学不直接开展python课程? 
  Python/Pandas如何处理百亿行,数十列的数据? 
  鹿晗关晓彤公开恋情,是如何把新浪微博的服务器搞垮的? 
  开源数据库这么香,为什么我们还要下功夫自研? 
  想去一间公司工作,老板说要我学会数据库和大数据课程,然后通过考试就可以去了 ,但是也没说清楚啥课程? 

前一个讨论
如何评价微软研究院开发的AI量化投资平台Qlib?
下一个讨论
为什么 React 源码不用 TypeScript 来写?





© 2025-06-03 - tinynew.org. All Rights Reserved.
© 2025-06-03 - tinynew.org. 保留所有权利