Polars 近日發布了一款由 RAPIDS cuDF 驅動的全新 GPU 引擎，該引擎可將 NVIDIA GPU 上的 Polars 工作流速度最高提速 13 倍，使數據科學家僅在一臺機器上就能實現在數秒內處理數億行數據。

日新月異的數據挑戰

Pandas 等傳統數據處理庫均為單線程，當處理數據超過數百萬行時就會顯得“力不從心”。分布式數據處理系統雖然可以處理數十億行數據，但又會增加處理中小型數據集的復雜程度和經費開支。

在高效處理數千萬至數億行數據的工具之間一直存在著差距。這類工作負載常見于金融、零售、制造等行業的模型開發、需求預測和物流中。

在面向數據科學家和工程師的 Python 庫中，Polars 的增長速度位居前列，其設計初衷就是為了應對這些挑戰。該程序庫使用了先進的查詢優化技術，以減少不必要的數據移動和處理，使數據科學家可以僅用一臺機器就能流暢地處理數億行規模的工作負載。Polars 彌補了單線程解決方案速度過慢和分布式系統會增加非必要復雜性的缺陷，提供了一個極具吸引力的“中等規模”數據處理解決方案。

將 NVIDIA 加速計算引入 Polars

與其他僅使用 CPU 的數據處理工具相比，Polars 利用多線程執行、高級內存優化和惰性求值（lazy evaluation）功能，可顯著提升開箱即用的加速性能。

但由于各行各業的企業面臨日益增長的數據處理需求，例如需要分析數十億筆金融交易、管理復雜的庫存系統等，都需要更加強大的性能。這時就該輪到加速計算發揮作用了：

cuDF 是 NVIDIA CUDA-X 加速庫中的 RAPIDS 套件的一部分，它是一個由 GPU 提供加速的 DataFrame 程序庫，能夠利用 GPU 的大規模并行處理能力顯著提高數據處理性能。

Polars 團隊與 NVIDIA 一起將 cuDF 的速度與 Polars 的效率相結合，使性能最高提速至在 CPU 上 Polars 的 13 倍。如此，即便用戶的數據處理工作量增長到數億甚至數十億行數據，依然能夠保持交互。

圖 1.圖中所示的是 PDS-H 基準測試 22 個查詢中加速幅度最大的 4 個查詢。在運行包含眾多復雜分組和連接操作的查詢時，RAPIDS cuDF 驅動的 Polars GPU 引擎的速度提速至 CPU 上 Polars 的 13 倍。

PDS-H基準測試規模系數 80 | GPU：NVIDIA H100 | CPU：英特爾 Xeon W9-3495X（Sapphire Rapids） | 存儲：本地NVMe。備注：PDS-H 源自 TPC-H，但這些結果與 TPC-H 的結果不具有可比性。

由于 Polars GPU 引擎直接內置在 Polars Lazy API 中，用戶只需通過 pip 安裝 polars[gpu] 并將 [engine=”gpu”] 發送至 collect 操作，即可將 GPU 加速應用于他們的工作流。在后臺，Polars 會嘗試首先在 GPU 上執行操作，必要時再返回 CPU。這種方法可確保：

通過使用 Polars 的查詢優化器，實現高效執行和最低內存使用

用戶無須修改現有 Polars 代碼，即可訪問 GPU 引擎

完全兼容 Polars 不斷發展的數據可視化、I/O 和機器學習庫生態系統

pip install polars[gpu] --extra-index-url=https://pypi.nvidia.com
 
import polars as pl
 
(transactions
 .group_by("CUST_ID")
 .agg(pl.col("AMOUNT").sum())
 .sort(by="AMOUNT", descending=True)
 .head()
 .collect(engine="gpu"))

結語

RAPIDS cuDF 驅動的 Polars GPU 引擎現已發布公測版，為各行各業的數據科學家和工程師提供了一種適用于中等規模數據處理的強大工具。該引擎最高能夠將 NVIDIA GPU 上的 Polars 工作流速度提速 13 倍，可以在不產生分布式系統開銷的情況下，高效處理數億行規模的數據集。Polars GPU 引擎直接內置在 Polars API 中，使所有用戶都能輕松訪問。