Python 数据处理与验证

1. 数据处理

•   Pandas

  ---

  Pandas

  ---

   

•   Dask

  ---

  Dask

  ---

   

•   Polars

  ---

  Polars

  ---

   

•   FireDucks

  ---

  FireDucks

  ---

   

•   DuckDB

  ---

  DuckDB

  ---

  ^24.4k 

•   Spout

  ---

  Spout 用于构建分布式数据流处理应用程序。非常古老的库，不建议学习。

  ---

  ⁸  

•   MRJob²⁰²⁰

  ---

  MRJob 用于简化编写和运行 MapReduce 作业。

  ---

  ^2.6k  

•   PySpssio²⁰²²

  ---

  PySpssio 允许 Python 用户直接读取 SPSS 数据文件（.sav），并进行数据分析和处理

  ---

  ⁵  

•   Tablib²⁰²²

  ---

  Tablib 用于创建、操作和导出多种表格格式（如 CSV、XLSX、JSON、HTML 等）。

  ---

  ^4.6k  

•   Orjson²⁰²²

  ---

  Orjson 专为高性能而设计的JSON库，它提供了快速的序列化和反序列化功能。

  ---

  ^6k  

•   ujson

  ---

  ujson

  ---

  ^6k  

•   Faust²⁰²²

  ---

  Faust 是一个用于构建流处理应用程序的Python库，已经被废弃。

  ---

  ^6.7k  

•   Faust-Streaming

  ---

  Faust-Streaming 是 Faust 重新实现库。

  ---

  ^1.6k  

•   Shiv

  ---

  Shiv 用于处理 JSON 数据，常作为 WEB 组件使用。

  ---

  ^1.6k  

2. 数据模型与验证

•   Pydantic

  ---

  Pydantic

  ---

  ^20.2k  

•   Colander

  ---

  Colander 是一个用于 Python 中的数据验证和配置管理工具。

  ---

  ⁴⁴⁸  

•   Attrs

  ---

  Attrs 允许你通过简单的方式来定义类的属性，并提供了对这些属性的访问和验证机制

  ---

  ^5.2k  

•   Dataclass

  ---

  Dataclass 是 Python 内置标准库，用于定义数据模型。

•   Schematics

  ---

  Schematics 是 Python 内置标准库，用于定义数据模型。

  ---

  ^2.6k  

•   Schema

  ---

  Schema 用于验证数据结构，确保数据的完整性和正确性

  ---

  ^2.9k