Dask 是一个灵活的 Python 并行计算库。
Dask由两部分组成：
-
为计算优化的动态任务调度。这类似于 Airflow、Luigi、Celery 或 Make，但针对交互式计算工作负载进行了优化。
-
“大数据”集合，如并行数组、数据帧和列表，将常用接口（如NumPy、Pandas 或 Python 迭代器）扩展到大于内存或分布式环境。这些并行集合运行在动态任务调度程序之上。
Dask 强调以下优点：
-
熟悉：提供并行化的 NumPy 数组和 Pandas Dataframe 对象
-
灵活：为更多自定义工作负载和与其他项目的集成提供任务调度接口。
-
Native：通过访问 PyData 堆栈，在纯 Python 中启用分布式计算。
-
快速：以低开销、低延迟和快速数值算法所需的最少序列化运行
-
向上扩展：在具有 1000 个内核的集群上弹性运行
-
缩小：在单个进程中在笔记本电脑上设置和运行是微不足道的
-
响应式：在设计时考虑到交互式计算，它提供快速反馈和诊断以帮助人类
通过一段时间的学习，个人感觉dask的上手体验还是很不错的。操作起来和pandas基本一样，而且支持对于较大规模数据集的处理。工作环境里，并没有spark环境，只有普通的单机环境。所以计划在未来一段时间里，多使用dask来解决一些数据处理问题。
