Apache Spark

火花的目的是要改善的处理速度进行数据分析和处理的程序。
这是写在Java和Scala和提供其它系统所没有的功能，主要是因为他们不是主流，也不是适用于非数据处理应用。

什么是新的在此版本中：

• 在核心API现在支持多级汇聚树，有助于加快昂贵降低运营
• 改进的错误报告增加了对某些疑难杂症的操作。
• 在星火的码头依赖现在的阴影，以帮助避免与用户程序发生冲突。
• 星火现在支持SSL加密一些通信端点。
• 实时GC度量和记录计数已被添加到用户界面。

什么是1.3.0版本的新：

• 在核心API现在支持多级汇聚树有助于加快降低成本的操作。
• 改进的错误报告增加了对某些疑难杂症的操作。
• 在星火的码头依赖现在的阴影，以帮助避免与用户程序发生冲突。
• 星火现在支持SSL加密一些通信端点。
• 实时GC度量和记录计数已被添加到用户界面。

什么是1.2.1版本的新：

• 在PySpark的排序运算符现在支持外部溢出的大型数据集。
• PySpark现在支持大于2GB广播变量和各种期间进行的外部溢出。
• 星火增加了作业级进度页面星火UI，报告进度稳定的API，输出指标的动态更新的作业完成。
• 星火现在能够读取二进制文件的图像和其他二进制格式的支持。

什么是在1.0.0版本新：

• 在此版本扩展了星火的标准库，引入一个新的SQL包（星火SQL），允许用户整合SQL查询到现有的工作流程星火
• MLlib，星火的机器学习库，扩大与稀疏矢量支持和一些新的算法。

什么是0.9.1版本，新的：

• 在外部溢出固定哈希冲突错误
• 与星火的log4j的为依托，其他采伐后端用户固定冲突
• 修正Graphx从星火组装罐子失踪的Maven构建
• 修正了沉默由于映射输出状态超过阿卡帧大小故障
• 在ASM移除星火的不必要的直接依赖
• 删除指标，神经节从默认的构建由于LGPL许可证冲突
• 在发行tar包修正了不含有火花组装罐

什么是0.8.0版本，新的：

• 在开发已经转移到了Apache基金会Sowftware作为孵化器项目。

什么是在0.7.3版本新：

• 在Python的性能：星火的机制产卵Python的虚拟机有经过改进，这样做的时候速度更快的虚拟机有一个大的堆大小，加快了Python API。
• Mesos修复：添加到您的工作的JAR现在在Mesos反序列化任务的结果时，在classpath
。
• 错误报告：非序列化的异常和过大的任务结果更好的错误报告
• 例子：增加状态流处理的例子有updateStateByKey
• 生成：星火流不再依赖于Twitter4J回购，应该允许它在中国建立
• 在foldByKey Bug修复，流计数，统计方法，文档和网页用户界面。

什么是0.7.2版本，新的：

• 在斯卡拉版更新至2.9.3
• 若干改进，百吉饼，包括性能修复和可配置的存储级别。
• 在新的API方法：subtractByKey，foldByKey，mapWith，filterWith，foreachPartition，以及其他
• 在一个新的度量报告界面，SparkListener，收集有关每个运算阶段的信息：任务长度字节洗牌，等
• 使用Java API，包括K-手段和计算圆周率的若干新的例子。

在什么版本0.7.0新是：

• 在星火0.7增加了一个Python API叫做PySpark <。 / LI>
• 星火作业现在推出的Web仪表盘监控程序中的每个分布式数据集（RDD）的内存使用情况。
• 星火现在可以在除SBT使用Maven构建。

在什么版本0.6.1新是：

• 在固定咄咄逼人的消息超时，可能会导致工人从集群中断开。
• 修正了独立部署方式的错误，不暴露主机名来调度，影响当地HDFS。
• 在洗牌改进连接复用，这可以大大加快小洗牌。
• 在块管理修正了一些潜在的死锁。
• 修正了来自Mesos得到失败的主机标识。
• 若干EC2脚本的改进，比如更好的操控现货实例。
• 提出，星火结合定制的本地IP地址。
• 支持Hadoop的2分布。
• 支持Debian的发行定位斯卡拉。

在什么版本0.6.0新是：

• 在简单部署
• 在星火的文档已扩大一个新的快速入门指南，额外的部署说明，配置指南，指导调整和改进Scaladoc API文档。
• 在使用异步的Java NIO一个新的通信管理器可以让重排操作运行速度更快，特别是当发送大量数据或工作时，有许多任务。
• 在一个新的存储管理器支持每个数据集存储级别设置（例如是否保留在内存中的数据集，反序列化，磁盘等，甚至是跨节点复制）。
• 增强的调试。