DataCleaner

DataCleaner是一个开源的，完全免费的解决方案的组织和希望提高和衡量其数据质量的企业。
与DataCleaner，用户将能够对个人资料，比较，验证对业务规则数据，并监视这些测量的随时间的进展。
它的特点，我们可以提到数据监测，数据分析和DQ分析，数据整理和充实，检测和合并重复的，客户数据的质量，以及超高速ETLightweight（提取 - 转换 - 加载）。
要了解更多关于DataCleaner的功能和能力，以及如何与它的工作，请参考http://eobjects.dk/docs

What在此版本中是新的

• 在改进和新功能：
• 我们做了它可以创建并通过DataCleaner的桌面UI删除表。注意，术语;表＆QUOT;这里实际上涵盖的不仅仅是关系数据库表。它还包括表在MS Excel中的数据存储在MongoDB的集合，文件类型的CouchDB和ElasticSearch等等...基本上支持写操作，除了单表数据存储，如CSV数据存储所有数据存储类型，支持此功能！该功能是通过曝光：
• ＆QUOT;创建表＆QUOT;通过模式中的应用程序左侧的树右键菜单中启用。
• ＆QUOT;创建表＆QUOT;还可以通过在成分表中选择输入，比如插入到表中，表查找和更新表启用。
• ＆QUOT; DROP TABLE＆QUOT;通过在应用程序的左侧的树状表的右键菜单中启用。
• 我们已经添加指定的Salesforce.com Web服务端点的URL（可选）功能。这使您可以使用DataCleaner连接到Salesforce.com的沙箱环境中，也以自己的定制终端。
• 的ElasticSearch的支持得到了改进，允许自定义映射，以及重复使用ElasticSearch数据存储的定义，现在也用于搜索和索引。
• 记录和选择的重复检测功能可能重复的采样进行了改进，从而更快地配置，因为在训练中做出的决定是比较有代表性的。
• 的重复检测模型文件格式已被更新其中​​已取消了需要单独的'参考'文件以节省过去训练决定。与旧格式的兼容性得到了保留，但使用新的格式，能够为用户体验增加了许多好处。
• 错误修正：
• 在一个线程匮乏问题已修复DataCleaner显示器。这个问题的影响是巨大的，但它发生只在罕见的，非常个性的案件。如果DataCleaner监视器上自定义侦听对象将抛出一个错误，它会导致资源没有释放了，并采取了从服务器上的石英调度池中的线程。如果这会发生​​很多次的服务器可能最终运行在池中的线​​程。
• 结果屏幕上的垂直菜单现在做显示有效果的成分的标签的正确的工作。这使得更容易识别哪个菜单项指向什么结果项目。

什么在3.5.7版本新：

• 在该“同义词查找”转型现在有一个选项到输入的每个令牌抬头。这如果你正在做一个长文本字段的值范围内更换的同义词是很有用的。
• 通过这个监视器的网络服务阻断执行DataCleaner作业有时可能会失败，并引起阻塞线程的错误。此问题已得到解决。
• 的改进是在作业方式和组件的序列被关闭/执行后清理。
• 的JNLP / Java的Webstart的版本DataCleaner的是由Java运行时造成在某些情况下某些JAR文件不被Webstart的启动被识别，错误暴露出来。此问题已得到修复通过稍微修改这些JAR文件。
• 在文档中的一些死链接是固定的。

什么是3.5.4版本，新的：

• 现在可以隐藏变换输出列。隐藏，不会影响处理的流程在所有，但简单地从用户接口隐藏它们，并因此潜在地使得体验更干净，与其他组件进行交互时。
• 在新的Web服务已经被添加到监控Web应用程序，它提供了一种方法来查询某一项工作的执行状态。
• 修正了，导致HTML报告失败，对于某些类型的分析时，没有记录已被处理。
• 和6个其他的小错误已被不客气。

什么在3.5.1版本新：

• 在捕捉更改的记录：
• 新的过滤器可用于支持记录增量处理，但没有处理之前，例如：用于分析或复制只修改的记录。新过滤器的名称是捕捉更改的记录，指的变更数据捕获的概念。
• 在排队的执行工作：
• 的DataCleaner显示器现在排队同一作业的执行，如果多次触发。这可以确保您不小心碰到了同样的工作，同时这可能会导致各种问题，根据工作做什么。
• 小错误修正：
• 若干bug修正实施。

什么版本3.5是新的：

• 在几个向导现在可用于注册数据存储;包括文件上传到服务器上的CSV文件，数据库连接条目中，Salesforce.com凭据引导注册等等。
• 在作业的建筑奇才也扩展了一些增强的功能;选择值分布和模式发现在快速分析向导的字段，用于创建基于EasyDQ客户的清洁工作，进行实弹射击Pentaho的数据集成工作（阅读更多下文）一份新的工作向导，一个全新的向导。
• 您现在可以即席直接在Web用户界面查询任何数据存储。这使得它容易得到快速的或零星分析上市公司数据，而无需设置工作或处理数据的其他管理办法。
• 一旦创建工作或数据存储，用户被引导到采取行动，新建的对象。例如，您可以非常快速地运行作业它的建成之后，或查询数据存储在注册后。
• 现在，管理员可以直接上传作业到资源库，这是特别方便，如果你想手工编辑工作文件的XML内容。
• 在很多技术克鲁夫特现在是隐藏在赞成显示简单的对话框。例如，当作业被触发大负荷指示符示出，并在完成时，结果将被显示。以前有仍然可以在点击一个链接了解更多详细信息中显示的高级日志记录画面。

什么是3.1.2版本，新的：

• 我们已经添加在监控Web服务申请获取指标值（列表）。这使得监控更是一个关键的基础设施组件使用，以此来监控数据（质量），结果暴露在第三方应用程序。
• 在该“查表”部分已经加入加入语义可配置性的提高。使用连接的语义，你可以调整，如果你想查找到语义工作就像一个LEFT JOIN或INNER JOIN。
• 的EasyDQ组件都进行了升级，增加更多的配置选择和更丰富的重复数据删除结果界面。
• 在性能的提升已经此版本的具体重点。改进已在DataCleaner的发动机，以进一步利用以前没有包括在某个角落情况下，流处理方法。

什么是3.1.1版本，新的：

• 的日期和时间相关的分析选项已经扩大，增加配送分析仪周数，月，年。有关日期和时间的所有分析仪现在称为QUOT子菜单中进行分组，时间日期和QUOT;在＆QUOT;分析＆QUOT;
• 可选＆QUOT;描述统计和QUOT;选项​​已被添加到数分析器和日期/时间分析器。这个选项增加了额外的度量这些分析仪，如中位数，偏度，百分度和峰度的结果。这些指标是可选的，因为它们的内存占用稍大于现有的度量较大。
• 在监视Web应用程序的时间线图表中的线现在在这些小圆点。这对于具有几个（或者甚至只是一个）观测图表它们特别有用。 - 指出确切位置观察点是
• 在调用时，即席查询，也得到了大幅度地提高了查询分析器。现在，查询可以包含DISTINCT子句，* -wildcards，子查询和有容错对文本的情况下的问题。
• 在两个新的变压器已添加生成的UUID和产生时间戳。

什么是3.1版本的新：

• 在公制公式 - 阐述了数据质量的KPI：
• 现在可以建立更在DataCleaner的监控Web应用程序详细数据质量的KPI。用户界面允许您构建复杂的公式在一个类似电子表格的公式风格;利用DataCleaner作业收集的变量。
• 度量公式可以结合任意数量的度量，常数和操作，只要它可以表示为一个数学方程式。
• 例如 - 测量重复记录速度的总记录数的百分比。或测量的产品代码符合一组多个字符串模式的量。
• 在即席查询 - 任何数据存储的：
• 随着DataCleaner 3.1，你现在可以执行即席查询到任何数据存储！查询可以表示纯SQL和将被应用到数据库以及文件，NoSQL数据库多，提供真正有用的查询机制以延伸到您的发现和数据分析的经验。
• 在查询选项也可以通过网络服务来监视用户与管理员的角色。该查询被提供为HTTP参数或POST体，其结果被提供作为一个XHTML表
• 值匹配 - 一个新的分析选项：
• 在很多时候，你有哪些值应该被允许和预期对特定领域的坚定理念。在DataCleaner还有的一直是价值分配的分析选项，它会帮助你坚持你的假设。在DataCleaner 3.1虽然，你有一个更精确的产品 - 价值匹配。这种分析选项，您可以指定一组预期值，然后再进行类似的分析值分布，特别是验证和识别异常值。
• 复制，删除和作业管理：
• 在DataCleaner监视应用程序的工作和成果管理有了很大的提高。现在，您可以点击工作在监视器的计划页面，并找到可供操作，如重命名，复制，删除等管理选项。每个操作尊重的联系，以在监视器等文物，如分析结果，日程安排等。这意味着监控仓库的管理变得更加容易和成熟。
• 在管理数据质量的历史：
• 有时候，你所面临的情况，你确实想要做的监测与历史数据！这可能是你有历史性的转储或数据库，您希望展示和讲述故事的备份。现在，您可以做这种历史数据的分析，上传到DataCleaner显示器，并采用新的Web服务，设置特定的分析结果的历史数据。这意味着使用其预定日期的时间表会正确绘制的结果，但与你在以后某个时间点收集可能的结果。
• 在集群调度程序支持（仅EE）：
• DataCleaner显示器的调度器已被外部化，以便它可以通过简单的结构的装置来代替。在DataCleaner的企业版（EE），我们提供了一个集群调度，提供负载平衡和分发您处决跨越机器集群的能力。
• 单点登录（SSO）使用CAS（EE只）：
• 在企业版（EE）DataCleaner我们现在提供的监控应用的单点登录选项。现在DataCleaner可以成为你的IT基础设施，还安全，明智的一个组成部分。
• ...还有很多很多：
• 在上面的只是一个汇总。三十多个问题在此版本中得到解决。我们已经解决了几个请求从论坛和社区的未来，我们鼓励大家使用这种媒介作为变革的工具。我们很乐意让DataCleaner的发展由社区流的严重影响。

什么是3.0.3版本，新的：

• 将在监控存储库重命名工作服务
• 您可以在UI访问此作为一个RESTful Web服务或交互。
• 在Web服务中添加了改变的分析结果历史日期在监控存储库。
• 在Web应用程序已经取得了与传统的JSF容器兼容。
• 在Web应用程序配置缓存大大提高，从而导致更快的页面加载和初始化工作时间。

什么在3.0.2版本新：

• 在当前触发在监控web应用程序的工作，面板自动刷新每一秒得到执行的最新状态。
• 在基于文件的数据存储（如CSV或Excel电子表格）使用绝对路径现在正确地解决了监视Web应用程序。
• 的＆QUOT;从键/值映射＆QUOT选择;现在，Transformer支持像＆QUOT嵌套查询表达式; Address.Street＆QUOT;或QUOT; orderlines [0] .product.name＆QUOT;
• 在该表查找机制都进行了性能优化，对JDBC数据库运行时，使用预处理语句。

数据存储＆QUOT;
• 现在，管理员可以直接从＆QUOT下载基于文件的数据存储;页。
• 在异常处理在监控Web应用程序已进行了一些改进，使得错误信息更精确和直观。