MDP(模块化的工具包的数据处理)是广泛使用的数据处理算法,可以根据管道类比来构建更复杂的数据处理软件相结合的库。
从用户的角度来看,MDP由监督和无监督学习算法,和其它数据处理单元(节点),可以组合成数据处理序列(流)和更复杂的前馈网络架构的集合。给定的一组输入数据,MDP照顾依次训练或执行所有节点的网络中。这允许用户指定复杂的算法为一系列以自然的方式更简单的数据处理步骤。
现有算法的基础是稳步增长,包括名称,但最常见的,主成分分析(PCA和NIPALS),若干独立成分分析算法(CUBICA,FastICA算法,TDSEP,玉石和XSFA),慢速特征分析,高斯分类,受限玻尔兹曼机,和局部线性嵌入。
特别是已经采取谨慎措施,使高效的计算速度和内存方面。为了降低存储器要求,能够执行数据的使用学习的批次,并以限定节点的内部参数是单精度,这使得非常大的数据的使用设置成为可能。此外,“平行”子包提供并行执行的基本节点和流程。
从开发者的角度来看,MDP是一个框架,使新的监督和无监督的学习算法的实现变得更加容易和简单。基本类,“节点”,需要像数字型和维度检查繁琐的任务关怀,让自由的精力集中在学习和执行阶段实施开发。因为共同的交界面,该节点然后自动集成了库的其余部分,并在网络中可以被用于与其他节点。一个节点可以有多个训练阶段和阶段的偶数数目不详。这使得需要在进行实际的训练前,收集整个输入一些数据需要遍历一个训练阶段,直到收敛标准是满意的算法,以及其他的实施。训练用的输入数据块每个阶段的能力,如果保持与迭代器所生成的数据块。此外,崩溃恢复可选配:失败的情况下,流的当前状态保存以便稍后进行检查。
MDP已被写入在神经科学理论研究的范围内,但它已被设计为在可训练数据处理算法用于任何上下文很有帮助。其对用户侧一起实现节点的可重用性简单使它也是一个有效的教育工具。
什么在此版本中是新的:
- 在Python的支持3。
- 新的扩展:缓存和梯度 。
- 的改进和扩展教程。
- 若干改进和错误修正。
- 在此版本是在BSD许可下。
什么是2.5版新:
- 在2009-06-30:增加在线检测数值后端,并行支持Python,symeig后端和数值后端单元测试的输出。应该帮助调试。
- 2009-06-12:截止和直方图节点集成
- 2009-06-12:在平行流(异常处理)修正了
- 2009-06-09:在LLENode修正了当output_dim是一个浮动。感谢康拉德Hinsen。
- 2009-06-05:在平行流多个调度修正错误
- 2009-06-05:修正了逆层的错误,感谢阿尔贝托·埃斯卡兰特
- 2009-04-29:增加了一个LinearRegressionNode
- 2009-03-31:PCANode不抱怨了,当协方差矩阵具有敌我识别SVD负本征值==真或减少==真。如果output_dim已指定具有期望方差,负的特征值将被忽略。改进的SFANode的情况下负本征值的错误消息,我们现在建议预先设置节点与PCANode(SVD = True)或PCANode(减少= TRUE)。
- 2009-03-26:迁移从旧线封装到新的线程之一。添加标志,禁用缓存的进程调度程序。有定制调度一些重大变化(平行流训练或执行不受影响)。
- 2009-03-25:新增SVN版本跟踪支持
- 2009-03-25:移除了copy_callable标志调度,这是现在已经完全由分叉的TaskCallable取代。这对便利ParallelFlow接口没有影响,但定制调度拿到破。
- 2009-03-22:在ProcessScheduler实施缓存
- 2009-02-22:make_parallel现在工作完全就地节省内存
- 2009-02-12:新增集装箱方法的FlowNode
- 2009-03-03:新增CrossCovarianceMatrix与测试
- 2009-02-03:新增IdentityNode
- 2009-01-30:增加在HINET一个辅助函数来直接显示流动HTML表示
- 2009-01-22:允许output_dim层中要延迟设置
- 2008-12-23:新增total_variance到NIPALS节点
- 2008-12-23:始终设置explained_variance和total_variance培训PCANode后
- 2008-12-12:修改symrand到真正回归对称矩阵(不仅是正定)。适应GaussianClassifierNode考虑到这一点。适应symrand也返回复杂的埃尔米特矩阵。
- 2008-12-11:在PCANode固定的一个问题(当output_dim设置为input_dim总方差被视为不详)。在ParallelPCANode固定var_part参数。
- 2008-12-11:(按相对于absoute方差方差滤)加var_part功能PCANode
- 2008-12-04:缺少固定在教程中AMAX通话轴ARG。感谢塞缪尔约翰!
- 2008-12-04:修正了空的数据处理迭代器在ParallelFlow。还增加了空迭代检查在正常流量(抛出一个异常,如果迭代器为空)。
- 2008-11-19:修改PCA和SFA节点检查negaive特征值的COV矩阵
- 2008-11-19:symeig集成在SciPy的,MDP可以从那里现在使用它 。
- 2008-11-18:新增ParallelFDANode
- 2008-11-18:更新了火车来调用,ParallelFlow支持额外的参数
- 2008-11-05:的使并行代码重写,现在支持HINET结构 。
- 2008-11-03:该HINET HTML repesentation创作者重写。不幸的是,这也打破了公共接口,但变化是非常简单的。
- 2008-10-29:关闭警告,远程进程ProcessScheduler未来
- 2008-10-27:固定的问题,在ParallelFlow的init方法覆盖kwargs
- 2008-10-24:在hinet.FlowNode固定pretrained节点错误
- 2008-10-20:PP(并行Python库)安装时,在并联封装固定关键进口缺陷
要求:
- 在Python的
- 与NumPy
- SciPy的
评论没有发现