MooseFS

软件截图:
MooseFS
软件详细信息:
版本: 1.6.27
上传日期: 20 Feb 15
开发: Gemius SA
许可: 免费
人气: 11

Rating: 1.0/5 (Total Votes: 1)

MooseFS是一种容错的,网络分布式文件遍及几个物理服务器这是对用户可见作为一个资源&NBSP数据系统;对于标准的文件操作MooseFS充当其他Unix的相似的文件系统。:
  *一个层次结构(目录树)
  *存储POSIX文件属性(权限,最后访问时间和修改时间)
  *支持特殊文件(块和字符设备,管道和套接字)
  *符号链接(文件名指向目标的文件,不一定MooseFS)和硬链接(文件不同的名称这指的是相同的数据上MooseFS)
  *访问到文件系统可以基于IP地址和/或口令有限
MooseFS与众不同的特点是:
  *高可靠性(数据的多个副本可以存储跨越不同的计算机上)
  *容量是通过附加新的计算机/磁盘扩展动态
  *被删除的文件保留时间可配置周期(一个文件系统级别“垃圾桶”)
  *文件的相干快照,即使文件被写入/访问
MooseFS由四个部分组成:
  *管理服务器(主服务器)&ndash的;在一台机器管理整个文件系统,存储元数据的每个文件(在大小信息,属性和文件位置(S),其中包括关于非正规的文件,即目录,插座,管道和设备的所有信息)。
  *数据服务器(块服务器) - 任意数量的商用服务器存储文件数据,并在它们之间进行同步(如果假设某个文件的多个副本存在)的。
  *元数据备份服务器(S)(metalogger服务器) - 所有这些任意数量的服务器,存储元数据更新日志,并定期下载主要的元数据文件;从而促进这些服务器的管理服务器的角色时,首要主停止工作。
  *访问客户端计算机(安装)在MooseFS文件 - 任意数量的使用mfsmount流程与管理服务器进行通信机(接收和修改文件的元数据),并与大块服务器(交换实际的文件数据)。
mfsmount是基于FUSE的机制(文件系统在用户空间),所以MooseFS可以用每一个工作FUSE执行操作系统(Linux操作系统,FreeBSD的,MacOS X系统等)
元数据被存储在管理服务器的存储器,同时保存到磁盘(作为一个定期更新的二进制文件,并立即更新增量日志)。主二进制文件以及日志同步到metaloggers(如果存在的话)。
文件数据被划分成片段(块)与最大64MiB每个。每块本身就是对数据服务器(大块服务器)所选磁盘中的文件。
高可靠性是通过配置多个不同的数据服务器,适合于实现“目标”值对于给定的文件设置(拷贝保持的号码)来实现的。
系统是如何工作
已安装MooseFS一个客户端计算机上的所有文件的操作是完全一样的,因为它们会与其它文件系统。操作系统内核传输所有文件操作的熔断器模块,它与mfsmount过程进行通信。该mfsmount过程通过网络随后与管理服务器和数据服务器(块服务器)进行通信。这整个过程中是完全透明的用户。
mfsmount与管理服务器上的每个文件元数据操作时,必须有通信:
  *创建文件
  *删除文件
  *阅读目录
  *阅读和改变属性
  *改变文件大小
  *在读取或写入数据的起始
  *上MFSMETA任何访问特殊文件
mfsmount使用直接连接到数据服务器(块服务器),其存储一个文件的相关块。当写入文件,完成写入过程后,管理服务器从mfsmount接收信息更新文件的长度和最后修改时间。
此外,数据服务器(块服务器)彼此通信,以复制数据,以实现在不同的机器的文件的副本的适当数目。
 
容错
 
管理命令允许系统管理员指定的“目标”,还是应该保持,在每个目录或每个文件级别的份数。的目标设定为大于1,并具有一个以上的数据服务器将提供容错。当该文件的数据存储在多个副本(在一个以上的数据服务器),该系统是抗故障或单个数据服务器的临时网络故障。
这当然不是指文件具有“目标”设置为1,在这种情况下,该文件将只存在一个单一的数据服务器上,不论多少数据服务器部署在系统中。
特别重要的文件可能有他们的目标设定为一个数高于2,这将允许这些文件是抗多台服务器的细目一次。
在一般设置为可用的份数应比难以接近或乱序的服务器的预期数目多一个。
在其中单个数据服务器出现在网络中的故障或断开的情况下,该文件在其内存储了至少有两个拷贝,仍将从另一数据服务器访问。这是现在的数据“下的目标”将是另一个数据访问服务器上复制再次提供副本所需的数量。
应当指出的是,如果可用的服务器的数量是比“目标”为给定的文件中设置下,拷贝的所需数量不能被保留。同样地,如果有服务器作为当前设置的目标,并且如果数据服务器已达到其容量的100%的相同数目,这将是无法开始保存文件,现在是低于其目标阈由于另一个的副本数据服务器脱机。在这些情况下,一个新的数据服务器应当以保持该文件的副本的所需数目尽快连接到系统。
一个新的数据服务器可以连接到该系统中的任何时间。新的生产能力将立即成为可用来存储新的文件或文件持有来自其他服务器的数据复制副本。
行政事业存在的查询文件系统中的文件的状态,以确定是否有任何文件目前都低于他们的目标(套份数)。这个工具也可用于根据需要来改变的目标设定。
存储在块中的数据片段被版本化,从而重新连接数据服务器的数据的旧副本(例如,如果它已经脱机一段时间),不会造成文件变得语无伦次。数据服务器将同步本身持有的块,其中,所述废弃的块将被删除,该自由空间将被重新分配以保持新的块的当前版本。
一个(在运行过程mfsmount)客户机的故障不会对文件系统的一致性,或对其他客户端的操作没有影响。在最坏的情况下,尚未被发送从失败的客户端计算机中的数据可能会丢失。
 
PLATFORMS
  MooseFS可以用每一个工作FUSE实现操作系统:
  * Linux操作系统(Linux的2.6.14及以上有包括在官方内核FUSE支持)
  * FreeBSD的
  *的OpenSolaris
  *的MacOS X
主服务器,metalogger服务器和大块服务器,也可以在Solaris或Windows与Cygwin的运行。不幸的是没有FUSE它不会是可以安装在这些操作系统的文件系统

什么在此版本中是新的

    < LI>最重要的变化包括固定信号处理多线程模块,在mfsexport.cfg目标,trashtime限制,和一个简单的检查下载的元数据文件。

什么是1.6.19版本的新

  • 在实质性变化介绍给metalogger机metarestore工具对元数据的更好的完整性。
  • 在CS的扫描进度条增加了。
  • 在主名称现在,当连接失败解决。
  • 在当上一个丢失创建一个新的会话。
  • 在很多其他的bug修复和改进。

什么在1.6.17版本是新的

  • 在这个版本中,我们引入了一个自动数据高速缓存管理。
  • 这足以只升级主服务器(在块服务器没有改变'或客户代码作了)。
  • 在内核缓存机制总是一直存在,但到现在缓存是在打开一个文件总是被清零。现在MooseFS控制是否以清除它,或通过检查,如果该文件是或不是由另一个客户端修改。让我们来看看一些场景。
  • 在第一种方案:
  • 1。计算机A读取文件X
  • 2。计算机B读取该文件X
  • 3。计算机A要读取的文件X - 我们离开缓存(该文件没有改变。)
  • 在第二种情况:
  • 1。计算机A读取文件X
  • 2。计算机A写入文件X
  • 3。计算机A想要器读取文件X - 我们离开缓存(该文件被更改,但计算机A知道这些变化)
  • 在第三种情况:
  • 1。计算机A读取文件X
  • 2。计算机B写入文件X
  • 3。计算机A要读取的文件X - 在这里,我们要强制清空缓存(因为变化是由计算机B和计算机A做不知道他们)
  • 在实际环境中的第一和第二情景发生远远往往比第三种情况,这就是为什么它是合理的离开所述高速缓存的内容并获得整个系统的性能。
  • 当然也有一些平均情况(但也存在之前)像这样的:
  • 1。计算机A打开文件X完全读取它(文件保留在缓存)
  • 2。计算机B修改文件X
  • 3。计算机A再次读取该文件X(但没有关闭或重新打开它 - 只是移动位置0和重读吧)
  • 在这种情况下计算机A将获得相同的数据在步骤1中,但是同样也发生在MooseFS之前。
  • 的属性nodatacache还推出即禁止缓存文件。从版本1.6.17的文件与nodatacache属性表现得像文件做旧版本MooseFS的。该标志可以使用的工具mfsseteattr,mfsdeleattr和mfsgeteattr。
  • 在此标志加入预防性,可能你不会需要使用它。如果一段时间后,看来这真的是没用的,将被删除。但是,如果你发现任何情况下/场景它要求禁用自动缓存机制,请与我们分享。

类似的软件

attr
attr

2 Jun 15

EntityFS
EntityFS

11 May 15

ext2fuse
ext2fuse

3 Jun 15

FDMS3-FS
FDMS3-FS

2 Jun 15

意见 MooseFS

评论没有发现
添加评论
打开图片!