S3QL

S3QL支持亚马逊的S3以及任意SFTP服务器，并有效地为您提供了动态的，无限容量硬盘，可以从与网络连接的任何计算机访问。
S3QL是提供一个标准的，功能齐全的UNIX文件系统，从任何本地文件系统在概念上没有区别。此外，S3QL有一个像压缩，加密，重复数据删除，一成不变的树木和快照，这使得它特别适合用于在线备份和存档的附加功能。
S3QL设计偏向简洁和优雅在性能和功能蠕变。已经采取谨慎措施，使源代码的可读性和维修成为可能。固体错误检测和错误处理已被包括在从第一行，并S3QL带有广泛自动化测试案例为它的所有组件。
前的文件系统可被安装，这将保持数据的后端有被初始化。这是通过在mkfs.s3ql命令。在这里，我们使用的是亚马逊S3后端，和nikratio-S3QL斗是斗S3中的文件系统将被存储。
mkfs.s3ql S3：// nikratio-S3QL斗
要安装存储在目录/ mnt / S3QL的S3桶nikratio_s3ql_bucket的S3QL文件系统，请输入：
mount.s3ql S3：// nikratio-S3QL斗到/ mnt / S3QL
现在，您可以指示你最喜欢的备份程序运行备份到目录/ mnt / S3QL和数据将被存储在亚马逊S3。当您完成，文件系统与卸装
umount.s3ql到/ mnt / S3QL

特点：

• 在透明度。从概念上讲，S3QL是从本地文件系统没有什么区别。例如，它支持硬链接，符号链接，完整的UNIX权限，扩展属性和文件大小可达2 TB。
• 动态尺寸。一个S3QL文件系统的大小增长，并动态地收缩的要求。
• 压缩。入库前，所有的数据可以压缩与LZMA，BZIP2和LZ算法。
• 加密。压缩后（但上传前），所有的数据可以加密，AES使用256位密钥。一个附加的SHA256 HMAC校验用于保护数据被操控。
• 在重复数据删除。如果多个文件具有相同的内容时，冗余数据将被存储一次。这可以跨越存储在文件系统中的所有文件，并且如果该文件的仅某些部分是相同的，而其他部位不同。
• 在永恒树。目录树可以由不可变的，以使它们的内容不能再以任何方式改变。这可以用来确保已作出后，他们的备份不能被修改。
• 在写入时复制/快照将。 S3QL可以复制整个目录树，而无需使用任何额外的存储空间。仅当所述副本中的一个被修改，已被修改会占用更多的存储空间内的数据的一部分。这可以被用来创建使用的空间的最小量保持在时间上的一个目录的不同点处的状态智能快照。
• 在高性能的独立网络延迟。所有操作不写入或读取文件内容（如创建目录或移动，重命名和更改文件和目录的权限）是非常快的，因为他们是在没有任何网络交易。
• S3QL通过保存在数据库中的全部文件和目录结构实现这一点。这个数据库缓存在本地和远程复制异步更新。
• 在支持低带宽连接。 S3QL分割文件的内容分成更小的块和块缓存在本地。这最大限度地减少所需的读取和写入数据网络交易的两个数，并且数据具有当被读出或写入的文件的唯一零件要传送的量。

什么在此版本中是新的：

• 在尝试升级文件系统，已经在最新修订版不再呈现局部的元数据复制无法使用。
• 在谷歌的存储桶包含点名称不再导致问题的SSL证书验证。
• 修正了当statvfs（）被调用一个几乎空文件系统崩溃。
• 有一个新的＆QUOT; swiftks＆QUOT;后端的OpenStack /雨燕服务器。
• 在消除竞争条件可能导致mount.s3ql用＆QUOT崩溃; KeyError异常的集合/ abc.py＆QUOT;
• 在修复尝试上传对象时，接收到连接或服务器错误后清理时可能发生的崩溃。

什么版本2.2是新的：

• 在S3QL现在使用SSL连接，默认情况下并验证服务器证书。
• ，导致远程元数据的明显损失竞争状态是固定的。
• 在该S3后端现在使用一个请求，如果可能的话，减​​少了等待时间，流量和请求的数量S3删除多个存储对象。
• S3QL现在能的所有数据之前，检测服务器错误和重定向已被发送到服务器。
• 在新的“Rackspace公司”后端，使规范的存储URL对象存储区域的加入。
• 在该mount.s3ql --compress选项现在允许指定的压缩级别。

什么在1.15版本新：

• 现在，使用本地后端时，元数据备份骑自行车花费更少的时间。
• 在它不再要求S3QL和Python APSW链接到同一个SQLite的共享库。
• 在mount.s3ql，在使用--metadata上传间隔0固定崩溃。
• 而不是完全卸载文件系统（和离开挂载点无法访问）时，后端的数据丢失或损坏，S3QL现在返回一个错误，并切换到只读操作。

什么是在1.13版本新：

• 在该版本修复了导致写入格式不正确的元数据中的错误使用了近eglibc版本时。
• 在它试图访问一个目录下，最近被删除。s3qlrm文件系统的根目录时修复问题。
• 在表面上的ACL的支持已被删除。
• 在这个版本更好的手柄桶无效的DNS名称。
• 这将重试，如果DNS不可用。

什么是1.11.1版本，新的：

• 在这个版本使用S3后端时，修复崩溃（回归在1.11版本中引入），增加了最低报的文件系统大小为1 TB，和周围的DF缺陷工程，以便大小是正确的报道。

什么是在1.11版本新：

• 在有关的元数据存储的对象现在被分成多个字段，所以没有字段长度超过256个字节。 （这使得S3QL与更广泛的存储供应商都兼容。）的SWIFT后端会重试，如果它收到来自远程服务器5xx错误代码，而不再试图上传数据已过期身份验证令牌时失败。

什么版本1.10的新：

• 在该S3S，的S3C和GSS后端已被删除。而不是与S3，S3C和GS后端一起使用新--ssl选项。
• 在S3QL不再保持为不同的后端轨道一致性保证。
• 在越来越多的不同的存储供应商提供了不同的区域，冗余和可用性水平，使这不再是可行的。
• 在用户手册中包含一个新的部分，＆QUOT;重要的规则，以避免数据丢失和QUOT;
• 在读强烈推荐。

什么是1.9版本，新的：

• 在这个版本使得文件时间不再更改更改系统时，时区，修复和改善的contrib / benchmark.p，修复＆QUOT;太多的链接重定向＆QUOT;错误，重试上5XX服务器错误，并增加了对OpenStack的/ SWIFT服务器和实验代理支持实验的原生支持。

什么在1.8版本的新：

• 在A＆QUOT; ValueError错误：无法转储NULL值＆QUOT;当文件系统元数据在超负荷文件系统活动固定上传崩溃。
• 在s3qlcp和目录列表非常大的目录性能得到改善。
• 在一个企业绩效的回归是固定的。
• - 块大小更名为--max-OBJ-尺寸
• 在发生严重下的并行文件系统的使用有些崩溃是固定的。
• 在蟒蛇-llfuse 0.37现在使用。

限制：

• 在仍有大量的代码中的错误，你应该准备好应对它们。不过，你可以有理由相信虫子（虽然不方便）不会危及你的存储数据。