taskmaster

工头是一个简单的分布式队列专为处理大量的一次性任务。
我们建立了这个在DISQUS处理频繁，但像少见的任务“这一数据迁移到一个新的模式。”
为什么？
你可能会问，“为什么不使用芹菜？”。那么答案很简单，就是正常的排队需要（而不是字面上的，但它会是痛苦的无），你来缓冲所有任务到一个中央位置。这成为一个问题，当你有大量的任务，尤其是当它们含有大量的数据。
想象一下，你有1十亿任务，每个在5K称重。那，未压缩的，最低4 TB的存储空间，只是为了保持周围，并获得你很少需要。
工头另一方面旨在利用一个可恢复迭代，并且只在一个时间拉中的作业的最大数目（使用标准的Python队列的）。这确保了可以扩展线性一致的存储器图形。
用法
创建一个迭代器，和回调：
进口插座
＃我们必须确保默认的超时**未设置**或随机狗屎将达到风扇。
socket.setdefaulttimeout（无）
＃工头/ example.py
高清get_jobs（去年= 0）：
＆NBSP;如果是恢复状态＃最后将被送到
＆NBSP;＃从以前运行
＆NBSP;对于我的xrange（去年，亿）：
＆NBSP;＃工作取得了一定是可序列化与咸菜
＆NBSP;产量我
DEF handle_job（ⅰ）：
＆NBSP;＃这个** **必须进行幂等，作为恢复过程可能执行作业
＆NBSP;＃这已经运行
＆NBSP;打印“得了％R！” ％I
产卵主：
＆NBSP; TM-主taskmaster.example
酿出的奴隶：
＆NBSP; TM-从taskmaster.example
或产卵8站（每片含一个线程池）：
＆NBSP; TM-产卵taskmaster.example 8
不喜欢的神奇功能发现的主/从？指定自己的目标：
＆NBSP; TM-主taskmaster.example：get_jobs $ TM-从taskmaster.example：handle_job

注：所有参数都是可选的，并且将默认为localhost没有AUTH键

要求：

• 蟒蛇