MyDataHarbor是一个在zookeeper上构建的分布式中间件,支持水平扩展,对节点进行分组,各分组下的机器形成一个子集群,任务在子集群隔离范围内进行负载均衡,防止单点故障。
高度合理的抽象、插件化的设计使得MyDataHarbor拥有很高扩展性,任何数据迁移的需求都可以通过开发插件完成。
MyDataHarbor设计之初就考虑到数据丢失问题,该框架可以保障数据至少到达下游一次,即下游返回成功才会提交,不过这样也会造成数据重复(对于数据同步场景可以接受)!
安装插件后中间件会自动识别这个插件的能力,并且生成用户UI友好的任务创建界面,不需要用户直接编写复杂的json配置。