流式数据的分布式处理方法和装置[发明专利]

来源：年旅网

专利内容由知识产权出版社提供

专利名称：流式数据的分布式处理方法和装置专利类型：发明专利

发明人：徐瑶,王聪,张云聪,张建伟,黄鑫申请号：CN201610465909.3申请日：20160623公开号：CN1061263A公开日：20161116

摘要：本申请公开了流式数据的分布式处理方法和装置。所述方法的一具体实施方式包括：将接收到的流式数据封装为第一弹性分布式数据集；按照时间窗口对所述第一弹性分布式数据集执行分组操作，分组操作包括：将第一弹性分布式数据集中的各个数据分别分入该数据所记载的时间戳所属时间窗口所对应的分组中，形成与各个时间窗口分别对应的、包含有穷个数据的第二弹性分布式数据集；将各个第二弹性分布式数据集封装成包含多个第二弹性分布式数据集的嵌套式数据集；使用预先定义的遍历算子，依次将所述嵌套式数据集中的各个第二弹性分布式数据集传递给定义在有穷数据集上的批处理算子以执行分布式数据处理。该实施方式实现了弹性分布式数据集中算子的复用。

申请人：北京百度网讯科技有限公司

地址：100085 北京市海淀区上地十街10号百度大厦2层

国籍：CN

代理机构：北京英赛嘉华知识产权代理有限责任公司

更多信息请下载全文后查看

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文