博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Cube的构建过程
阅读量:7083 次
发布时间:2019-06-28

本文共 301 字,大约阅读时间需要 1 分钟。

  hot3.png

Cube 的构建方式有两种:全量构建和增量构建。两者的构建过程完全一样,区别在于构建时读取的数据源是全集还是子集。

Cube的构建步骤:

1.创建临时的 Hive 平表(从 Hive 读取数据)。

2.计算各维度的不同值,并收集各 Cuboid 的统计数据。

3.创建并保存字典。

4.保存Cuboid统计信息。

5.创建HTable。

6.计算Cube(一轮或若干轮MapReduce)

7.将Cube的计算结果转成HFile。

8.加载HFile到HBase。

9.更新Cube元数据。

10.垃圾回收。

转载于:https://my.oschina.net/134596/blog/1834603

你可能感兴趣的文章
谨慎使用多线程中的fork
查看>>
MSSQL2005 修改数据库的排序规则
查看>>
洛谷 1344 [USACO4.4]追查坏牛奶Pollutant Control——最大流
查看>>
使用winavr的过程中,遇到的有关volatile的问题
查看>>
【iOS】Xcode中的-all_load与-ObjC
查看>>
论文中的数学符号使用
查看>>
WPF中UI及时更新,如何在处理长时间工作时,保持界面的持续更新
查看>>
CSS 样式表中padding 的用法
查看>>
Sql Server 主从数据库配置
查看>>
Event 对象
查看>>
经典冒泡排序,九九乘法表,三角形
查看>>
openstack之keystone
查看>>
我的IIS7.5竟然不支持ASP.NET路由
查看>>
[ISSUE][ERROR] console - Caught exception: Error: sourceEnd out of bounds
查看>>
C到C++的升级
查看>>
bootstrapCDN和本地化
查看>>
EtherCAT主站对PHY有要求?
查看>>
Pair Project:黄明源11061186 and 刘昊岩11061156
查看>>
关于网站防盗链问题
查看>>
人工智能第一次作业
查看>>