本文是2018年6月21日在京召开的GMTC(全球前端技术大会)下午性能与监控专场,以及阿里巴巴云前端监控团队前端技术专家@彭伟春的发言。现场反馈效果很好,很多人三次坐地上,根本挤不进去。先拍一张现场照片。
这需要使用我们的大数据处理产品数据立方体。我们来分析一下数据立方体是如何解决实时性问题的。
如图,以浏览器、设备、地理区域三个维度为例,形成三维数据立方体。多维数据集中的每个小网格代表一个聚合数据。
请看图中数字3所在的格子。3代表3 D,是北京Vivo设备和chrome浏览器的聚合量
看一个黄色部分的数字2,代表浏览器维度的聚合,也就是上海Vivo设备的聚合,包括所有浏览器。
看右下角的数字0,代表维度0,也就是所有的聚合量,包括所有的浏览器,所有的设备,所有的区域。
数据立方体的秘密是预先计算所有网格的值。下次要取值的时候,直接取数据立方体的某个值就行了,本质上就是在空之间改变时间的想法。
图像着眼于我们的实际处理场景。元数据按流计算后,每分钟、每小时、每天都会生成一个数据立方体。这个数据立方体有90多个维度。回到前面的情况,如果我想限制一些条件得到24小时趋势图,我只需要取出24个数据立方体中指定位置的小网格。计算时间可以大大减少到第二级。
【思维案例】数据立方体本质上是提前计算所有可能组合的结果,结果个数是笛卡尔乘积。如果某个维度有很多值(比如淘宝产品详情url中的产品id不断变化,导致url值上千万),直接导致维度爆炸,如何解决?
有兴趣的同学可以加钉钉技术交流群,谢谢。
形象
关于这篇文章,来自@阿里巴巴云前端监控团队,
【1148号】把前端监控做到极致
如何设计前端监控系统
1.《1316 【第1316期】大前端时代前端监控的最佳实践》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。
2.《1316 【第1316期】大前端时代前端监控的最佳实践》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。
3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/fangchan/1013352.html