• 庆祝改革开放40周年 新疆文艺作品唱响主旋律
  • Les fruits de la coopération doivent profiter dans les meilleurs délais aux populations des pays concernés
  • 云南首个县级远程异地评标项目在龙陵顺利完成
  • 好干部是管出来的(人民论坛)
  • 天津市全面完成222台燃气锅炉低氮改造
  • 爱琴海购物公园顶楼天台有乾坤 可以骑马种菜
  • 国内五星级酒店已达720多家
  • 新媒:超8.2万人申请港澳居民居住证
  • 市级8条断头路工程全部通车
  • 打开老区发展“多彩之门”——记浙江余姚市梁弄镇党委书记何张辉
  • 浙江海盐“流动表箱”助力美丽乡村建设
  • 周恩来曾因何事向下级道歉检讨?
  • 创新城多了科技“打卡地”
  • 36亿元台湾企业投资项目落户四川
  • 人民网新疆带您探秘祖国"西部明珠"乌苏徒步之旅(图)
  • 微淘卡盟 - 精选 - 正文

    四大???,带你了解阿里大数据产品技术架构

    2019-04-27 02:46产品中国 / Wilton(董超华)

    2014年,马云提出:“人类正从IT时代走向DT时代”。

    如果说在IT时代是以自我控制、自我管理为主,那么到了DT (Data Technology)时代,则是以服务大众、激发生产力为主。以互联网(或者物联网)、云计算、大数据和人工智能为代表的新技术革命正在渗透至各行各业,悄悄地改变着我们的生活。

    在DT时代,人们比以往任何时候更能收集到更丰富的数据。

    IDC的报告显示:预计到2020年,全球数据总量将超过40ZB (相当于40万亿GB),这一数据量是2011年的22倍!正在呈“爆炸式”增长的数据,其潜在的巨大价值有待发掘。数据作为一种新的能源,正在发生聚变,变革着我们的生产和生活,催生了当下大数据行业发展热火朝天的盛景。

    但是,如果不能对这些数据进行有序,有结构地分类组织和存储。如果不能有效利用并发掘它,继而产生价值,那么它同时也成为一场“灾难”。无序、无结构的数据犹如堆积如山的垃圾,给企业带来的是令人昨舌的高额成本。

    在阿里巴巴集团内,我们面临的现实情况是:集团数据存储达到EB级别,部分单张表每天的数据记录数高达几千亿条,在2016年“双”购物狂欢节”的24小时中,支付金额达到了1207 亿元人民币,支付峰值高达12万笔/秒,下单峰值达17.5万笔/秒,媒体直播大屏处理的总数据量高达百亿且所有数据都需要做到实时、准确地对外披露……

    这些给数据采集、存储和计算都带来了极大的挑战。

    在阿里内部,数据工程师每天要面对百万级规模的离线数据处理工作。阿里大数据井喷式的爆发,加大了数据模型、数据研发、数据质量和运维保障工作的难度。

    同时,日益丰富的业态,也带来了各种各样、纷繁复杂的数据需求。如何有效地满足来自员工、商家、合作伙伴等多样化的需求?提高他们对数据使用的满意度,是数据服务和数据产品需要面对的挑战。

    如何建设高效的数据模型和体系,使数据易用,避免重复建设和数据不一致性,保证数据的规范性?如何提供高效易用的数据开发工具?如何做好数据质量保障:如何有效管理和控制日益增长的存储和计算消耗?如何保证数据服务的稳定,保证其性能?如何设计有效的数据产品高效赋能于外部客户和内部员…..这些都给大数据系统的建设提出了更多复杂的要求。

    本文介绍的阿里巴巴大数据系统架构,就是为了满足不断变化的业务需求,同时实现系统的高度扩展性、灵活性以及数据展现的高性能而设计的。

    如图1.1所示是阿里巴巴大数据系统体系架构图,从图中可以清晰地看到数据体系主要分为数据采集、数据计算、数据服务和数据应用四大层次。

    一、数据采集层

    阿里巴巴是一家多业态的互联网公司,几亿规模的用户(如商家、消费者、商业组织等)在平台上从事商业、消费、娱乐等活动,每时每刻都在产生海量的数据。

    数据采集作为阿里大数据系统体系的第一环尤为重要。因此,阿里巴巴建立了一套标准的数据采集体系方案,致力全面、高性能、规范地完成海量数据的采集,并将其传输到大数据平台。

    阿里巴巴的日志采集体系方案包括两大体系: Aplus.JS 是Web端日志采集技术方案; UserTrack 是APP端日志采集技术方案。

    在采集技术基础之上,阿里巴巴用面向各个场景的埋点规范,来满足通用浏览、点击、特殊交互、APP事件、H5及APP里的HS和Native日志数据打通等多种业务场景。

    同时,还建立了一套高性能、高可靠性的数据传输体系,完成数据从生产业务端到大数据系统的传输。在传输方面,采用TimeTunnel (TT), 它既包括数据库的增量数据传输,也包括日志数据的传输。

    TT作为数据传输服务的基础架构,既支持实时流式计算,也支持各种时间窗口的批量计算。另外,也通过数据同步工具(DataX和同步中心,其中同步中心是基于DataX易用性封装的)直连异构数据库(备库)来抽取各种时间窗口的数据。

    二、数据计算层

    数据只有被整合和计算,才能被用于洞察商业规律,挖掘潜在信息,从而实现大数据价值,达到赋能于商业和创造价值的目的。

    从采集系统中收集到的大量原始数据,将进人数据计算层中被进一步整合与计算。

    面对海量的数据和复杂的计算,阿里巴巴的数据计算层包括两大体系:数据存储及计算云平台(离线计算平台MaxCompute和实时计算平台StreamCompute)和数据整合及管理体系(内部称之为“OneData”)。

    其中,MaxCompute 是阿里巴巴自主研发的离线大数据平台,其丰富的功能和强大的存储及计算能力使得阿里巴巴的大数据有了强大的存储和计算引擎: StreamCompute 是阿里巴巴自主研发的流式大数据平台,OneData是数据整合及管理的方法体系及工具。

    阿里巴巴的大数据工程师在这一体系下,构建统一、规范、可共享的全域数据体系,避免数据的冗余和重复建设,规避数据烟囱和不一致性,充分发挥阿里巴巴在大数据海量、多样性方面的独特优势。

    借助这一统一化数据整合及管理的方法体系,我们构建了阿里巴巴的数据公共层,并可以帮助相似大数据项目快速落地实现。

    从数据计算频率角度来看:阿里数据仓库可以分为离线数据仓库和实时数据仓库。

    离线数据仓库主要是指:传统的数据仓库概念,数据计算频率主要以天(包含小时、周和月)为单位——如T-1,则每天凌晨处理上一天的数据。

    但是,随着业务的发展特别是交易过程的缩短,用户对数据产出的实时性要求逐渐提高,所以阿里的实时数据仓库应运而生?!八?1”实时数据直播大屏,就是实时数据仓库的种典型应用。

    编辑:

    版权与免责声明:

    凡未注明"稿件来源"的内容均为转载稿,本网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,本网并不意味着赞同其观点或证实其内容的真实性;


    本文地址:http://www.yiyiceng.cn/news/2019/04/27/944080.html

    转载本站原创文章请注明来源:微淘卡盟

    点击排行
    焦点

    科学家发现“脱壳壁虎”:可脱掉皮肤逃生

      有网友调侃,这脱了马甲,真的认不出来了?! 【萦⒐睹咳?...详情

    树木年轮揭晓神秘地磁“太阳事件”

      据国外媒体报道,大约7000年前,地球被一束强烈的宇宙射 ...详情

    三星可折叠手机最早年底发布 仍面临技术问题

      三星每年都会推出两款主要的安卓旗舰机,上半年的Galax ...详情

    三星供应链悖论:为何仍重用引发Note 7爆炸的“元凶”

      鸡年伊始,刚刚从Note 7爆炸门调查抽身出来的三星又 ...详情

    英特尔将斥70亿美元在美建半导体厂 可雇佣3000人

      据美国《华尔街日报》2月9日报道,当地时间8日,美国总统 ...详情

    CopyRight ? 2017 微淘卡盟 www.yiyiceng.cn, All Rights Reserved 锐意网 版权所有

    使用锐意网前必读 | 关于我们 | 免责声明 | 隐私政策 | 微淘卡盟 | 联系我们