免费赠书（公益赠书15元包邮费骗）

免费书(公益书15元包邮骗)原创凌志云科技2021-05-20 11:44:23

数据中心提供的三大服务应该包括:避免重复造轮的创新 *** ，资源重用，从整个企业的角度提供全局数据能力，为数据用户提供更精细的粒度。那么，你的公司会不会遇到反复制轮，资源无法重用，老板无法从整个企业的角度看到全局的数据能力？如果你遇到其中的一种，你必然会陷入重复工作和拼命加班的窘境。所以，今天小智推荐的这本书大有用武之地。交给老板，让数据赋能企业发展，从而带你脱离苦海！

2.4数据中心如何赋能企业？

尽管我们现在对数据中间件的概念并不陌生，但许多管理人员和开发人员对数据中间件的工作原理只有模糊的概念。在本节中，我们将从互联网公司的角度，来看看数据中心是如何为各个部门赋能的。

云原生数据中间平台:架构、 *** 和实践

由原Twitter大数据平台总工程师撰写，融合硅谷和国内经验，全面阐述了云原生数据的平台架构、选型、 *** 论和实现路径，国内外专家共同推荐。

2.4.1组织结构

很多企业羡慕阿里巴巴、字节跳动等企业的全球数据能力和快速迭代能力，但发现其现有架构无法满足构建全球数据能力的要求。随着粗放式管理成为过去，人口红利逐渐消退，栈效应造成部门墙和数据孤岛，数据维护成本增加，数据价值发现难度加大，企业数字化运营压力增大。

在阿里巴巴的模式下，业务部门必须使用数据中心团队提供的数据能力。图2-2显示了阿里的技术中间平台、数据中间平台、业务中间平台以及各个业务板块之间的关系。根据这个图表，我们可以想象，如果中台出现了问题，不能及时解决，那么业务部门的运营将会受到很大的影响。那么，业务部门为什么要冒险尝试数据中间平台这样的新架构呢？没有马云的全力支持，阿里巴巴的业务部门很难冒着业务受影响的风险尝试这种新架构。而且，不是所有公司的技术团队都像阿里巴巴那么强，也不是所有公司都像阿里巴巴那么强要求业务部门无条件配合。这就提出了一个问题。一般企业应该如何构建类似数据中心的能力？

图2-2阿里巴巴数据能力共享示意图

事实上，数据中间件的这些能力不一定要由专门的数据中间件部门抽象提供，也可以由业务部门提供。比如在Twitter上，用户分析部门做用户画像，反欺诈团队做API识别机器人和恶意账号。完成后，它共享接口，其他部门也可以使用。所以没必要像阿里巴巴一样重组组织，成立专门的中台团队，把一些通用的能力分配给这个团队进行管理。但是，如果企业想要建设一个符合自身需求的数据中心，就需要根据企业的组织架构来规划数据中心。因为数据中台的目标是实现高效的数字化运营，让企业的大部分员工都可以用数据来支撑日常工作，所以了解这些组织架构中数据中台的运营模式，选择最适合自己的组织架构，对企业规划数据中台的建设非常有帮助。但需要强调的是，这种自下而上的抽象和共享虽然常见，但不是万能的，必须有相应的工具和流程支持。

下面，我们以一般的互联网公司为例，来说明数据中心如何赋能各个部门。

一般来说，在一家互联网公司，我们会看到以下部门设置。

决策部门

首席执行官、首席运营官、首席财务官、首席技术官、首席信息官等。

业务部门/部门

部门:产品决策和设计

部门:产品运营、会员运营、用户增长等。

销售部门:销售、客户服务

部门:渠道、推广、商务合作

财务部:预算结算、资金管理

研发部门

IT部门:公司内部IT和产品运维

产品研发:架构、开发和测试

大数据部:提供数据能力支持

我们来看看企业的各个部门是如何利用数据中心的能力来提高工作效率，达到更好的工作效果的。

2.4.2决策部门

在数字化运营的企业中，数据对于决策层的重要性不言而喻，CDO(首席数据官)和CDS(首席数据科学家)这两个越来越常见的职位就是很好的证明。2015年，美国 *** 任命来自LinkedIn的数据科学家DJ Patil担任白宫的CDS，希望他在互联网公司的数据经验能够帮助 *** 和其他行业做出更科学的决策。对于企业的管理和决策层面，数据中心可以赋予他们五种能力。

(1)快速智能的业务决策支持

数据中心可以为管理决策层提供全局、多维度的报告，反映各业务线的情况，比如告诉管理决策层哪个广告渠道带来的转化率更高，快速提供可视化报告等。除了传统的业务报告，数据中台还可以通过使用全局数据集成能力，提供传统数据仓库之外的智能和全局业务洞察。比如，数据中心整合用户行为、销售管理、供应链的数据后，可以提供类似于“某个区域的供应链问题导致用户活跃度显著下降”的自动报警功能，这在传统商业报告中很难被提前定义或自动发现。再比如，企业决策部门往往需要判断现有系统是否能支持某个产品，支持的速度有多快。这个时候，数据中心提供的数据能力全景就很重要了。

(2)精细化运营管理

实现各产品线的数字化运营标准，对全公司进行高效的数字化运营。比如每个产品都要有量化的运营指标，都要进行A/B测试。运行数据的自动分析和报警；形成完善的数据标准和数据应用资产体系，打通各业务线数据，实现数据价值更大化，在重要决策时快速获得数据的支持。

(3)产品线的快速迭代

在数据中心的支持下，可以利用现有的数据能力快速推出新产品，利用现有的数据积累加快推广和实施的进程，比如实现各产品线、各部门之间的协同和市场拓展，快速满足市场需求。例如，产品经理在设计新产品时，需要确定目标用户与现有用户的重合度及其在目标区域的分布，以确定产品的推广方式。同时上线前需要进行A/B测试，上线后必须立即获得性能反馈，并且更好充分利用现有工具快速实现这些功能。这些都需要通过不同部门之间的数据协调以及数据中心的前端和后端数据来实现。

(4)共享和重用内部数据能力。

解决车轮重复 *** 的问题。通过数据中间平台，管理和决策层可以清楚地看到公司目前拥有哪些数据资产，哪些业务已经拥有数据、应用和接口，如何提高某条业务线的运营效率，需要收集、处理和分析哪些数据。同时也可以避免重复制轮，及时发现冗余或无用的数据。比如双12需要向中年用户推广销售的时候，可以复用双11开发的服务向年轻人推广销售，只需要微调就可以快速上线，不需要重新开发。但需要注意的是，在强调内部数据能力共享重用的同时，也要注意各部门快速独立迭代与整体统一规划之间的矛盾。

(5)完善的投资回报管理

大数据项目通常需要大量的资源，所以我们经常会看到费用巨大，部门和项目分配不明确的情况。为了最合理地利用资源，保证核心业务的性能，我们需要数据中台对每个数据应用进行准确的ROI规划和管理。

以上功能会随着数字化运营的不断完善而日臻完善，但企业管理决策层对这些能力的重视和理解，绝对是数据中台项目的一个核心驱动力，这也是为什么我们说数据中台是一个“一把手”项目。

管理层一般以什么形式使用这些能力？宏观上，当决策层需要数据支撑决策时，会有很多关于市场、产品、用户、人员、资源的量化问题，需要数据中心快速、准确、全面的回答。一位CEO曾经向我们解释过他的公司为什么需要建设一个数据中心:“每次需要实现一个业务功能，我们的IT部门可以在一两周内做出响应；但每次我遇到数据问题，他们都要花四到五周时间给我解决方案。这时，我意识到应该有一个系统的数据解决方案。”

具体形式上，通常有一个数据分析师(团队)专门负责决策层。决策层的所有问题都由这个数据分析师转化分解成具体业务指标的查询，将各个业务部门的数据指标汇总整理，再以管理层容易理解的形式呈现出来。这种数据分析师的角色有时由CDO或CDS承担，因为只有对公司的全球业务和具体数据模型有深刻的理解，才能保证数据及其结果的准确性。一般情况下，如果在对决策层的问题进行转化和分解时，有些问题很难回答，这其实就是发现了现有数据系统的缺点和不足。这时候就需要CDO或者CDS来改进和完善公司的数字化运营机制。

在工具方面，管理层有时会使用通用的数据工具，更多的时候，数据平台团队会为他们定制可视化看板、实时/定时报告以及一些工具。比如Ask.com早期用大数据平台替代传统BI的时候，首先实现的就是每天早上的定期报告(包括CEO最关心的一些一般运营指标和重要市场活动的每日更新)，每周一的市场收入报告(根据可配置的多维度分析)和用户画像报告，以及一些重要市场活动的实时数据分析看板(管理层可以随时查看)。一般来说，这个级别的工具很难有通用的产品，其形式和数据使用都是高度个性化的，会随着市场的变化而变化，所以更好有专门的团队来支持管理层的数据需求。然而，一个好的底层架构可以让这种定制化的开发过程更快，更好地支持数据的准确性、实时性和可解释性。

2.4.3业务部

数据中心可以为业务部门和IT R&D部门提供的主要功能可以根据产品的生命周期来划分。产品生命周期理论最早是由美国哈佛大学教授雷蒙德·弗农于1966年在他的文章《产品生命周期中的国际投资与国际贸易》中提出的。产品生命周期就是一个产品的市场寿命，即从进入市场到被市场淘汰的全过程。产品一般会经历发展、引入、成长、成熟、衰落几个阶段。

以互联网产品为例。对于一个具体的产品，其生命周期基本可以分为前期研究→项目立项→需求研发→开发→测试→发布→运营。对于一个公司来说，需要快速响应变化，这就要求它对产品生命周期有更精细的控制。但在全数字化运营环境下，产品的迭代周期会越来越短，传统的瀑布式开发流程在很多地方已经被抛弃，快速开发和敏捷迭代逐渐成为主流。此时，数据中心将承担决策依据的重任。

对于业务部门来说，他们对数据中端的需求贯穿于整个产品生命周期。数据中心可以为业务部门带来以下能力。

获得市场洞察力:通过分析现有用户和市场数据，了解市场和用户的情况。

预测产品的市场:在将产品推向市场之前，了解市场可能的反馈。

监控产品性能:产品上线后，快速了解产品运行的各项指标。

跟踪用户行为和反馈。

自动发现市场异常，快速反应。

上述功能大多涉及数据的综合集成和持续集成，这些功能以自助工具的形式提供给各个业务部门。比如我们可以总结用户在所有产品中的行为，生成全面的用户画像，根据用户画像给用户贴标签。然后，运营商可以利用标签系统定位特定的用户群体，针对这个群体采取相应的营销手段，比如发送促销邮件或者通知等。

现实:产品决策

在Twitter的产品迭代过程中，数据平台起着核心作用。从产品想法的产生，这个想法的初步验证，到一个可观察的概念证明(POC)的实现，产品的推出，产品性能的持续跟踪，业务部门都离不开数据平台提供的功能。一个新产品的创意可能有很多来源，比如对竞品和用户行为数据的分析，用户的反馈或者产品经理的启发。有了想法之后，产品经理要做的之一件事就是量化这个产品可能带来的影响。例如，一位产品经理想做一个关于电影推文的IMDb集成，为对电影感兴趣的用户提供更好的体验。产品经理在开发这个产品之前，可以先看产品推荐部门在数据平台上做的用户画像，看看有多少用户可能对电影感兴趣，再看看广告部提供的数据中这些用户点击广告的概率，最后看看用户增长部提供的数据中最近喜欢电影的用户数量的增减情况。有了这些数据，产品经理就可以快速判断这个产品是否能给公司带来显著的用户或收入增长，而不是拍着脑袋决定要不要开发这个产品。也可以对投入的人力物力有一个大概的估计，让公司在立项的时候有一个更好的决策依据。

但是，并不是各个业务部门所需的所有数据功能都可以由数据中心立即提供。此时，业务部门可以自主开发和测试所需的功能，只要满足数据中心要求的数据标准即可。这些功能会在数据能力全景图中呈现，其他部门可以直接使用。例如，数据分析中的一个常见功能是从某些固定的IP段中过滤出请求，因为这些IP段一般由机器人、合作伙伴或内部使用。这个网段的维护往往是从反诈骗部门开始的。反欺诈部门完成这个网段列表和相应的数据服务API后，其他业务部门的数据分析或数据应用也可以使用，他们的应用不需要重新开发和维护这个功能。更重要的是，通常各部门都必须使用统一的数据函数，比如上述过滤网段函数就必须全球统一，否则统计口径就不一样。

2.4.4 R&D部门

产品R&D部门希望专注于业务逻辑的开发，而不考虑数据处理的细节。因此，数据中心应该具有类似于DaaS(数据即服务)平台的功能:

可以随时获取所需数据，保证数据的可用性和正确性；

需要有一个便捷的数据处理流程和一套标准，可以轻松处理数据；

如果有数据服务，提取有价值的数据后，可以通过数据服务共享使用；

如果有数据应用，可以轻松进行A/B测试，放大屏幕，监控数据。

在开发业务应用时，R&D部门一般有更多的数据需求，即数据建模和业务逻辑还原。他们会考虑产品上线后的数据分析需求，在开发时加入相应的数据埋点、数据记录和日志条目。但是，R&D各部门不需要担心这些记录的数据是如何收集、存储和汇总的，这应该是数据中心的自动处理工作。

如果R&D部门的数据记录机制满足数据中心的要求，那么数据中心可以提供自动或半自动的数据收集、测试和监控功能。当然，这需要一些内部框架。例如，在Twitter的内部数据平台中，如果按照标准的方式记录业务部门的数据，那么这些数据可以自动对接到一个A/B测试框架中。系统上线后，数据中心可以自动进行A/B测试，生成报告，生成标准监控画面。

具体来说，通用大数据平台部门要提供一个类似于“数据驱动应用开发标准和SDK”的文档，以及一个类似于“数据驱动应用工作台”的Web工具。业务部门按照这个开发标准设计记录数据的建模，然后按照SDK中的接口安排数据记录。一般是将数据以指定的格式写入指定的端口或文件，后台的大数据管道会根据协议自动采集、汇总、分析这些数据，生成预制的报表。R&D各部门可以去“数据驱动的应用工作台”检查数据和具体报告。如果有特殊或定制的需求，他们还可以使用相关工具进行自助即席分析。

2.4.5大数据部门

在数据中间平台的建设中，大数据部门处于核心地位，但大数据部门的工作除了建设大数据基础能力平台之外，还应着眼于全局数据能力的统一管理和赋能。

传统大数据团队的主要任务如下:

并安装运行Hadoop、Hive、Spark、Kafka等大数据基础组件；

为ETL工具提供运维支持，有时帮助业务部门编写一些查询，优化一些查询；

提供大数据平台集群用户管理、权限分配、数据管理和备份等。

负责大数据系统的运维、扩容、升级，帮助业务部门解决系统问题。

在数据中台的运营中，除了上述工作，大数据部门还需要

建立数据标准并确保数据标准的实施；

提供自助数据工具，供各业务部门使用；

支持业务系统的数据处理框架、测试框架、数据分析框架的开发，避免各业务IT部门重复开发；

确保所有业务部门能够在数据平台上发布和共享其公共数据能力；

提供数据应用发布、运维、更新的全生命周期管理；

细化整个大数据平台的运营，确保每个数据应用的ROI都有迹可循。

这些工作提高了大数据团队的技能要求，数据与业务的结合是全方位的，对数据平台的可扩展性、稳定性、实时性和可用性有更高的要求，这也是本书的主要内容。

企业之所以决定建设数据中心，是因为业务部门需要这些能力，而现有的数据系统无法提供快速高效的支持。因此，在数据中台建设之初就要明确需要提供的业务能力和应用场景，做到有的放矢，正确衡量数据中台建设的效果。

以上内容摘自《云原生数据中间平台:架构、 *** 论、实践》部分章节。

学习机会来了，欢迎点击链接购买。

http://product.dangdang.com/29238920.html

图书福利

如果你对这本书感兴趣，请写下你的疑惑、看法等。在围绕“数据中心”或“大数据技术”相关主题的留言区，如果您喜欢前三条留言，可以免费获得一本书。消息截至5月26日18: 00。

数据 数据中心 部门 产品 能力