大数据平台有哪些特点_大数据平台应该有的功能和特点分别是什么

物联网是一个非常宽泛的概念，指的是各种设备和机器通过互联网连接起来，车联网和工业互联网都属于物联网的范畴。根据Gartner的报告，2019年联网设备数量已经超过142亿，预计2021年将达到250亿，这是一个巨大的数字。毫无疑问，我们需要一个物联网大数据平台来处理这些联网设备产生的海量数据。

一个物联网大数据平台需要具备哪些功能？与一般的大数据平台相比，它需要具备哪些特征？我们来仔细分析一下。

1.高效的分配必须是一个高效的分配系统。物联网产生了海量的数据。仅在中国，就有超过5亿个智能电表，每个电表每15分钟采集一次数据，一天就会产生超过500亿条记录。没有服务器能处理这么大的数据量，所以处理系统必须是分布式的，水平扩展的。为了降低成本，一个节点的处理性能必须是高效的，需要支持快速数据写入和快速查询。

2.实时处理必须是实时处理系统。互联网大数据处理，熟悉的场景有用户画像、推荐系统、舆情分析等。这些场景不需要任何实时，而是批量处理。但对于物联网场景，需要根据采集到的数据进行实时预警和决策，延迟要控制在秒内。如果没有实时计算，物联网的商业价值就会大打折扣。

3.高可靠性需要操作员级别的高可靠性服务。物联网(IOT)系统通常与生产和运营系统相连。如果数据处理系统宕机，将直接导致停产，造成经济损失，无法为终端消费者提供服务。比如智能电表，如果系统出了问题，会直接导致千家万户无法正常用电。因此，物联网大数据系统必须高度可靠，支持实时数据备份，支持远程容灾，支持软硬件在线升级，支持在线IDC机房迁移，否则服务将中断。

4.高效的缓存需要高效的缓存功能。在大多数场景下，需要快速获取设备的当前状态或其他信息，用于报警、大屏幕显示或其他用途。系统需要提供一种高效的机制，使用户能够获得满足过滤条件的全部或部分设备的最新状态。

5.实时流计算需要实时流计算。各种实时预警或预测都不是简单的基于某个阈值，而是需要实时聚合一个或多个设备产生的数据流，不是仅仅基于一个时间点，而是基于一个时间窗口。而且计算要求相当复杂，因场景而异，应该允许用户定义自己的函数进行计算。

6.数据订阅需要支持数据订阅。相对于一般的大数据平台，同一套数据往往是很多应用需要的，所以系统要提供订阅功能，每当有新数据更新时，实时提醒应用。而且这个订阅也要个性化，允许应用设置过滤条件，比如只订阅某个物理量的五分钟平均值。

7.与历史数据处理集成。实时数据和历史数据的处理应是一体化的。实时数据在缓存中，历史数据在持久存储介质中，根据持续时间的不同可能保存在不同的存储介质中。系统应该将存储隐藏在背后，向用户和应用程序呈现相同的界面和接口。无论是访问新采集的数据还是十年前的旧数据，除了输入的时间参数不同，其余应该是一样的。

8.数据的连续稳定写入需要保证数据的连续稳定写入。对于物联网系统来说，数据流往往是稳定的，因此数据写入所需的资源往往是可以预估的。但改变的是查询和分析，尤其是即席查询，可能会消耗大量系统资源，而且不可控。因此，系统必须确保分配足够的资源，以确保数据可以写入系统而不丢失。准确地说，该系统必须是先写系统。

9.数据的多维分析需要对数据进行灵活的多维分析。联网设备产生的数据需要从各个维度进行统计分析，比如设备所处的区域、设备的型号和供应商、设备使用的人员等。而且这些维度的分析也不是事先就能想出来的，而是根据业务发展的需要在实际操作过程中决定的。所以物联网的大数据系统需要一个灵活的机制来增加某一个维度的分析。

10.要支持数据计算，需要支持数据降频、插值、特殊函数计算等操作。原始数据可能是频繁采集的，但在具体分析时，往往不需要进行原始接收，而是在数据降频后进行。系统需要提供有效的数据降频操作。设备难以同步，不同设备采集数据的时间点难以对齐。因此，对特定时间点的值的分析往往需要插值，系统需要提供线性插值、设置固定值等插值策略。在工业互联网中，除了一般的统计操作，往往还需要支持一些特殊的功能，比如时间加权平均。

11.即席分析和查询需要支持即席分析和查询。为了提高大数据分析师的工作效率，系统应该提供命令行工具或者允许用户通过其他工具执行SQL查询，而不是通过编程接口。查询分析的结果可以很方便的导出，然后做成各种图标。

12.灵活的数据管理策略需要提供灵活的数据管理策略。一个大系统收集的数据种类繁多，除了原始数据，还有大量的派生数据。这些数据具有不同的特征，有些是频繁收集的，有些需要较长的保留时间，有些需要多个副本以确保更高的安全性，有些需要能够快速访问。因此，物联网大数据平台必须提供多种策略，让用户根据自己的特点进行选择和配置，多种策略并存。

13.开放的系统必须是开放的。系统需要支持业界流行的标准SQL，提供各种语言开发接口，包括C/C、Java、Go、Python、RESTful等。并且还需要支持Spark，R，Matlab等。从而便于集成各种机器学习、人工智能算法或其他应用，使大数据处理平台不断扩展，而不是成为孤岛。

14.支持异构环境的系统必须支持异构环境。大数据平台的建设是一个长期的工作，每一批采购的服务器和存储设备都会有所不同。系统必须支持各种等级和配置的服务器和存储设备的共存。

15.支持边缘云协作需要支持边缘云协作。应该有一个灵活的机制将边缘计算节点的数据上传到云端。根据具体需要，可以将原始数据、处理后的数据或者只满足过滤条件的数据同步到云端，随时取消和改变策略。

16.单一后台管理需要单一的后台管理系统。方便查看系统运行状态，管理集群，管理用户，管理各种系统资源，系统可以与第三方IT运维监控平台无缝集成，方便管理。

17.私有化部署促进了私有化部署。因为很多企业为了安全和各种因素都想采用私有化部署。传统企业往往没有强大的IT运维团队，所以安装部署需要简单、快速、可维护。

以上总结了物联网大数据平台的主要功能和特点。虽然物联网大数据平台本身也在演进，但总体目标不会变，即高效、可扩展、实时、可靠、灵活、开放、简单、易维护。

标签：系统数据物联网

数据