关于hbase数据备份的信息

本篇目录：

1、springboothbase10数据保存2、Hbase副本数与hdfs副本数3、如果有几百亿条数据,如何在hbase表中存放?4、解决数据的安全存储的策略5、HBASE之创建表、插入值、表结构查看6、大数据常用哪些数据库

springboothbase10数据保存

在项目目录下创建一个config的文件夹，并在中创建application.yaml配置文件，直接在项目目录下创建application.yaml文件。在resources目录下创建config文件夹，并创建配置文件。

测试：在浏览器地址栏输入localhost：8001/book/export会直接弹出保存文件的对话框，文件名为：书籍.xlsx。

Spring Boot使用一个全局的配置文件 application.properties application.yml 配置文件的作用：修改Spring Boot自动配置的默认值，SpringBoot在底层都给我们自动 配置好。

本场 Chat 将使用 Spring Boot、Mybatis 搭建一个简易的 Java 服务，是一个不需要修改配置文件、不重启服务、动态切换数据源的项目，适合需要需要多数据源（经常变化的数据源，数据源 3 个以上等）的 Java 开发人员查阅。

上期我们讲解了springboot中的 http请求处理 以及涉及到的几个注解。后台服务始终绕不开数据的开发，我们需要把用户产生的数据落地到数据库。

Hbase副本数与hdfs副本数

hbase的副本与hdfs的副本之间没有任何关系。hbase的副本是对历史数据的备份，是新旧数据，而非相同数据的copy；hdfs的副本是同一数据的copy。hbase的数据文件存放在hdfs上，但是在hdfs上具体如何存储对hbase是透明的。

解决方法如下：hdfs的默认副本数量是3个，配置在/etc/hadoop/conf/hdfs-site.xml中 dfs.replication。我们也可以通过hdfs dfs -ls /path/to/file 命令查看hdfs上的文件： 文件类型会在第二列显示副本数量。

block：block是物理切块，在文件上传到HDFS文件系统后，对大文件将以每128MB的大小切分若干，存放在不同的DataNode上。

默认为副本数为3 第一个副本：放置在上传文件的数据节点；如果是集群外提交，则随机挑选一台磁盘不太满. CPU不太忙的节点。第二个副本：放置在与第一个副本不同的机架的节点上。

如果有几百亿条数据,如何在hbase表中存放?

而HBase中的数据存储是基于列族（column family）和行键（row key）的，HBase的数据存储结构是按行键排序的有序映射表，可以通过行键的前缀匹配来检索数据。

/hbase/.archive HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。

HBase适合存储半结构化或非结构化的数据。HBase的数据模型是稀疏的、分布式的、持久稳固的多维map。HBase也有行和列的概念，这是与RDBMS相同的地方，但却又不同。HBase底层采用HDFS作为文件系统，具有高可靠性、高性能。

解决数据的安全存储的策略

数据加密：对于敏感数据，采用加密技术进行保护，包括数据传输过程中的加密和数据存储时的加密。这可以防止未经授权的访问者获取到敏感信息。

显然，普通的外置存储产品不能解决这些问题，因此，对数据进行加密存储是一个比较妥善、安全的策略。

保证数据库存在安全 数据库是建立在主机硬件、操作系统和网络上的系统，因此要保证数据库安全，首先应该确保数据库存在安全。

HBASE之创建表、插入值、表结构查看

对表的创建、删除、显示以及修改等，可以用HBaseAdmin，一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据。

创建表 使用HBaseShell或HBaseAPI可以创建表，需要指定表的名称和列族。例如，创建一个名为student的表，包含一个列族info。插入数据 使用Put命令可以向表中插入数据，需要指定行键、列族、列和值。

全表扫描(scan)RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序(byte order)排序存储。

大数据常用哪些数据库

1、在关系数据库中，Oracle、MySQL/MariaDB、SQL Server、PostgrcSQL、 DB2等数据库应用较广泛。在时序数据库类型中，InfluxDB、RRDtool、Graphite等数据库也较为常见。

2、数据库是一组信息的集合，以便可以方便地访问、管理和更新，常用数据库有：关系型数据库；分布式数据库；云数据库；NoSQL数据库；面向对象的数据库；图形数据库。

3、国内外常用的数据库有：Oracle数据库、IBM DB2数据库、SQL Server数据库、PostgreSQL数据库、MySQL数据库、Sybase数据库、南大通用GBase 8a数据库、人大金仓KingbaseES数据库、达梦数据库（DM）、OpenBASE数据库。

4、目前关系型数据库主要有MySQL、SQLServer、数蚕数据库、Oracle数据库。MySQL：免费产品，中小企业使用广泛。SQLServer：微软的商业化产品，微软SQL语句兼容性好，商业化成熟度高。

5、常用的数据库有mysql、SQLServer、Oracle、Sybase、DB2，所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。一个数据库由多个表空间（Tablespace）构成。

6、HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支持sql。

到此，以上就是小编对于的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。

数据库