深度学习数据预处理（数据预处理实战）

本篇目录：

1、做深度学习,需要什么样的CPU,满足什么样的要求呢?2、什么是机器学习和深度学习,它们的区别和联系是什么?3、深度学习模型准确率最大值最小值差很大4、大数据预处理有哪些技术及方法呢?5、数据挖掘和数据科学有什么区别?6、如何在电脑上进行深度学习

做深度学习,需要什么样的CPU,满足什么样的要求呢?

1、处理器（CPU）：选择一款高性能的多核心处理器，比如英特尔的i7 或者 AMD 的Ryzen 7 系列处理器。这样可以提供足够的计算能力来处理深度学习任务。 内存（RAM）：推荐选择至少 16GB 的内存。

2、（5）增值几个变量、评估几个布尔表达式、在GPU或在编程里面调用几个函数——所有这些会取决于CPU核的频率，此时唯有提升CPU频率。我们是用蓝海大脑水冷工作站主要用在地质遥感。

3、深度学习服务器的核心部件还是CPU、硬盘、内存、GPU，特别是很多深度学习依靠GPU的大规模数据处理能力，这就要强调CPU的计算能力和数量，同时不同的数据对GPU的显存要求也不一样。

4、建议买x9x299，c422等主板，PCIE通道40多个，4通道内存，扩展性良好，性能不够直接加显卡就行。

5、要注意营养健康，荤素搭配，建议：早餐牛奶、鸡蛋，搭配馒头或者蛋糕。午餐要有五种以上蔬菜、两种肉类，搭配水果，晚餐要有一种肉类，三种蔬菜，一些水果最后一定要喝一袋酸奶。这样就可以了。

什么是机器学习和深度学习,它们的区别和联系是什么?

1、人工智能 机器学习 深度学习三者的关系是，人工智能包括机器学习，而机器学习包括深度学习。

2、所以它主要依赖的是数学，而不是神经科学。深度学习使机器更加聪明，带给我们更加智能的服务。

3、机器学习是实现人工智能的方法，深度学习是实现机器学习的技术。区别：数据依赖性 深度学习与传统的机器学习最主要的区别在于随着数据规模的增加其性能也不断增长。当数据很少时，深度学习算法的性能并不好。

4、机器学习和深度学习的关系：深度学习是机器学习的一个分支，可以看作是机器学习的一种技术实现方式。

5、人工智能 人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

6、执行时间是指训练算法所需要的时间量。一般来说，深度学习算法需要大量时间进行训练。这是因为该算法包含有很多参数，因此训练它们需要比平时更长的时间。相对而言，机器学习算法的执行时间更少。

深度学习模型准确率最大值最小值差很大

为了避免过拟合，训练集表现很好的参数，在测试集里如果表现不一致就说明有过拟合的存在。数据一般分为训练集＋验证集＋测试集。

复现深度学习模型0.5的误差是相对正常的。因为深度学习模型的训练过程往往是一个迭代的过程，最终的误差与训练集、测试集的分布等多方面因素存在关联。同时，模型的初始化、学习率等超参数也会对误差产生一定的影响。

是。mAP在CV中用来衡量模型在测试集上检测精度的优劣程度，综合考虑检测结果的召回率和准确率，mAP值越高表示检测结果越好，因此深度学习map值高准确率是不高。

可以代表信心（也就是模型预测样本为正的确信程度）。阈值 增加，则表示需要更大的信心才会预测为正，这时准确率必然增加；同时，阈值的增加导致所预测正样本的减少，找出正样本的可能性就会降低，从而导致召回率的下降。

大数据预处理有哪些技术及方法呢?

数据预处理的方法有数据清理、数据集成、数据变换、数据归约。数据清理 通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。

数据变换 通过变换使用规范化、数据离散化和概念分层等方法，使得数据的挖掘可以在多个抽象层面上进行。数据变换操作是提升数据挖掘效果的附加预处理过程。

（2）离群点处理 离群点（异常值）是数据分布的常态，处于特定分布区域或范围之外的数据通常被定义为异常或噪声。我们常用的方法是删除离群点。

数据预处理的方法：数据清理、数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如下目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。

数据集成 数据分析任务多半涉及数据集成。数据集成将多个数据源中的数据结合成、存放在一个一致的数据存储，如数据仓库中。这些源可能包括多个数据库、数据方或一般文件。

大数据处理相关技术如下 整体技术 整体技术主要有数据采集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测和结果呈现等。

数据挖掘和数据科学有什么区别?

数据挖掘和数据科学基本上是一回事。数据挖掘是30年前的说法，现在叫法高大上些。以前数据挖掘主要是基于统计学的理论和算法。这几年理论上，大量用数学和物理的理论和算法逐步引入，比如流型，热力熵啊。

（其实数据分析的范围广，包含了数据挖掘，在这里区别主要是指统计分析）数据量上：数据分析的数据量可能并不大，而数据挖掘的数据量极大。

数据分析和数据挖掘都是从数据库中发现知识、所以我们称数据分析和数据挖掘叫做数据库中的知识发现。但严格意义上来讲，数据挖掘才是真正意义上的数据库中的知识发现（Knowledge Discovery in Database，KDD）。

侧重点不同相比较而言，数据分析更多依赖于业务知识，数据挖掘更多侧重于技术的实现，对于业务的要求稍微有所降低。数据量不同数据挖掘往往需要更大数据量，而数据量越大，对于技术的要求也就越高。

如何在电脑上进行深度学习

1、内存要求 至少要和你的GPU显存存大小相同的内存。当然你也能用更小的内存工作，但是，你或许需要一步步转移数据。总而言之，如果钱够而且需要做很多预处理，就不必在内存瓶颈上兜转，浪费时间。

2、开虚拟内存跑深度学习，可以通过在自己的电脑上安装虚拟机完成。虚拟内存是计算机系统内存管理的一种技术。

3、自己的电脑可以跑深度学习，但是对电脑还是要有点要求的，毕竟跑代码，以及深度学习很费时间的。

到此，以上就是小编对于数据预处理实战的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。

数据