有时候数据变换比算法选择更重要，数据错了，算法再正确也错的。这就是为什么数据分析师80%的时间会花在前期的数据准备上了。那么如何让不同渠道的数据统一到一个目标数据库里呢？这样就用到了数据变换。
数据挖掘前的准备工作
在数据变换前，需要对数据进行筛选，然后进行数据探索和相关性分析，接着选择算法模型，然后针对算法模型对数据进行数据变换，从而完成数据挖掘前的准备工作。
所以你从整个流程中可以看出，数据变换是数据准备的重要环节，它通过数据平滑、数据聚集、数据概化和规范化等方式将数据转换成适用于数据挖掘的形式。
数据变换的四种常见方法
1、数据平滑
去除数据噪声，将连续数据离散化。主要是用分箱、聚类和回归方式等算法进行数据平滑。
2、数据聚集
对数据进行汇总，SQL中有一些聚集函数可以供我们操作，比如Max()反馈某个字段的数值最大值，Sum()返回某个字段的数值总和。
3、数据概化
将数据由较低的概念抽象成为较高的概念，减少数据复杂度，即用更高的概念替代更低的概念。比如说上海、杭州、深圳、北京可以概化为中国。
4、数据规范化
使属性数据按比例缩放，这样就将原来的数值映射到一个新的特定区域中。常用方法有min-max规范化、Z-score规范化、按小数定标规范化等
5、属性构造
构造出新的属性并添加到属性集中。这里会用到特征工程的知识，因为通过属性与属性的连接构造新的属性，其实就是特征工程。比如说，数据表中统计每个人的英语、语文和数学成绩，你可以构造一个“总和“这个属性，来作为新属性。这样“总和“这个属性就可以用到后续的数据挖掘计算中。
在这些变换方法中，最简单易用的就是对数据进行规范化处理。下面我来给你讲下如何对数据进行规范化处理。
数据规范化的几种方法
1.Min-Max规范化
Min-Max规范化是将原始数据变换到[0,1]的空间中。公式：
新数值=(原数值-极小值)/(极大值-极小值)
2.Z-score规范化
假设A与B的考试成绩都为80分，A的考卷满分是100分（及格60分），B的考卷满分是500分（及格300分）。虽然两个人都考了80分，但是A的80分与B的80分代表完全不同的含义。
那么如何用相同的标准来比较A与B的成绩呢？Z-Score就是用来解决这一类问题的。公式:
新数值 = (原数值-均值)/标准差
假设A所在班级平均分为80分，标准差为10。B所在班级平均分为400，标准差为100。那么A的新数值=(80-80)/10=0，B的新数值=(80-400)/100=-3.2。
所以在Z-Score标准下，A的成绩会比B的成绩好。
我们能看到Z-Score的优点是算法简单，不受数据量级影响，结果易于比较。局限在于，它需要数据整体的平均值和方差，而且结果没有实际意义，只是用于比较。
3.小数定标规范化
小数定标规范化就是通过移动小数点的位置来进行规范化。小数点移动多少位取决于属性A的取值中的最大绝对值。
举个例子，比如属性A的取值范围是-999到88，那么最大绝对值为999，小数点就会移动3为，即新数值=原数值/1000。那么A的取值范围就被规范为-0.999到0.088。
上面这三种是数值规范化中常用的几种方式。
Python 的 SciKit-Learn 库使用
SciKit-Learn是Pyhon的重要机器学习库，它帮我们封装了大量的机器学习算法，比如分类、聚类、回归、降维等。另外，它还包括了上面说的数据变换模块。
我们现在来讲下如何使用SciKit-Learn进行数据规范化。
1.Min-max规范化
我们可以让原始数据投射到指定的空间[min, max]，在SciKit-Learn里有个函数MinMaxScaler是专门做这个的，它允许我们给定一个最大值与最小值，然后将原数据投射到[min, max]中。默认情况下[min, max]是[0, 1]，也就是把原始数据投射到[0, 1]范围内。
我们来看下下面这个例子：
from sklearn import preprocessing
import numpy as np
# 初始化数据，每一行表示一个样本，每一列表示一个特征
x = np.array([[0., -3., 1.],
[3., 1., 2.],
[0., 1., -1]])
# 将数据进行[0, 1]规范化
min_max_scaler = preprocessing.MinMaxScaler()
min_max_x = min_max_scaler.fit_transform(x)
print(min_max_x)运行结果：
[[0. 0. 0.66666667]
[1. 1. 1. ]
[0. 1. 0. ]]2.Z-Score规范化
在SciKit-Learn库中使用preprocessing.scale()函数，可以直接将给定数据进行Z-Score规范化。
from sklearn import preprocessing
import numpy as np
# 初始化数据，每一行表示一个样本，每一列表示一个特征
x = np.array([[0., -3., 1.],
[3., 1., 2.],
[0., 1., -1]])
# 将数据进行Z-Score规范化
scaled_x = preprocessing.scale(x)
print(scaled_x)运行结果：
[[-0.70710678 -1.41421356 0.26726124]
[ 1.41421356 0.70710678 1.06904497]
[-0.70710678 0.70710678 -1.33630621]]这个结果实际上就是将每行每列的值减去了平均值，再除以方差的结果。
我们看到了Z-Score规范化将数据集进行了规范化，数据都符合均值为0，方差为1的正态分布。
3.小数定标规范化
我们需要用NumPy库来计算小数点的位数。这里我看下运行代码：
from sklearn import preprocessing
import numpy as np
# 初始化数据，每一行表示一个样本，每一列表示一个特征
x = np.array([[0., -3., 1.],
[3., 1., 2.],
[0., 1., -1]])
# 小数定标规范化
j = np.ceil(np.log10(np.max(abs(x))))
scaled_x_j = x/(10**j)
print(scaled_x_j)运行结果：
[[ 0. -0.3 0.1]
[ 0.3 0.1 0.2]
[ 0. 0.1 -0.1]]数据挖掘中数据变换比算法选择更重要
在考试成绩的例子中，我们都需要让数据满足一定的规律，达到规范性的要求，便于进行挖掘。这就是数据变换的作用。
如果不进行变换的话，要不就是维数过多，增加了计算的成本，要不就是数据过于集中，很难找到数据之间的特征。
在数据变换中，重点是如何将数值进行规范化，有三种常用的规范方法，分别是Min-Max规范化、Z-Score规范化、小数定标规范化。其中Z-Score规范化可以直接将数据转化为正态分布的情况，当然不是所有自然界的数据都需要正态分布，我们应该根据实际情况进行适用，比如取对数log，或者神经网络里采用的激励函数等。
最后，我们给大家推荐了Python的sklearn库，它和NumPy，Pandas都是非常有名的Python库，在数据统计工作中起到很大的作用。SciKIit-Learn不仅可以用于数据变换，它还提供了分类、聚类、预测等数据挖掘算法的API封装，便于使用。
