主成分分析法stata命令_主成分分析法(PCA)推导

主成分分析法(principal component analysis, PCA)是最常用的无监督高维数据降维方法之一，它旨在降维的过程中保留原数据中最重要的几个分量，从而达到最大化原数据方差的作用。几乎所有数据降维方面研究都要用来作为比较重要的方法。

---

原文: Ph0en1x Notebook

主成分分析的基本思想就是在原有样本的n维空间内再建立一个d维线性空间，用n个标准正交基进行重新映射，然后选取其中的d'个正交基进行保留，而在这d'个坐标轴上的坐标值就是映射到低维后的坐标。而推导的目的就是为了确定如何确定这这d个标准正交基以及如何选取它们。就如下图(图片来自于网络)一样，将二维空间内的点映射至一维空间，最终选择较长的那条向量进行投影映射。

1. 首先，需要将手头需要降维的数据进行中心化，使样本中心点为原点

1. 然后假定选择的新的坐标系为

其中W是标准正交基向量，即 (i != j)

1. 选取其中的d'个向量让原样本向新坐标系中映射WTxi，即：

W是经过选取后的d'个标准正交基，z是低维中的坐标

1. 选取的目标是使降维后的点尽量的分散，也就是方差尽量的大：

优化问题被归纳为

1. 根据拉格朗日乘子法，来决定哪d'个w可以留下，优化目标就成为了：

代入优化目标

所以求解的过程就是寻找原样本协方差矩阵XXT的最大的d'个特征值，而相应的标准正交基就是相应特征值的特征向量;

如果觉得我的笔记内描述不准确，欢迎留言与我交流 ，如果觉得我的笔记写的还行，欢迎给我点个赞

Transformer结构及其应用--GPT、BERT、MT-DNN、GPT-2​zhuanlan.zhihu.com网络表示学习(一)--DeepWalk、LINE、Node2Vec、HARP、GraphGAN​zhuanlan.zhihu.com