divergence 矩阵分解问题

.5.信号在部件中的分解(矩阵分解问题)2.5.1。2.5.1.1主成分分析。精确的主成分分析和概率解释

主成分分析用于在最大方差方向上将多变量数据集分解成一组连续的正交分量。在scikit-learn中，PCA是作为一个变换对象实现的，通过fit方法可以将PCA简化为N个分量，新的数据可以投射(或分解)到这些分量中。

可选参数变白=真可以将数据投影到单数)空 k0/]之间，同时按单位方差缩放每个分量。如果下游模型对信号的各向同性做了很强的假设，例如使用径向基函数核的SVM算法和K-Means聚类算法，通常是有用的。

下面是一个虹膜数据集的例子，它包含四个特征，通过PCA降维，投影到方差最大的二维空:

CA对象还提供了PCA的概率解释，可以根据其解释的方差给出数据的可能性。

这可以通过在交叉验证中使用评分方法来实现:

当训练样本很少时，导致稀疏诱导的规范也可以避免从噪声中学习成分。你可以通过超标量alpha调整惩罚度(从而减少稀疏性)。较小的值导致温和的正则化因子分解，而较大的值将许多系数减少到零。

注意

虽然本着在线算法的精神，但是MiniBatchSparsePCA类并没有实现partial_fit，因为在线算法是沿着特征方向，而不是样本方向。

示例:

Faces dataset decompositions

参考文献:

[Mrl09]“Online Dictionary Learning for Sparse Coding” J. Mairal, F. Bach, J. Ponce, G. Sapiro, 2009[Jen09]“Structured Sparse Principal Component Analysis” R. Jenatton, G. Obozinski, F. Bach, 20092.5.2. 截断奇异值分解和隐语义分析

截断奇异值分解实现了奇异值分解(SVD)的一种变体，它只计算最大奇异值，这是用户指定的参数。

当截断的奇异值分解应用于术语文档矩阵(由CountVectorizer或TfidfVectorizer返回)时，这种转换被称为潜在语义分析(LSA)，因为它将这样的矩阵转换为低纬度“语义”空。特别是，LSA能够抵抗同义词和多义词(大致意思是每个单词有多个意思)的影响，这导致术语-文档矩阵过于稀疏，在余弦相似性等度量下相似性较差。

注意

LSA也被称为隐藏语义索引LSI，尽管严格来说它指的是持久索引中的信息检索目的。

在数学表示中，训练样本使用截断的奇异值分解来生成低秩近似:

这个操作之后就是一个变换后的训练集，其中包含了特征(API中称为n_components)。

我们还需要转换一个测试集，我们乘以:

注意

在自然语言处理和红外文献中，LSA主要是通过交换矩阵的坐标轴使其具有n个特征× n个样本的形状来处理的。我们用scikit-learn API匹配的不同方式呈现LSA，但是发现的奇异值是相同的。

截断的主成分分析与主成分分析非常相似，但不同之处在于它是在样本矩阵上工作，而不是在它们的协方差矩阵上工作。当从特征值中减去每一列的平均值(每个特征的每一个特征)时，截断奇异值分解在所获得的矩阵上的应用相当于主成分分析。实际上，这意味着截断的VD转换器接受scipy .稀疏矩阵，而不必对它们进行加密，因为即使对于中等大小的文档集合，加密也可能会占用内存。

虽然截断视频数据转换器可以处理任何(稀疏)特征矩阵，但建议在LSA/文档处理设置中使用它对tf-idf矩阵进行原始频率计数。特别是要开启次线性缩放和逆文档频率(次线性_ TF = true，use _ IDF = true)，使特征值更接近高斯分布，补偿LSA对文本数据的错误假设。

示例:

Clustering text documents using k-means

参考文献:

Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze (2008), Introduction to Information Retrieval, Cambridge University Press, chapter 18: Matrix decompositions & latent semantic indexing 2.5.3. 词典学习 2.5.3.1. 带有预计算词典的稀疏编码

稀疏编码对象是一个估计器，它可以用来将信号转换成字典中固定的预先计算的稀疏线性原子组合，例如离散小波基。因此，此对象不实现fit方法。这种转换相当于一个稀疏编码问题:将数据表示为尽可能少的字典原子的线性组合。字典学习的所有变体都实现了以下转换方法，这些方法可以由transform_method的初始化参数控制:

Orthogonal matching pursuit(追求正交匹配) (正交匹配追踪法（OMP）)Least-angle regression (最小角度回归)(最小角回归)Lasso computed by least-angle regression(最小角度回归的Lasso 计算)Lasso using coordinate descent ( 使用坐标下降的Lasso)(Lasso)Thresholding(阈值)

阈值法速度很快，但不能产生准确的重建。它们已被证明在分类任务的文献中是有用的。对于图像重建的任务，追求正交匹配可以产生最精确和无偏的重建。

字典学习对象提供了通过split_code参数分离稀疏编码结果中的正值和负值的可能性。当使用字典学习来提取用于监督学习的特征时，这是有用的，因为它允许学习算法将不同的权重从正负载分配给具有相应负负载的特定原子。

单个样本的分割码长度为2 * n _分量，由以下规则构造:首先计算长度为n _分量的常规码。然后，split_code的第一个n_components条目将用正常编码向量的正部分填充。分段编码的第二部分用编码向量的负部分填充，只有一个正号。所以split_code是非负的。

示例:

Sparse coding with a precomputed dictionary 2.5.3.2. 通用词典学习

字典学习是一个矩阵分解问题，相当于寻找一个在拟合数据的稀疏编码中表现良好(通常是过完备)的字典。

将数据表示为来自过完备字典的原子的稀疏组合被认为是哺乳动物初级视觉皮层的工作模式。因此，应用于图像修补的字典学习在图像补全、修复和去噪以及监督识别图像处理等任务中表现良好。

字典学习是通过交替更新稀疏编码来解决的优化问题。作为解决多个Lasso问题的解决方案，字典是固定的，然后字典被更新以最适合稀疏编码。

在使用这样的过程来拟合字典之后，变换只是一个稀疏的编码步骤，它与所有字典学习对象共享相同的实现。(请参见使用预计算字典的稀疏编码)。

下图显示了字典学习是如何从从浣熊脸的部分图像中提取的4x4像素图像块中进行的。

示例:

Image denoising using dictionary learning

参考文献:

“Online dictionary learning for sparse coding” J. Mairal, F. Bach, J. Ponce, G. Sapiro, 2009 2.5.3.3. 小批量字典学习

MiniBatchDictionaryLearning实现了一种更快的字典学习算法，更适合大数据集，运行速度更快，但精度降低。

默认情况下，迷你批处理字典学习将数据分成小批，并通过在指定的迭代次数中回收小批来在线优化它们。但是，目前还没有满足停止条件。

估计器还实现了partial_fit，它通过小批量迭代一次来更新字典。当在线学习的数据从一开始就不容易获得，或者数据超出内存时，可以使用这种迭代方法。

字典学习聚类

请注意，当使用字典学习来提取表示时(例如，对于稀疏编码)，聚类可以是学习字典的良好中间方法。例如，迷你批处理工具估计器可以高效计算，并使用部分拟合方法实现在线学习。

例如:在线学习面部部分词典

2.5.4.因子分析

在无监督学习中，我们只有一个数据集。这个数据集怎么用数学方法描述？一个非常简单的基于

向量之所以被称为“隐性”，是因为它不可观测。它被认为是符合高斯分布的噪声项，平均值为0，协方差为(即)，是一个偏移向量。这样的模型被称为“生成的”，因为它描述了如何从。如果我们用全部作为列来构成一个矩阵，全部作为矩阵的列，那么我们可以写出(适当定义的和):

换句话说，我们分解矩阵。如果给定，上述等式自动表示以下概率解释:

对于完全概率模型，我们还需要隐变量的先验分布。最直接的假设(基于高斯分布的良好性质)是这产生了高斯分布作为边际分布:

现在，没有任何进一步的假设，隐藏变量是多余的——它们可以通过均值和协方差来建模。我们需要更具体地构造这两个参数中的一个。一个简单的附加假设是如下构造误差协方差:

: 这个假设能推导出 PCA 的概率模型。: 这个模型称为 FactorAnalysis, 一个经典的统计模型。 矩阵W有时称为 “因子加载矩阵”。

两种模型的基础都是基于高斯分布是低阶协方差矩阵的假设。因为这两个模型是概率性的，所以它们可以集成到更复杂的模型中，例如因子分析器的混合。如果隐藏变量基于非高斯分布，则得到完全不同的模型(例如FastICA)。

因子分析可以产生类似于:类:` PCA '(例如，其加载矩阵的列)。但是，这些组件没有一般属性(例如它们是否正交):

因子分析(PCA)的主要优点是可以独立地对输入空之间各个方向的方差(异方差噪声)进行建模:

在异方差噪声存在的情况下，这可以比概率主成分分析做出更好的模型选择:

示例:

Model selection with Probabilistic PCA and Factor Analysis (FA) 2.5.5. 独立成分分析（ICA）

独立分量分析将多元信号分解成独立性最强的可加子分量。它可以通过FastICA算法在scikit-learn中实现。ICA通常不是用来降维的，而是用来分离叠加信号的。因为ICA模型不包含噪声项，所以必须使用白化来使模型正确。这可以在内部调整白化参数或手动使用主成分分析的变体。

ICA通常用于分离混合信号(称为盲源分离的问题)，如下例所示:

独立分量分析也可用于具有稀疏子分量的非线性分解:

示例:

Blind source separation using FastICAFastICA on 2D point cloudsFaces dataset decompositions 2.5.6. 非负矩阵分解(NMF 或 NNMF) 2.5.6.1. NMF 与 Frobenius 范数

NMF[1]是当数据和分量非负时的另一种降维方法。如果数据矩阵不包含负值，可以插入NMF，而不是主成分分析或其变体。通过优化乘积与矩阵之间的距离，样本可以分解为两个非负矩阵和。最广泛使用的距离函数是Frobenius平方范数，它是欧氏范数对矩阵的扩展:

与主成分分析不同，矢量表示是通过添加成分而不是减去它们来获得的。这种加法模型对于表示图像和文本是有效的。

[Hoyer, 2004] [2] 研究表明，当处于一定约束时，NMF可以产生数据集基于某子部分的表示，从而获得可解释的模型。

以下示例显示了NMF从奥利维蒂面部数据集的图像中找到的16个稀疏分量，并与主成分分析特征平面进行了比较。

与主成分分析不同，向量的表示是以加法方式获得的，通过叠加分量，而不是相减。这种加法模型对于表示图像和文本是有效的。

init属性决定了应用程序的初始化方法，对方法的性能影响很大。NMF实现了非负双奇异值分解方法。NNDSVD [4]基于两个SVD过程，一个近似数据矩阵，利用单位秩矩阵的代数性质，得到一些SVD因子的其他近似正部分。基本的NNDSVD算法更适合稀疏分解。其变体NNDSVDa(所有零值由所有元素的平均值代替)和NNDSVDar(零值由小于数据平均值除以100的随机扰动代替)推荐用于密集情况。

请注意，乘法更新(' MU ')求解器无法更新初始化中存在的零，因此与引入大量零的基本NNDSVD算法结合使用会导致较差的结果；在这种情况下，应首选NNDSVDa或NNDSVDar。

您也可以通过设置init="random "用正确缩放的随机非负矩阵初始化NMF。整数种子或随机状态也可以传递给随机状态，以控制再现性。

在NMF，L1和L2的先验可以加入到损失函数中，使模型正常化。L2·普赖尔使用弗罗贝尼斯范数，L1·普赖尔使用L1范数。像弹性网一样，我们通过l1_ratio()参数和正则化强度参数α()来控制L1和L2的组合。那么前一个术语是:

正则化目标函数是:

NMF正则化了W和H。非负因子分解是一个常见的函数，允许通过正则化属性进行更精细的控制，只归一化W，只归一化H或两者都归一化。

2.5.6.2 .贝塔散度的NMF

如前所述，最广泛使用的距离函数是平方Frobenius范数，它是欧氏范数对矩阵的扩展:

其他距离函数也可以用于NMF，如(广义)库尔巴克-莱布勒散度，也称为I-散度:

或者说，板仓-斋藤(IS)分歧:

这三个距离函数是β-散度函数族的特例，它们的参数分别为[6]。β散度的定义如下:

请注意，上的定义无效，只能分别在和上连续扩展。

NMF使用坐标下降(' CD') [5]和乘法更新(' mu') [6]来实现两个解算器。‘mu’求解器可以优化每个β-散度，包括Frobenius范数()，(广义)kulback-Leibler散度()和板仓-斋藤散度(β= 0))。请注意，对于而言，“mu”解算器比的其他值快得多。还要注意，对于负数(或0，即‘板仓-斋藤’)，输入矩阵不能包含零值。

“CD”求解器只能优化Frobenius范数。由于NMF潜在的非凸性，即使优化了相同的距离函数，不同的解算器也可能收敛到不同的最小值。

NMF最适合拟合变换法，它返回矩阵w，矩阵H存储在拟合模型的组件属性中。方法转换将基于这些存储的组件分解新矩阵X_new:

>。>。>。

>。>。>。importnumpyasnp>。>。>。X=np.array([[1，1]，[2，1]，[3，1.2]，[4，1]，[5，0.8]，[6，1]])>；>。>。fromsklearn . DecompressionImportnMf & gt；>。>。model=NMF(n_components=2，init='random '，random_state=0)>>。>。W=model.fit_transform(X)>;>。>。H=model.components_ >;>。>。X_new=np.array([[1，0]，[1，6.1]，[1，0]，[1，4]，[3.2，1]，[0，4]])>;>。>。W_new=model.transform(X_new)

示例:

Faces dataset decompositionsTopic extraction with Non-negative Matrix Factorization and Latent Dirichlet AllocationBeta-divergence loss functions

参考文献:

[1]“Learning the parts of objects by non-negative matrix factorization” D. Lee, S. Seung, 1999[2]“Non-negative Matrix Factorization with Sparseness Constraints” P. Hoyer, 2004[4]“SVD based initialization: A head start for nonnegative matrix factorization” C. Boutsidis, E. Gallopoulos, 2008[5]“Fast local algorithms for large scale nonnegative matrix and tensor factorizations.” A. Cichocki, P. Anh-Huy, 2009[6](1, 2) “Algorithms for nonnegative matrix factorization with the beta-divergence” C. Fevotte, J. Idier, 20112.5.7. 隐 Dirichlet 分配（LDA）

隐狄利克雷赋值是离散数据集(如文本语料库)的生成概率模型。它也是从文档集合中发现抽象主题的主题模型。

LDA的图形模型是一个三层贝叶斯模型:

当对文本语料库建模时，该模型假设具有文档和主题的语料库的以下生成过程:

对于每个主题 ，绘制 对于每个文档 ，绘制 对于文档 中的每个单词 : 绘制主题索引绘制观察词

对于参数估计，后验分布为:

由于后验分布难以处理，变型贝叶斯方法采用更简单的分布逼近，并优化这些变型参数，使证据下界(ELBO)最大化:

最大化ELBO相当于最小化后验和最小化之间的Kulback-Leibler(KL)散度。

LatentDirichletAllocation实现在线变异贝叶斯算法，支持在线和批量更新方法。批处理方法在每次完成数据传输后更新变量，在线方法从小的批处理数据点更新变量。

注意

虽然在线方法保证收敛到局部最优，但是最优的质量和收敛速度可能取决于与小批量和学习速率相关的属性。

当LatentDirichletAllocation应用于“文档-术语”矩阵时，该矩阵将被分解为“主题-术语”矩阵和“文档-主题”矩阵。当“主题-术语”矩阵作为组件存储在模型中时，“文档-主题”矩阵可以通过转换方法来计算。

LatentDirichletAllocation还实现了partial_fit方法。这可以在顺序提取数据时使用。

示例:

Topic extraction with Non-negative Matrix Factorization and Latent Dirichlet Allocation

参考:

“Latent Dirichlet Allocation” D. Blei, A. Ng, M. Jordan, 2003“Online Learning for Latent Dirichlet Allocation” M. Hoffman, D. Blei, F. Bach, 2010“Stochastic Variational Inference” M. Hoffman, D. Blei, C. Wang, J. Paisley, 2013