【数学基础】 线性代数以及符号编总 - CSDN博客

文章推薦指數: 80 %
投票人數:10人

1基本概念和符号线性代数可以对一组线性方程进行简洁地表示和运算。

例如,对于这个方程组:这里有两个方程和两个变量,如果你学过高中代数的话, ... 【数学基础】线性代数以及符号编总 YZXnuaa 于 2019-05-2420:36:01 发布 26228 收藏 55 分类专栏: 基础算法 版权声明:本文为博主原创文章,遵循CC4.0BY-SA版权协议,转载请附上原文出处链接和本声明。

本文链接:https://blog.csdn.net/YZXnuaa/article/details/90522606 版权 基础算法 专栏收录该内容 28篇文章 0订阅 订阅专栏 1基本概念和符号 线性代数可以对一组线性方程进行简洁地表示和运算。

例如,对于这个方程组: 这里有两个方程和两个变量,如果你学过高中代数的话,你肯定知道,可以为x1和x2找到一组唯一的解(除非方程可以进一步简化,例如,如果第二个方程只是第一个方程的倍数形式。

但是显然上面的例子不可简化,是有唯一解的)。

在矩阵表达中,我们可以简洁的写作: 其中: 很快我们将会看到,咱们把方程表示成这种形式,在分析线性方程方面有很多优势(包括明显地节省空间)。

  1.1基本符号 以下是我们要使用符号: 符号A ∈Rm×n表示一个m行n列的矩阵,并且矩阵A中的所有元素都是实数。

符号x∈Rn表示一个含有n个元素的向量。

通常,我们把n维向量看成是一个n行1列矩阵,即列向量。

如果我们想表示一个行向量(1行n列矩阵),我们通常写作xT (xT表示x的转置,后面会解释它的定义)。

一个向量x的第i个元素表示为xi: 我们用aij (或Aij,Ai,j,等)表示第i行第j列的元素:   我们用aj 或A:,j表示A矩阵的第j列元素:   我们用aT i或 Ai,:表示矩阵的第i行元素:请注意,这些定义都是不严格的(例如,a1和a1T在前面的定义中是两个不同向量)。

通常使用中,符号的含义应该是可以明显看出来的。

2 矩阵乘法 矩阵 A ∈Rm×n 和B ∈Rn×p 的乘积为矩阵: 其中: . 请注意,矩阵A的列数应该与矩阵B的行数相等,这样才存在矩阵的乘积。

有很多种方式可以帮助我们理解矩阵乘法,这里我们将通过一些例子开始学习。

  2.1向量的乘积 给定两个向量x,y∈Rn,那么xT y的值,我们称之为向量的内积或点积。

它是一个由下式得到的实数: . 可以发现,内积实际上是矩阵乘法的一个特例。

通常情况下xT y=yT x。

对于向量x∈Rm,y∈Rn(大小不必相同),xyT ∈Rm×n称为向量的外积。

外积是一个矩阵,其中中的每个元素,都可以由得到,也就是说, . 我们举个例子说明外积有什么用。

令1 ∈Rn 表示所有元素都是1的n维向量,然后将矩阵 A ∈Rm×n 的每一列都用列向量x ∈Rm表示。

使用外积,我们可以将A简洁的表示为:   . 2.2矩阵-向量的乘积 对于一个矩阵A ∈Rm×n 和向量x ∈Rn,他们的乘积为向量 y = Ax ∈Rm。

理解矩阵向量乘法的方式有很多种,我们一起来逐一看看。

以行的形式书写A,我们可以将其表示为Ax的形式: . 也就是说,y第i行的元素等于A的第i行与x的内积 . 咱们换个角度,以列的形式表示A,我们可以看到:  . 换言之,y是A列的线性组合,线性组合的系数就是x的元素。

上面我们看到的是右乘一个列向量,那左乘一个行向量嘞?对于A∈Rm×n,x∈Rm,y∈Rn,这个式子可以写成yT = xT A。

向之前那样,我们有两种方式表达yT,这取决于表达A的方式是行还是列。

第一种情况是把A以列的形式表示: 这个式子说明yT 第i列的元素等于向量x与A的第i列的内积。

我们也一样可以把A表示成行的形式,来说明向量-矩阵乘积。

我们可以看到yT 是A的行的线性组合,线性组合的系数是x的元素。

2.3矩阵-矩阵乘积 基于以上知识,我们可以看到如之前所定义的矩阵-矩阵乘法C=AB有四种不同(但是等价)的理解方法。

首先,我们可以将矩阵-矩阵相乘看作一组向量-向量乘积。

根据其概念,我们最好理解的方式是矩阵C的(i,j)元素是A的i行与B的 j列的内积。

符号表达如下:  . 注意由于A ∈Rm×n , B ∈Rn×p, ai ∈Rn bj ∈Rn, 所以内积永远有意义。

对矩阵乘法而言,以A的行和B的列表示是最"自然"的表示方法。

当然,我们也可以以A的列和B的行的形式进行表示。

表达方法是AB外积累加的形式,稍微复杂一点点。

符号表达为:    . 换一种方式表达,AB的值等于对于所有的i,A的i列与B的i行的外积的和。

因此,对于ai ∈Rm 和 bi ∈Rp,外积aibiT的维度是m×p,它与C的维度是相同的。

等式可能有点难理解,花点时间想想,我猜你肯定能明白。

第二种理解方式是,我们也可将向量-向量乘法看做一系列的矩阵-向量乘积。

具体来说,如果我们将B以列的形式表示,我们可以将C的每一列看做A和B列的矩阵-向量乘积。

符号表达为:    . 可以将C的i列以矩阵-向量乘积(向量在右)的方式表示为ci = Abi. 这些矩阵-向量乘积可以用前面的两种观点解释。

最后类比一下,我们以A的行形式表示,将C的行视为A的行与C的矩阵-向量乘积,符号表达为   . 在此,我们以矩阵-向量乘积(向量左乘)的形式表示了C的i列, 只是一个矩阵乘法而已,这么细的分析看上去好像没有必要,尤其是当我们知道矩阵乘法定义后其实很容易可以计算得到结果。

然而,几乎所有的线性代数内容都在处理某种类型的矩阵乘法,因此花一些时间去形成对这些结论的直观认识还是很有帮助的。

此外,知道一些更高层次的矩阵乘法的基本性质也是有好处的: 结合律即(AB)C = A(BC)分配率即A(B + C)= AB + AC注意哦,矩阵乘法没有交换律,即AB ≠BA.(例如,如果A ∈Rm×n 和B ∈Rn×q,矩阵的乘积BA在m和q不等时,BA可能根本就不存在) 如果你对这些性质不熟悉,最好花些时间自己证明一下。

例如,为了验证矩阵乘法的结合律,对于A ∈Rm×n, B ∈Rn×p,C ∈Rp×q,注意AB ∈Rm×p,而 (AB)C ∈Rm×q。

类似的有BC ∈Rn×q,所以A(BC)∈Rm×q。

因此可以得到维度相同的矩阵。

为了说明矩阵乘法符合结合律,证明(AB)C 第(i,j)个元素是否与A(BC)的(i,j)个元素相等就够了。

我们可以直接运用矩阵乘法的定义进行证明。

上面的推导过程中,第一个和最后两个等式使用矩阵乘法的定义,第三和第五的等式使用标量乘法的分配率,第四个等式使用了标量加法的交换律和结合律。

这种将运算简化成标量的特性以证明矩阵性质的方法会经常出现,你可以熟悉熟悉它们。

3运算和性质 在这一节中,我们将介绍几种矩阵/向量的运算和性质。

很希望这些内容可以帮助你回顾以前知识,这些笔记仅仅是作为上述问题的一个参考。

3.1单位矩阵与对角矩阵 单位矩阵,记作I∈Rn×n,是一个方阵,其对角线上的都是1,其他元素都是0。

即: 它具备A ∈Rm×n矩阵的所有性质 请注意,在某种意义上,标识矩阵的符号是有歧义的,因为它没有指定I的维度。

一般而言,从上下文中可以推断出I的维度,这个维度使矩阵相乘成为可能。

例如,在上面的等式AI=A中的I是n×n矩阵,而A=IA中I是m×m矩阵。

对角矩阵除了对角线元素之外其他元素都是0。

可以记作D =diag(d1,d2,...,dn),其中: 显然,I=diag(1,1,...,1). 3.2转置 矩阵的转置的是矩阵行和列的"翻转"。

对于一个矩阵A ∈Rm×n,,它的转置,AT ∈Rn×m,是一个n × m 的矩阵,其元素为 我们实际上已经使用转置当描述行向量的转置,因为一个列向量的转置,自然是一个行向量。

下面是一些关于转置的性质,证明起来也不太难: (AT )T =A(AB)T =BT AT(A+B)T =AT + BT 3.3对称矩阵 如果一个方阵A∈Rn×n满足条件A = AT,那么它就是对称的。

如果满足A =−AT则A是反对称的。

很容易证明,任何矩阵A ∈Rn×n,A + AT 是对称的,而A−AT是反对称的。

因此,任何方阵A ∈Rn×n可以表示为一个对称矩阵和反对称矩阵的和,因为: 右边的第一个矩阵是对称的,第二个是反对称的。

在实践中,对称矩阵是很常用的,他们有诸多优秀的性质,我们将在以后进行说明。

我们通常将所有大小为n的对称矩阵的集合表示为Sn;A ∈Sn则表示A是n × n的对称矩阵。

3.4矩阵的迹 方阵A ∈Rn×n的迹,记作tr(A),或可以省略括号表示成trA,是矩阵的对角线元素之和: 正如cs229讲义中所述,矩阵的迹具有以下性质(在此讲述完全是为了内容的完整性): 对于A ∈Rn×n,trA =trAT .对于A,B ∈Rn×n,tr(A + B)=trA +trB.对于A ∈Rn×n, t ∈R,tr(tA)= t trA.对于方阵A,B,C,trABC =trBCA =trCAB,即使有更多的矩阵相乘,这个性质也不变. 前三个性质比较容易证明,咱们一起来看看第4个性质。

假设A ∈Rm×n ,B ∈Rn×m (因此AB ∈Rm×m是个方阵)。

观察到BA ∈Rn×n也是一个方阵,所以他的迹是有意义的。

为了证明trAB =trBA,注意到:   在这里,第一个和最后两个等式使用了迹运算和矩阵乘法的定义。

第四个等式是最重要的部分,它使用了标量乘法的交换性来交换每个乘积中因式顺序,也使用了标量加法的交换律和结合律将求和过程重新排序。

3.5范数 向量的范数是向量"长度"的非正式度量。

例如,我们常用的欧氏或ℓ2范数。

注意 . 更正式的来讲,范数是满足以下4个特性的任何一个方程f :Rn →R: 对于任意x∈Rn,f(x)≥0(非负性).当且仅当x=0时,f(x)=0(确定性).对于任意x∈Rn,t∈R,f(tx)=|t|f(x)(均匀性).对于任意x,y∈Rn,f(x+y)≤f(x)+ f(y)(三角不等性). 另一个范数的例子是ℓ1范数, 以及ℓ∞范数, 事实上,这三个范数都是ℓP范数家族的的例子,它包含一个实参数p≥1。

ℓP范数定义为: . 也可以定义矩阵A的范数,如Frobenius范数, . 也存在许多其他的范数,但它们超出了这篇综述讨论的范围。

  3.6线性无关和秩 对于一组向量{x1,x2,...xn}∈Rm,如果没有向量可以表示为其余向量的线性组合,这组向量就是(线性)无关的。

相反,如果一个向量属于一个集合,这个集合中的向量可以表示为其余的向量某个线性组合,那么就称其称为向量(线性)相关。

也就是说,对于一些标量值α1,...,αn−1 ∈R,如果 我们说向量x1,...,xn是线性相关;否则,该向量线性无关。

例如,向量 是线性相关的,因为x3 =−2x1 + x2. 矩阵A ∈Rm×n的列秩是所有线性独立的列的最大子集的大小。

由于某些术语的滥用,列秩通常指矩阵A线性无关的列的数目。

相似的,将A的行构成一个线性无关集,行秩是它行数的最大值。

对任意矩阵A ∈Rm×n,其列秩与行秩是相等的(虽然我们不打算证明),所以我们将两个相等的秩统称为A的的秩。

秩的一些基本性质如下: 对于 A ∈Rm×n,rank(A)≤min(m,n).如果rank(A)=min(m,n), 则称A满秩。

对于 A ∈Rm×n,rank(A)=rank(AT ).对于 A ∈Rm×n, B ∈Rn×p,rank(AB)≤min(rank(A),rank(B)).对于 A,B ∈Rm×n,rank(A + B)≤rank(A)+rank(B). 3.7逆 矩阵A ∈Rn×n的逆,写作A−1,是一个矩阵,并且是唯一的。

A−1A = I = AA−1. 注意不是所有的矩阵都有逆。

例如非方阵,是没有逆的。

然而,即便对于一些方阵,它仍有可能不存在逆。

如果A−1存在,我们称矩阵A 是可逆的或非奇异的,如果不存在,则称矩阵A不可逆或奇异。

如果一个方阵A有逆A−1,它必须满秩。

我们很快可以看到,除了满秩,矩阵可逆还有许多充分必要条件。

满足以下的性质的矩阵可逆;以下所有叙述都假设A,B ∈Rn×n是非奇异的: (A−1)−1 =A(AB)−1 =B−1A−1(A−1)T =(AT )−1. 因此这样的矩阵经常写作A−T 举一个矩阵的逆的应用实例。

对于线性方程组Ax=b,其中 A ∈Rn×n,并且x,b ∈Rn.如果A是非奇异(即可逆),则x = A−1b(如果A ∈Rm×n不是方阵呢?是否成立?) 3.8 正交矩阵 如果xT y =0,则两个向量 x,y ∈Rn是正交的。

对于一个向量x∈Rn,如果则是x归一化的。

对于一个方阵U ∈Rn×n,如果所有列都是彼此正交和归一化的,(列就称为标准正交)则这个方阵是正交的(注意在讨论向量或矩阵时,正交具有不同的含义)。

根据正交和归一化的定义可得: UT U = I = UUT 换言之,一个正交矩阵的逆矩阵的是它的转置。

注意,如果U不是方阵的,也就是说, U ∈Rm×n,n0,那么这个对称矩阵A∈Sn是正定(PD)的.通常记作A≻0,(或简单地A>0),所有的正定矩阵集合记作Sn++。

•对于任一非零向量x∈Rn,如果xTAx≧0,那么这个对称矩阵A∈Sn是半正定(PSD)的。

记作A≽0,(或简单地A≧0),所有的半正定矩阵集合记作Sn+ 。

•同样的,对于任一非零向量x∈Rn,如果xTAx<0,那么这个对称矩阵A∈Sn是负定(ND)的。

记作A≺0,(或简单地A<0)。

•对于任一非零向量x∈Rn,如果xTAx≤0,那么这个对称矩阵A∈Sn是半负定(NSD)的.记作A≼0,(或简单地A≤0)。

•最后,如果它既不是半正定也不是半负定-亦即,存在x1,x2∈Rn使得x1TAx1>0且x2TAx2<0,那么对称矩阵A∈Sn是不定矩阵。

显然,如果A是正定的,那么-A是负定的,反之亦然。

同样的,如果A是半正定的,那么-A是半负定的,反之亦然。

如果A是不定的,-A也是不定矩阵。

正定矩阵和负定矩阵的一个重要性质是,它们一定是满秩的。

因此,也是可逆的。

为了证明这个性质,假设存在矩阵A∈Rn×n是不满秩的。

进而,假设A的第j列可以其它n-1列线性表示。

对于x1,...,xj−1,xj+1,...,xn ∈R,设xj=-1,我们有 但是这意味着对于某些非零向量x,xTAx=0,所以A既不能正定,也不能负定。

因此,如果A是正定或者负定,它一定是满秩的。

最后,一种常见的正定矩阵需要注意:给定一个矩阵A∈Rm×n (不一定是对称,甚至不一定是方阵),矩阵G=ATA(有时也称为格拉姆矩阵)必然是半正定的。

进一步,如果m≥n,(为了方便,我们假设A满秩)此时,G=ATA是正定的。

3.12特征值和特征向量 对于一个方阵A∈Rn×n,如果: 我们说λ∈C是A的特征值,x∈Cn是对应的特征向量. 直观上看,其实上面的式子说的就是A乘一个向量x,得到的新的向量指向和x相同的方向,但是须乘一个标量λ。

注意对任一个特征向量x∈Cn和标量t∈C,A(cx)= cAx = cλx = λ(cx),,所以cx也是一个特征向量。

因此,我们要说λ所对应的特征向量。

我们通常假设特征向量被标准化为长度1。

(此时依然有歧义,因为x和-x都可以是特征向量,但是我们也没什么办法)。

如果 我们可以把上文的等式换一种写法,表明(λ,x)是A的一个特征值-特征向量对。

  但是当且仅当有非空零空间时,也就是当(λI − A)非奇异时,亦即 时,(λI − A)x = 0有x的非零解。

我们现在可以用前文的行列式的定义,来把这个表达式展开为一个(非常大的) λ的多项式,其中λ的最高阶为n。

我们可以解出多项式的n个根(这可能十分复杂),来得到n个特征值λ1, ...,λn。

为了解出特征值对应的特征向量,我们可以简单地求线性等式(λiI−A)x=0的解。

需要注意,实际操作时,计算特征值和特征向量不用这个方法。

(行列式的完全展开式有n!项)。

这只是一个数学论证。

下面是特征值和特征向量的性质(假设A∈Rn×n,且特征值λ1,...,λn对应的特征向量为x1,...,xn): 矩阵A的迹等于特征值的和 A的行列式等于特征值的积 A的秩等于A的非零特征值的个数。

如果A是非奇异矩阵,则1/λi是矩阵A-1对应于特征向量xi的特征值。

亦即,A−1xi =(1/λi)xi。

(证明方法是,对于特征向量等式,Axi = λixi,在两边同时左乘A-1)对角矩阵D=diag(d1,...,dn)的特征值是所有的对角元素。

    我们可以把所有的特征向量等式联立为 X∈Rn×n 的列是A的特征向量,∧是对角元素为A的特征值的对角矩阵。

亦即: 如果A的特征向量线性无关,则矩阵X可逆,所以A=X∧X-1。

可以写成这个形式的矩阵A被称作可对角化。

3.13对称矩阵的特征值和特征向量 当我们考察对称矩阵A∈Sn的特征值和特征向量时,有两个特别的性质需要注意。

首先,可以证明,A的所有特征值都是实数。

其次,A的所有特征向量时正交的。

也就是说,上面所定义的矩阵X是正交矩阵。

(我们把此时的特征向量矩阵记作U)。

接下来,我们可以将A表示为A=U∧UT,由上文知,一个正交矩阵的逆等于它的转置。

    由此,我们可以得到所有完全使用特征值来定义的矩阵。

假设A∈Sn=U∧UT。

有: 其中,y=UTx(由于U满秩,任意y∈Rn可以表示为此形式。

)由于yi2永远为正,这个表达式完全依赖于λi。

如果所有的λi>0,那么矩阵正定;如果所有的λi≥0,矩阵半正定。

同样的,如果所有的λi<0或λi≤0,矩阵A分别负定和半负定。

最后,如果A既有正的特征值又有负的特征值,它是不定矩阵。

    特征值和特征向量的一个常见的应用是找出矩阵的某个函数的最大值。

例如,对于矩阵A∈Sn,考虑这个求最大值问题: 也就是说,我们希望找到使二次型最大的单位向量。

假设特征值大小为λ1 ≥ λ2 ≥ ... ≥ λn,这个最优化问题的最优解x为x1,对应的特征值为λ1.此时,二次型的最大值是λ1。

相似的,最小值问题的最优解 是xn,对应的特征值是λn,那么最小值是λn。

可以通过将A表示为特征向量-特征值的形式,然后使用正定矩阵的性质证明。

然而,在下一节我们可以使用矩阵微积分直接证明它。

4矩阵微积分 之前章节的内容,在一般线性代数的课程中都会讲到。

而有些常用的内容是没有的,这就是把微积分推广到向量。

事实上,我们应用的微积分都会比较繁琐,各种符号总是让问题变得更复杂。

在本节中,将给出一些矩阵微积分的基本定义,并举例说明。

4.1梯度 设ƒ:Rm×n→R是大小为m×n的矩阵A的函数,且返回值为实数。

ƒ的梯度(关于A∈Rm×n)是一个偏导矩阵,定义如下:   即,一个m×n矩阵,其中 注意∇Af(A)和A有相同的大小。

所以,特别的,当A是一个向量x∈Rn时, 需要特别记住的是,函数的梯度只在函数值为实数的时候有定义。

也就是说,函数一定要返回一个标量。

例如,我们就不能对Ax,A∈Rn×n中的x求梯度,因为它是一个向量。

它遵循和偏导相同的性质:   原则上,梯度是多变量函数偏导的延伸。

然而,实际应用梯度时,会因为数学符号而变得棘手。

例如,假设A∈Rm×n是一个具有固定系数的矩阵,b∈Rm是一个固定系数的向量。

令ƒ:Rm→R为由ƒ(z)=zTz,因此∇zf(z) =2z。

现在,考虑表达式; ∇f(Ax) 上式该如何理解?至少有两种解释: 解释一,因∇f(Ax).=2z,所以可将∇f(Ax).理解为点Ax处的梯度,那么:    ∇f(Ax)=2(Ax)=2Ax ∈ Rm 解释二,可以认为f(Ax)是关于变量x的函数。

正式的表述为,令g(x)=f(Ax)。

那么在此种解释下有: ∇f(Ax)=∇xg(x)∈Rn 大家可以发现,这两种解释确实不同。

解释一得出的结果是m维向量,而解释二得出n维向量!怎么办? 这里的关键是确定对那个变量求微分。

在第一种情况下,是让函数f对参数z求微分,然后代入参数Ax。

第二种情况,是让复合函数g(x)=F(AX)与直接对x求微分。

第一种情况记为∇zf(AX),第二种情况记为∇xf(AX)。

你会在作业中发现,理清数学符号是非常重要的。

4.2Hessian矩阵 假设 ƒ:Rn→R    是n维向量A的的函数,并返回一个实数。

那么x的Hessian矩阵是偏导数的n×n矩阵,写作∇2xf(x),简记为H。

  换句话说,∇2xf(x)∈Rn×n ,其中: 需要注意的是Hessian矩阵始终是对称的,即: 和梯度类似,Hessian矩阵只在f(x)为实数时有定义。

可以很自然联想到,偏导类似于函数的一阶导数,而Hessian类似函数的的二阶导数(我们使用的符号,也表明了这种联系)。

通常这种直觉是正确的,但有些注意事项需要牢记。

首先,只有一个变量的实值函数,f:R→R,它的基本定义是二阶导数是一阶导数的导数,即: 然而,对于关于向量的函数,该函数的梯度是一个向量,我们不能取向量的梯度,即; 并且这个表达式没有定义。

因此,不能说Hessian矩阵是梯度的梯度。

然而,在下面的意义上比较靠谱:如果我们取第i项(∇xf(X))i =∂F(X)/∂xi,并取对x的梯度,我们得到: 这是Hessian矩阵的第i列(或行)。

因此: 如果此处稍粗略一点,可以得出,只要将其真实的含义理解为对 (∇xf(x))的每一项求梯度,而不是对向量求梯度即可。

最后注意,虽然可求出对矩阵A∈Rn的梯度,但在本课程中,将只考虑向量x∈Rn的Hessian矩阵。

这仅仅是为了方便起见(而事实上,没有计算需要求矩阵的Hessian矩阵),因为矩阵的Hessian矩阵必须表示为所有的偏导数∂2f(A)/(∂Aij∂Akℓ),而要表示为矩阵却相当麻烦。

4.3    二次函数或线性函数的梯度和Hessian矩阵 现在,让我们确定一些简单函数的梯度和Hessian矩阵。

应当指出的是,这里给出的所有的梯度都是在CS229讲义给出的特殊情况。

当x∈Rn,对于已知向量b∈Rn,令f(X)=bT x。

得: 因此 由此不难看出,∇xbT x=b。

这是与单变量微积分类似的情况,其中,∂/(∂x)aX=a。

现在考虑二次函数f(x)=xTAx,A∈Sn。

注意到: 求其偏导数,分别考虑包含Xk和xk2因子的项: 其中最后一个等式是因为A是对称的(完全可以假设,因为它是二次型)。

注意,∇xf(x)的第k项只是A的第k行和x的内积。

因此,∇xxTAx=2AX。

同样,与单变量微积分类似,即∂/(∂x)    ax2=2aX。

最后,再看二次函数f(X)=xTAx的Hessian矩阵(显然,线性函数bT x的Hessian矩阵为零)。

在这种情况下, 因此,应当清楚的是∇x2xTAx=2A,这完全是可证明的(并再次类似于单变量的情况∂2/(∂x2)ax2 =2a)。

总之: ∇xbT x=b ∇xxTAx=2Ax(A为对称矩阵) ∇x2xTAx=2A(A为对称矩阵) 4.4最小二乘法 这里将用最后一节得到的公式推导最小二乘方程。

假设对矩阵A∈Rm×n(为简单起见,假定A是满秩)和向量b∈Rm    ,使得b错误!未找到引用源。

R(A)。

在这种情况下,无法找到一个向量x∈Rn,使得Ax=b。

退一步,我们找一个向量x∈Rn,使得Ax是尽可能接近b,即欧氏范数||Ax-b||22。

且知||x||22=xTx,有: 取对已有x的梯度,并使用上一节推出的性质 让最后一个表达式等于零,并求解X满足的标准方程 这正和我们课上推导的一样。

4.5行列式的梯度 现在考虑一种情况,求函数对矩阵的梯度,即对A∈Rn×n,求∇A|A|。

回顾之前关于行列式的讨论: 因此: 根据伴随矩阵的性质,可立即得出: 现在,考虑函数f:Sn ++ →R,f(A)=log|A|,需要注意的是,一定要限制f的域是正定矩阵,因为这将确保|A|>0,这样log|A|是一个实数。

在这种情况下,我们可以使用链式法则(很简单,只是单变量微积分的普通链式法则)得出: 那么,很显然: 此处,在最后一个表达式中去掉了转置符,因为A是对称的。

注意当∂/(∂x)logx=1/x时,和单值情况相似。

4.6最优化特征值 最后,通过直接分析特征值/特征向量,用矩阵微积分来解决一个优化问题。

接下来,考虑等式约束优化问题: 对于一个对称矩阵A∈Sn,解决等式约束优化问题的标准方法是构造拉格朗日(一个包括等式约束的目标函数)。

这种情况下的拉格朗日可由下式给出: 其中λ被称为与等式约束对应的拉格朗日乘子。

对这问题可以找到一个x*的最佳点,让拉格朗日的梯度在x*上为零(这不是唯一的条件,但它是必需的)。

即: 注意,这其实是线性方程组Ax=λx。

这表明,假设xT x=1,使xT Ax最大化或(或最小化)的唯一的点正是A的特征向量。

  YZXnuaa 关注 关注 15 点赞 踩 55 收藏 打赏 3 评论 【数学基础】线性代数以及符号编总 1基本概念和符号线性代数可以对一组线性方程进行简洁地表示和运算。

例如,对于这个方程组:这里有两个方程和两个变量,如果你学过高中代数的话,你肯定知道,可以为x1和x2找到一组唯一的解(除非方程可以进一步简化,例如,如果第二个方程只是第一个方程的倍数形式。

但是显然上面的例子不可简化,是有唯一解的)。

在矩阵表达中,我们可以简洁的写作:其中:很快我们将会看到,咱们把方程表示... 复制链接 扫一扫 专栏目录 线性代数中的符号记录 qq_31239371的博客 05-27 1386 最近看论文时,遇到了这个符号,不认识,如下: 就是这个长得奇怪的R,而且它的右上角还带有数字,查了下资料,做个记录(公式符号不好打,直接贴图): 上图核心意思就是:R代表的是实数集。

那么据此推断一下,右上角带数字的R应该是矩阵,确切来说是所有实数矩阵的集合,如下: 参考资料: 1.https://zhuanlan.zhihu.com/p/336136833 2.https://zh.wikipedia.org/wiki/%E5%AE%9E%E6%95%B0 ... [线性代数]常用符号整理 chenf1999的博客 10-07 1万+ x∈Rnx\in\BbbR^nx∈Rn表示具有nnn个元素的列向量,行向量通常用列向量的转置来表示 对于方阵A∈Rn×nA\in\BbbR^{n\timesn}A∈Rn×n,∣A∣|A|∣A∣或det⁡A\detAdetA表示它的行列式 I∈Rn×nI\in\BbbR^{n\timesn}I∈Rn×n表示单位矩阵,它是一个方阵 对角矩阵通常表示为D=diag(d1,d2,... 评论 3 您还未登录,请先 登录 后发表或查看评论 知识点-线性代数 博客 05-11 203 索引向量矩阵行列式特征值和特征向量 研究对象:向量、矩阵、行列式; 线性:一次形式来表达的; 代数:符号替代元素和运算; https://www.jianshu.com/p/21aea5108d83 pdf:线性代数的几何意义 向量 向量的矩阵表示法,向量的模,单位向量,法向量 在自由向量的意义下,相等的向量都看作是同一个向量。

数学中只研究自由向量。

已知两个非零向量a,b,作OA=a,OB=b,... 数学符号的各种含义 细心程度决定你的成败 11-05 1万+ [TOC]类型符号 类型 代表符号 符号说明整数 Z 自然数 N 实数 R 实数讲解 正整数 N+或N* 负数 N- 有理数 Q 有理数的讲解 范数 范数的讲解 Sgn函数 Sgn 数学上的符号函数或者计算机语言中的返回函数。

详细 漫步线性代数四——矩阵符号和矩阵乘法 蜗牛 08-17 1万+ 对于3×33\times3的例子,我们能够写出所有的公式。

可以列出消去步骤,一个方程减去另一个方程的倍数达到三角矩阵的形式。

对于一个大的系统,这种跟踪消去的步骤太长了,所以我们需要更加简洁的记录方式。

我们现在引进矩阵符号来描述开始的系统,用矩阵乘法来描述计算步骤会更简单。

注意三种不同类型的量都出现在例子中: Nine coefficientsThree unknownsThree right−h 学习中的小问题(1)--关于多维矩阵如何表示 kkdefeng的博客 11-10 946 学习中的小问题(1)–关于多维矩阵如何表示 (1)看到维度怎么写矩阵 以维度为(1,2,3,4)的矩阵为例,该矩阵的表示方式是:首先看最后两个维度分别是3,4那么首先把这个两个维度先写好,假设矩阵里的数全是1,那么最后两个维度可以写成(3行4列) [[1,1,1,1], [1,1,1,1], [1,1,1,1]] 写完最后两个维度继续看第-3个维度是2,那么说明有2个3*4维,写成矩阵形式就是 [[[1,1,1,1], [1,1,1,1], [1,1,1,1]], [[1,1,1,1], [ 线性代数基础 最新发布 梦码城博客中心 04-29 291 本文目录1.线性代数的意义2.基本概念3.Pytorch中的运算3.1标量3.2向量3.3长度、维度和形状3.4矩阵3.5张量3.6降维3.7点积3.8矩阵-矩阵乘法3.9范数 1.线性代数的意义 线性代数提供了⼀种看待世界的抽象视角:万事万物都可以被抽象成某些特征的组合,并在由预置规则定义的框架之下以静态和动态的方式加以观察。

是现代数学和以现代数学作为主要分析方法的众多学科的基础。

从量子力学到图像处理都离不开向量和矩阵的使用。

线性代数是用虚拟数字世界表示真实物理世界的工具。

线性代数基础概念 Hansry的博客 08-30 1938 1.转置以对角线为轴的镜像,这条从左上角到右下角的对角线称为主对角线。

将矩阵A的转置表示为,定义为2.矩阵的乘积向量可以被看做是只有一列的矩阵,向量的转置可以被看做一行的矩阵,俩个相同维数的向量x和y的点击可看作是矩阵乘积,即。

服从分配率:A(B+C)=AB+AC; 服从结合率:A(BC)=(AB)C; 矩阵乘积的转置有着简单的形式: 需要注意的是:矩阵的乘积不服从交换律,即AB不等于B 矩阵迹的性质_线性代数中的基础概念(1):常见符号表示,向量范数与矩阵范数... weixin_39695954的博客 12-16 829 ACoder:线性代数中一些等价的结论​zhuanlan.zhihu.comACoder:线性代数中的基础概念(2)​zhuanlan.zhihu.com本文的主要内容:常见的符号表示向量乘法与数乘向量范数与矩阵范数常见的符号表示:实数集:复数集:n维实数空间:n维复数空间:所有的实矩阵构成的集合:所有的复矩阵构成的集合:列向量:向量的第个元素:矩阵:矩阵第行... 【matlab学习笔记】矩阵的表示和常用符号 张竞成的博客 07-16 8382 今天在看一段matlab代码的时候发现matlab的风格和C 取模是什么意思_从被忽视到大放异彩,这个理论经历了什么?!! weixin_39641697的博客 12-16 233 认真阅读下面的文章,并思考文末互动提出的问题,严格按照互动:你的答案格式在评论区留言,就有机会获得由江苏凤凰科学技术出版社提供的优质科普书籍《BBC宇宙三部曲》一套。

表示理论最初被人忽视。

现在,它是许多数学研究的核心。

上图将李群直观地展现了出来。

通过这种化繁为简的方式,数学家们得以理解复杂对象的方方面面。

19世纪晚期,表示理论出现时,许多数学家质疑它存在的价值。

1897年,英国数学家威廉·伯恩赛... 转:线性代数知识汇总 PacosonSWJTU的博客 09-17 564 https://blog.csdn.net/MyArrow/article/details/53365048 1.线性代数知识图谱 线性代数是代数学的一个分支,主要处理线性关系问题。

线性关系意即数学对象之间的关系是以一次形式来表达的。

例如,在解析几何里,平面上直线的方程是二元一次方程;空间平面的方程是三元一次方程,而空间直线视为两个平面相交,由两个三元一次方程所组成的方程组来表示。

含有n个未知量的一次方程称为线性方程。

变于关量是一次的函数称为线性函数。

线性关系问题简称线性问题。

解线性方程组的问题是.. 取模运算(简版) m0_50219534的博客 09-24 55 看到对于答案取1e9+7就不会了,真是太恶心了,因为其中的取模运算的掌握并不好,所以就经常写不成,所以决定要好好的学一下: 运算也就一点点: (a+b)%p=a%p+b%p (a-b)%p=a%p-b%p (a×\times×b)%p=a%p×\times×b%p (ab)(a^b)(ab)%p=((a%p)b^bb)%p 还有同余: p|(a-b),则a≡\equiv≡b(%p) 若a≡b(%p),则对于任意的c,都有(a+c)≡(b+c)(%p); 若a≡b(%p),则对于任意的 线性代数学习总结 serryuer的博客 04-21 2373 目录1.基础概念和符号1.1基本符号2.矩阵乘法2.1向量-向量乘积2.2矩阵-向量乘积 1.基础概念和符号 线性代数为线性方程组提供了一种更加简单的表达方式和操作方式,比如考虑下面的方程组: 4x1−5x2=−13−2x1+3x2=9 \begin{aligned}4x_{1}-5x_{2}&=-13\\-2x_{1}+3x_{2}&amp... 线性代数基础知识——常见矩阵的概念及其关系 qq_41685509的博客 12-18 559 转置矩阵、伴随矩阵、逆矩阵的定义,及其关系。

【线代】矩阵及其运算 elegantcoder 09-02 1890 知识点 矩阵的定义[《线代》P25] 矩阵的加法[《线代》P30] 数与矩阵相乘。

[《线代》P30] 矩阵与矩阵相乘。

矩阵乘法不满足交换律。

矩阵乘法满足结合律和分配律。

[可交换]的定义[《线代》P33] 纯量阵的定义[《线代》P33] 矩阵的幂的定义[《线代》P33] (AB)k!=AkBk(除非A与B可交换) 矩阵的转置及四个运算规律。

[《线代》P36] 对称矩阵的定义和特点。

[《线... 【线性代数】各种特殊矩阵及表达式 小白兔de窝 07-24 1万+ 常见特殊矩阵有: 1.上三角矩阵/下三角矩阵,三对角矩阵,带状矩阵 2.Toeplitz矩阵,Hankel矩阵,Vandermonde矩阵 3.Z矩阵,M矩阵,H矩阵,对角占优阵,非负矩阵 4.对称矩阵,反对称矩阵,Hermite矩阵,反Hermite矩阵,正交矩阵,酉矩阵,正规矩阵 5.Hamilton矩阵,反Hamilton矩阵,辛矩阵,反辛矩阵 6.Hilbert矩阵,Cauch 数学公式中符号总结 智者之家 10-24 1万+ 1、几何符号 ⊥∥∠⌒⊙≡≌△   ##2、代数符号   ∝∧∨~∫≠≤≥≈∞∶   ##3、运算符号   如加号(+),减号(-),乘号(×或·),除号(÷或/),两个集合的并集(∪),交集(∩),根号(√),对数(log,lg,ln),比(:),微分(dx),积分(∫),曲线积分(∮)... Latex所有常用数学符号整理 热门推荐 小胖子的博客 04-25 36万+ 这段时间用Latex很多,常常需要查阅相关特殊的符号,这里做一个整理,也方便大家查阅。

摘自:《一份不太简短的LATEX2介绍》或112分钟学会LATEX2  原版作者:TobiasOetiker 常用数学符号大全、关系代数符号 jast 09-26 3万+ http://www.dataguru.cn/thread-247437-1-1.html 常用数学符号大全、关系代数符号 1、几何符号   ⊥∥∠⌒⊙≡≌△   2、代数符号   ∝∧∨~∫≠≤≥≈∞∶   3、运算符号   如加号(+),减号(-),乘号(×或·),除号(÷或/),两... “相关推荐”对你有帮助么? 非常没帮助 没帮助 一般 有帮助 非常有帮助 提交 ©️2022CSDN 皮肤主题:编程工作室 设计师:CSDN官方博客 返回首页 YZXnuaa CSDN认证博客专家 CSDN认证企业博客 码龄6年 暂无认证 199 原创 2万+ 周排名 7万+ 总排名 116万+ 访问 等级 1万+ 积分 350 粉丝 379 获赞 96 评论 1119 收藏 私信 关注 热门文章 【Python】np.log 49237 【Python】正则表达式re.findall用法 44550 Python之Pygame.rect函数 36235 如何在pycharm中打开terminal 34960 【数学基础】线性代数以及符号编总 26214 分类专栏 shell 1篇 SQL 4篇 scala DAX 2篇 Rapidminer教程 名企笔试算法题 TFboy养成记 24篇 Python库 148篇 深度学习 23篇 机器学习 46篇 RNN 8篇 基础算法 28篇 NLP 11篇 啥玩意儿 34篇 ubuntu操作 21篇 OpenCV 20篇 图像基本处理 20篇 图像分割 7篇 群智能算法 4篇 名企笔试 7篇 Scrapy挖掘 2篇 HTML前段 3篇 数字信号处理 2篇 大佬真牛皮 3篇 数据结构 2篇 强化学习 2篇 真正的人工智能在于大脑本身 3篇 坑坑大数据 6篇 人脸识别 3篇 Py交易 1篇 PyQt 11篇 数据 8篇 RapidMinder 1篇 PyTorch 5篇 Sklearn 1篇 软件地址破解 1篇 数据分析软件 2篇 Pandas 3篇 爬虫 1篇 最新评论 PythonMatplotlib属性cmap SHADsd: 'Accent','Accent_r','Blues','Blues_r','BrBG','BrBG_r','BuGn','BuGn_r','BuPu','BuPu_r','CMRmap','CMRmap_r','Dark2','Dark2_r','GnBu','GnBu_r','Greens','Greens_r','Greys','Greys_r','OrRd','OrRd_r','Oranges','Oranges_r','PRGn','PRGn_r','Paired','Paired_r','Pastel1','Pastel1_r','Pastel2','Pastel2_r','PiYG','PiYG_r','PuBu','PuBuGn','PuBuGn_r','PuBu_r','PuOr','PuOr_r','PuRd','PuRd_r','Purples','Purples_r','RdBu','RdBu_r','RdGy','RdGy_r','RdPu','RdPu_r','RdYlBu','RdYlBu_r','RdYlGn','RdYlGn_r','Reds','Reds_r','Set1','Set1_r','Set2','Set2_r','Set3','Set3_r','Spectral','Spectral_r','Wistia','Wistia_r','YlGn','YlGnBu','YlGnBu_r','YlGn_r','YlOrBr','YlOrBr_r','YlOrRd','YlOrRd_r','afmhot','afmhot_r','autumn','autumn_r','binary','binary_r','bone','bone_r','brg','brg_r','bwr','bwr_r','cividis','cividis_r','cool','cool_r','coolwarm','coolwarm_r','copper','copper_r','cubehelix','cubehelix_r','flag','flag_r', 【数学基础】线性代数以及符号编总 weixin_38445603: 作者你好,公式图都挂了,能方便更新一下么/ganxie 正则化与数据先验分布的关系 FIOTIA: 写得真好!一看就明白了! PythonOpenCVcv2.xfeatures2d.SIFT_createdetectAndCompute方法 考不上不改名h: 标题不是sift描述子吗?怎么讲了画图了 beautifulsoup4bs4find_all&find函数解析 qq_45843762: 讲真这个下划线让我大开眼界 您愿意向朋友推荐“博客详情页”吗? 强烈不推荐 不推荐 一般般 推荐 强烈推荐 提交 最新文章 [nifi]数据管理分发工具 Python常用写法 [Shell]常用写法 2022年2篇 2021年5篇 2020年7篇 2019年48篇 2018年344篇 2017年1篇 目录 目录 分类专栏 shell 1篇 SQL 4篇 scala DAX 2篇 Rapidminer教程 名企笔试算法题 TFboy养成记 24篇 Python库 148篇 深度学习 23篇 机器学习 46篇 RNN 8篇 基础算法 28篇 NLP 11篇 啥玩意儿 34篇 ubuntu操作 21篇 OpenCV 20篇 图像基本处理 20篇 图像分割 7篇 群智能算法 4篇 名企笔试 7篇 Scrapy挖掘 2篇 HTML前段 3篇 数字信号处理 2篇 大佬真牛皮 3篇 数据结构 2篇 强化学习 2篇 真正的人工智能在于大脑本身 3篇 坑坑大数据 6篇 人脸识别 3篇 Py交易 1篇 PyQt 11篇 数据 8篇 RapidMinder 1篇 PyTorch 5篇 Sklearn 1篇 软件地址破解 1篇 数据分析软件 2篇 Pandas 3篇 爬虫 1篇 目录 评论 3 被折叠的  条评论 为什么被折叠? 到【灌水乐园】发言 查看更多评论 打赏作者 YZXnuaa 你的鼓励将是我创作的最大动力 ¥2 ¥4 ¥6 ¥10 ¥20 输入1-500的整数 余额支付 (余额:--) 扫码支付 扫码支付:¥2 获取中 扫码支付 您的余额不足,请更换扫码支付或充值 打赏作者 实付元 使用余额支付 点击重新获取 扫码支付 钱包余额 0 抵扣说明: 1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。

2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值



請為這篇文章評分?