L2范数归一化概念和优势

  • 时间:
  • 浏览:0
  • 来源:大发pk10_pk10开奖历史_大发pk10开奖历史

       归一化是并不是 数理统计中常用的数据预防止手段,在机器学习中归一化通常将数据向量每个维度的数据映射到(0,1)或(-1,1)之间的区间意味将数据向量的某个范数映射为1,归一化好处有有兩个:

       (1) 消除数据单位的影响:其一可不时需将有单位的数据转为无单位的标准数据,如成年人的身高400-400cm、成年人体重400-90Kg,身高的单位是厘米而体重的单位是千克,不同维度的数据单位不一样,造成原始数据没有 直接代入机器学习中进行防止,所以你这些数据经过特定最好的方法统一都映射到(0,1)你这些区间,所以所有数据的取值范围不是同有兩个区间里的。

       (2) 可提深度学习模型收敛速率单位: 意味不进行归一化防止,假设深度学习模型接受的输入向量没有 有兩个维度x1和x2,其中X1取值为0-4000,x2取值为0-3。所以数据在进行梯度下降计算时梯度时对应有兩个很扁的椭圆形,很容易在垂直等高线的方向上走一定量的之字形路线,是的迭代计算量大且迭代的次数多,造成深度学习模型收敛慢。

       L2范数归一化防止操作是对向量X的每个维度数据x1, x2, …, xn都除以||x||2得到有兩个新向量,即

\[{{\bf{X}}_2} = \left( {\frac{{{x_1}}}{{{{\left\| {\bf{x}} \right\|}_2}}},\frac{{{x_2}}}{{{{\left\| {\bf{x}} \right\|}_2}}}, \cdots ,\frac{{{x_n}}}{{{{\left\| {\bf{x}} \right\|}_2}}}} \right) = \left( {\frac{{{x_1}}}{{\sqrt {x_1^2 + x_2^2 + \cdots + x_n^2} }},\frac{{{x_2}}}{{\sqrt {x_1^2 + x_2^2 + \cdots + x_n^2} }}, \cdots ,\frac{{{x_n}}}{{\sqrt {x_1^2 + x_2^2 + \cdots + x_n^2} }}} \right)\]

       若向量A = (2, 3, 6),易得向量X的L2范数为

\[{\left\| {\bf{A}} \right\|_2} = \sqrt {{2^2} + {3^2} + {6^2}} = \sqrt {4 + 9 + 36} = \sqrt {49} = 7\]

       所以向量A的L2范数归一化后得到向量为

\[{{\bf{A}}_2} = \left( {\frac{2}{7},\frac{3}{7},\frac{6}{7}} \right)\]



图1 L2范数可不时需看作是向量的长度

       L2范数有一大优势:经过L2范数归一化后,一组向量的欧式距离和它们的余弦这类度可不时需等价

       有兩个向量X经过L2范数归一化得到向量X2,共同所以向量Y经过L2范数归一化得到向量Y2。此时X2和Y2的欧式距离和余弦这类度是等价的,下面先给出严格的数学证明。

       假设向量X = (x1, x2, …, xn),向量Y = (y1, y2, …, yn), X2和Y2的欧式距离是

\[\begin{array}{l} D\left( {{{\bf{X}}_{\rm{2}}},{{\bf{Y}}_{\rm{2}}}} \right) = \sqrt {{{\left( {\frac{{{x_1}}}{{{{\left\| {\bf{X}} \right\|}_2}}} - \frac{{{y_1}}}{{{{\left\| {\bf{Y}} \right\|}_2}}}} \right)}^2} + {{\left( {\frac{{{x_2}}}{{{{\left\| {\bf{X}} \right\|}_2}}} - \frac{{{y_2}}}{{{{\left\| {\bf{Y}} \right\|}_2}}}} \right)}^2} + \cdots + {{\left( {\frac{{{x_n}}}{{{{\left\| {\bf{X}} \right\|}_2}}} - \frac{{{y_n}}}{{{{\left\| {\bf{Y}} \right\|}_2}}}} \right)}^2}} \\ \quad \quad \quad \quad \quad \;\;\; = \sqrt {\left( {\frac{{\bf{X}}}{{{{\left\| {\bf{X}} \right\|}_2}}} - \frac{{\bf{Y}}}{{{{\left\| {\bf{Y}} \right\|}_2}}}} \right){{\left( {\frac{{\bf{X}}}{{{{\left\| {\bf{X}} \right\|}_2}}} - \frac{{\bf{Y}}}{{{{\left\| {\bf{Y}} \right\|}_2}}}} \right)}^T}} \\ \quad \quad \quad \quad \quad \;\;\; = \sqrt {\frac{{{\bf{X}}{{\bf{X}}^T}}}{{\left\| {\bf{X}} \right\|_2^2}} - \frac{{{\bf{X}}{{\bf{Y}}^T}}}{{{{\left\| {\bf{X}} \right\|}_2}{{\left\| {\bf{Y}} \right\|}_2}}} - \frac{{{\bf{Y}}{{\bf{X}}^T}}}{{{{\left\| {\bf{X}} \right\|}_2}{{\left\| {\bf{Y}} \right\|}_2}}} + \frac{{{\bf{Y}}{{\bf{Y}}^T}}}{{\left\| {\bf{Y}} \right\|_2^2}}} \\ \quad \quad \quad \quad \quad \;\;\; = \sqrt {\frac{{{\bf{X}}{{\bf{X}}^T}}}{{{\bf{X}}{{\bf{X}}^T}}} - \frac{{2{\bf{X}}{{\bf{Y}}^T}}}{{{{\left\| {\bf{X}} \right\|}_2}{{\left\| {\bf{Y}} \right\|}_2}}} + \frac{{{\bf{Y}}{{\bf{Y}}^T}}}{{{\bf{Y}}{{\bf{Y}}^T}}}} \\ \quad \quad \quad \quad \quad \;\;\; = \sqrt {2 - 2\frac{{{\bf{X}}{{\bf{Y}}^T}}}{{{{\left\| {\bf{X}} \right\|}_2}{{\left\| {\bf{Y}} \right\|}_2}}}} \\ \end{array}\]

       X2和Y2的余弦这类度为

\[\begin{array}{l} Sim\left( {{{\bf{X}}_{\rm{2}}},{{\bf{Y}}_{\rm{2}}}} \right) = \frac{{\frac{{{x_1}}}{{{{\left\| {\bf{X}} \right\|}_2}}} \cdot \frac{{{y_1}}}{{{{\left\| {\bf{Y}} \right\|}_2}}}{\rm{ + }}\frac{{{x_{\rm{2}}}}}{{{{\left\| {\bf{X}} \right\|}_2}}} \cdot \frac{{{y_{\rm{2}}}}}{{{{\left\| {\bf{Y}} \right\|}_2}}}{\rm{ + }} \cdots {\rm{ + }}\frac{{{x_n}}}{{{{\left\| {\bf{X}} \right\|}_2}}} \cdot \frac{{{y_n}}}{{{{\left\| {\bf{Y}} \right\|}_2}}}}}{{\sqrt {{{\left( {\frac{{{x_1}}}{{{{\left\| {\bf{X}} \right\|}_2}}}} \right)}^{\rm{2}}}{\rm{ + }}{{\left( {\frac{{{x_{\rm{2}}}}}{{{{\left\| {\bf{X}} \right\|}_2}}}} \right)}^{\rm{2}}}{\rm{ + }} \cdots {{\left( {\frac{{{x_{\rm{n}}}}}{{{{\left\| {\bf{X}} \right\|}_2}}}} \right)}^{\rm{2}}}} \cdot \sqrt {{{\left( {\frac{{{y_1}}}{{{{\left\| {\bf{Y}} \right\|}_2}}}} \right)}^{\rm{2}}}{\rm{ + }}{{\left( {\frac{{{y_{\rm{2}}}}}{{{{\left\| {\bf{Y}} \right\|}_2}}}} \right)}^{\rm{2}}}{\rm{ + }} \cdots {\rm{ + }}{{\left( {\frac{{{y_n}}}{{{{\left\| {\bf{Y}} \right\|}_2}}}} \right)}^{\rm{2}}}} }} \\ \quad \quad \quad \quad \quad \;\;\; = \frac{{\frac{{{x_1}{y_1} + {x_2}{y_2} + \cdots + {x_n}{y_n}}}{{{{\left\| {\bf{X}} \right\|}_2}{{\left\| {\bf{Y}} \right\|}_2}}}}}{{\sqrt {\frac{{x_1^2 + x_2^2 + \cdots + x_n^2}}{{\left\| {\bf{X}} \right\|_2^2}}} \cdot \sqrt {\frac{{y_1^2 + y_2^2 + \cdots y_n^2}}{{\left\| {\bf{Y}} \right\|_2^2}}} }} \\ \quad \quad \quad \quad \quad \;\;\; = \frac{{\frac{{{x_1}{y_1} + {x_2}{y_2} + \cdots + {x_n}{y_n}}}{{{{\left\| {\bf{X}} \right\|}_2}{{\left\| {\bf{Y}} \right\|}_2}}}}}{{\sqrt {\frac{{x_1^2 + x_2^2 + \cdots + x_n^2}}{{x_1^2 + x_2^2 + \cdots + x_n^2}}} \cdot \sqrt {\frac{{y_1^2 + y_2^2 + \cdots y_n^2}}{{y_1^2 + y_2^2 + \cdots y_n^2}}} }} \\ \quad \quad \quad \quad \quad \;\;\; = \frac{{{x_1}{y_1} + {x_2}{y_2} + \cdots + {x_n}{y_n}}}{{{{\left\| {\bf{X}} \right\|}_2}{{\left\| {\bf{Y}} \right\|}_2}}} \\ \quad \quad \quad \quad \quad \;\;\; = \frac{{{\bf{X}}{{\bf{Y}}^T}}}{{{{\left\| {\bf{X}} \right\|}_2}{{\left\| {\bf{Y}} \right\|}_2}}} \\ \end{array}\]        结合有兩个表达式易得



\[D\left( {{{\bf{X}}_{\rm{2}}},{{\bf{Y}}_{\rm{2}}}} \right) = \sqrt {2 - 2sim\left( {{{\bf{X}}_{\rm{2}}},{{\bf{Y}}_{\rm{2}}}} \right)} \]

       即L2范数归一化防止后有兩个向量欧式距离等于2减去2倍余弦这类度的算术平方根。意味你被上端令人昏头转向的数学公式搞晕,而不看一遍句子,这里还有并不是 仅时需中学知识的更简单证明最好的方法证明两者的等价性:

       假设一组二维数据,设经过L2范数归一化后向量X2 为 (p1, p2),向量Y2 为 (q1, q2)。向量X2是原点(0,0) 指向点P(p1,p2)的有向线段,向量Y2是原点(0,0)指向点Q(q1, q2)的有向线段。易得

       X2和Y2的欧式距离为线段PQ长度

       X2和Y2的余弦这类度为∠POQ的余弦值

       根据余弦定理易得

\[\cos \angle POQ = \frac{{O{P^2} + O{Q^2} - P{Q^2}}}{{2 \cdot OP \cdot OQ}}\]

       意味L2范数归一化向量的长度不是1,意味L2范数归一化向量的长度不是1,没有 向量对应的点肯定不是单位圆上,所以OP=OQ=1



图2 L2范数归一化后向量对应的点不是单位圆上

       很久

\[\cos \angle POQ = \frac{{{1^2} + {1^2} - P{Q^2}}}{2} = \frac{{2 - P{Q^2}}}{2}\]

       即

\[sim\left( {{{\bf{X}}_{\rm{2}}},{{\bf{Y}}_{\rm{2}}}} \right) = \frac{{2 - D{{\left( {{{\bf{X}}_{\rm{2}}},{{\bf{Y}}_{\rm{2}}}} \right)}^2}}}{2} \Rightarrow D\left( {{{\bf{X}}_{\rm{2}}},{{\bf{Y}}_{\rm{2}}}} \right) = \sqrt {2 - 2sim\left( {{{\bf{X}}_{\rm{2}}},{{\bf{Y}}_{\rm{2}}}} \right)} \]

       很久 经L2范数归一化后,一组向量的欧式距离和它们的余弦这类度可等价。你这些大优势是当你算得一组经过L2范数归一化后的向量的欧式距离后,又想计算它们的余弦这类度,可不时需根据公式在O(1)时间内直接计算得到;反过来也一样。

       另外,在你这些机器学习防止包中,没有 欧式距离计算没有 余弦这类度计算,如Sklearn的Kmeans聚类包,你这些包没有 防止欧式距离计算的数据聚类。

       而在NLP领域,你这些词语或文档的这类度定义为数据向量的余弦这类度,意味直接调用Sklearn的Kmeans聚类包则没有 进行聚类防止。很久 时需将词语对象的词向量意味文档对应的文本向量进行L2范数归一化防止。意味在L2范数归一化防止后的欧式距离和余弦这类度是等价的,所以此时可不时需放心大胆用Sklearn的Kmeans进行聚类防止。

猜你喜欢

《剑网3》雪河套时装好看吗?雪河套时装预览

《《剑网3》雪河套时装好看吗?雪河套时装预览》文章由于归档,不再展示相关内容,编辑建议你查看最新于此相关的内容:《剑网3》八款满载故事的全新挂件铭刻升级路上的感动《剑网3》全新

2020-01-23

蔡突提育兒政策 張善政轟抄襲

【大公報訊】據中通社報道:中國國民黨2020年台灣大選候選人韓國瑜陣營,25日由副手、「國政」顧問團總召張善政正式表态「0到6歲幫忙養」育兒政策。由於蔡英文日前也喊出「0到6歲

2020-01-23

一周跌14%,比特币期货再迎新低

IT之家6月16日消息 去年,比特币的价格一度飙涨到历史最高峰,接近2万美元,圆了不少人的造富梦。但现在,比特币玩家应该感受到了“韭菜”的痛苦。据证券时报报道称,CME比特币期

2020-01-23

SKT才是真太子队!JAG战队踢掉网线两次 韩国人玩黑幕都这么6吗

斗玩小编 来源:斗玩网 2018-03-1611:13:00

2020-01-22

辐射4开场动画怎么跳过 开场动画跳过方法

更新时间:2017-06-2307:19:22来源:斗蟹游戏编辑:斗蟹或者 玩家在玩辐射4的已经我真是开场动画很烦,如果跳过,接下来小编就为其他同学 带来辐射4开场动画为

2020-01-22