Норма матрицы

Норма матрицы — норма в линейном пространстве матриц, как правило некоторым образом связанная с соответствующей векторной нормой (согласованная или подчиненная).

Определение

Пусть K — основное поле (обычно K = R или K = C) и K m × n {displaystyle K^{m imes n}} — линейное пространство всех матриц с m строками и n столбцами, состоящих из элементов K. На пространстве матриц задана норма, если каждой матрице A ∈ K m × n {displaystyle Ain K^{m imes n}} ставится в соответствие неотрицательное действительное число ‖ A ‖ {displaystyle |A|} , называемое ее нормой, так, что

‖ A ‖ > 0 {displaystyle |A|>0} , если A ≠ 0 {displaystyle A eq 0} , и ‖ A ‖ = 0 {displaystyle |A|=0} , если A = 0 {displaystyle A=0} .
‖ A + B ‖ ≤ ‖ A ‖ + ‖ B ‖ , A , B ∈ K m × n {displaystyle |A+B|leq |A|+|B|,quad A,Bin K^{m imes n}} .
‖ α A ‖ = | α | ‖ A ‖ , α ∈ K , A ∈ K m × n {displaystyle |alpha A|=|alpha ||A|,quad alpha in K,quad Ain K^{m imes n}} .

В случае квадратных матриц (то есть m = n), матрицы можно перемножать не выходя из пространства, и потому нормы в этих пространствах обычно также удовлетворяют свойству субмультипликативности:

‖ A B ‖ ≤ ‖ A ‖ ‖ B ‖ {displaystyle |AB|leq |A||B|} для всех матриц A и B в K n × n {displaystyle K^{n imes n}} .

Субмультипликативность может выполняться также и для норм неквадратных матриц, но определённых сразу для нескольких нужных размеров. Именно, если A — матрица ℓ × m, и B — матрица m × n, то A B — матрица ℓ × n.

Операторные нормы

Важным классом матричных норм являются операторные нормы, также именуемые подчинёнными или индуцированными. Операторная норма однозначно строится по двум нормам, определённым в K n {displaystyle K^{n}} и K m {displaystyle K^{m}} , исходя из того, что всякая матрица m × n представляется линейным оператором из K n {displaystyle K^{n}} в K m {displaystyle K^{m}} . Конкретно,

‖ A ‖ = sup { ‖ A x ‖ : x ∈ K n , ‖ x ‖ = 1 } = sup { ‖ A x ‖ ‖ x ‖ : x ∈ K n , x ≠ 0 } . {displaystyle {egin{aligned}|A|&=sup{|Ax|:xin K^{n}, |x|=1}&=sup left{{frac {|Ax|}{|x|}}:xin K^{n}, x eq 0 ight}.end{aligned}}}

При условии согласованного задания норм на пространствах векторов, такая норма является субмультипликативной (см. выше).

Примеры операторных норм

Матричная норма ‖ A ‖ 1 = max 1 ≤ j ≤ n ∑ i = 1 m | a i j | {displaystyle |A|_{1}=max limits _{1leq jleq n}sum _{i=1}^{m}|a_{ij}|} , подчинённая векторной норме ‖ x ‖ 1 = ∑ i = 1 n | x i | {displaystyle |x|_{1}=sum _{i=1}^{n}|x_{i}|} .
Матричная норма ‖ A ‖ ∞ = max 1 ≤ i ≤ m ∑ j = 1 n | a i j | {displaystyle |A|_{infty }=max limits _{1leq ileq m}sum _{j=1}^{n}|a_{ij}|} , подчинённая векторной норме ‖ x ‖ ∞ = max 1 ≤ i ≤ n | x i | {displaystyle |x|_{infty }=max limits _{1leq ileq n}|x_{i}|} .
Спектральная норма ‖ A ‖ 2 = sup ‖ x ‖ 2 = 1 ‖ A x ‖ 2 = sup ( x , x ) = 1 ( A x , A x ) = λ m a x ( A ∗ A ) {displaystyle |A|_{2}=sup limits _{|x|_{2}=1}|Ax|_{2}=sup limits _{(x,x)=1}{sqrt {(Ax,Ax)}}={sqrt {lambda _{max}(A^{*}A)}}} , подчиненная векторной норме ‖ x ‖ 2 = ∑ i = 1 n | x i | 2 {displaystyle |x|_{2}={sqrt {sum _{i=1}^{n}|x_{i}|^{2}}}} .

Свойства спектральной нормы:

Спектральная норма оператора равна максимальному сингулярному числу этого оператора.

Спектральная норма нормального оператора равна абсолютному значению максимального по модулю собственного значения этого оператора.

Спектральная норма не изменяется при умножении матрицы на ортогональную (унитарную) матрицу.

Неоператорные нормы матриц

Существуют нормы матриц, не являющиеся операторными. Понятие неоператорных норм матриц ввел Ю. И. Любич и исследовал Г. Р. Белицкий.

Пример неоператорной нормы

Например, рассмотрим две различные операторные нормы ‖ A ‖ 1 {displaystyle |A|_{1}} и ‖ A ‖ 2 {displaystyle |A|_{2}} , например строчную и столбцовую нормы. Образуем новую норму ‖ A ‖ = max ( ‖ A ‖ 1 , ‖ A ‖ 2 ) {displaystyle |A|=max {(|A|_{1},|A|_{2})}} . Новая норма обладает кольцевым свойством ‖ A B ‖ ⩽ ‖ A ‖ ‖ B ‖ {displaystyle |AB|leqslant |A||B|} , сохраняет единицу ‖ I ‖ = 1 {displaystyle |I|=1} и не является операторной.

Примеры норм

Норма Lp,q

Пусть ( a 1 , … , a n ) {displaystyle (a_{1},ldots ,a_{n})} — вектор из столбцов матрицы A . {displaystyle A.} Норма L 2 , 1 {displaystyle L_{2,1}} по определению равна сумме евклидовых норм столбцов матрицы:

‖ A ‖ 2 , 1 = ∑ j = 1 n ‖ a j ‖ 2 = ∑ j = 1 n ( ∑ i = 1 m | a i j | 2 ) 1 / 2 {displaystyle Vert AVert _{2,1}=sum _{j=1}^{n}Vert a_{j}Vert _{2}=sum _{j=1}^{n}left(sum _{i=1}^{m}|a_{ij}|^{2} ight)^{1/2}}

Норма L 2 , 1 {displaystyle L_{2,1}} может быть обобщена до нормы L p , q , p , q ⩾ 1 : {displaystyle L_{p,q},;p,qgeqslant 1:}

‖ A ‖ p , q = ( ∑ j = 1 n ( ∑ i = 1 m | a i j | p ) q / p ) 1 / q {displaystyle Vert AVert _{p,q}=left(sum _{j=1}^{n}left(sum _{i=1}^{m}|a_{ij}|^{p} ight)^{q/p} ight)^{1/q}}

Векторная p {displaystyle p} -норма

Можно рассматривать m × n {displaystyle m imes n} матрицу как вектор размера m n {displaystyle mn} и использовать стандартные векторные нормы. Например, из нормы L p , q {displaystyle L_{p,q}} при p = q {displaystyle p=q} получается векторная p-норма:

‖ A ‖ p = ‖ v e c ( A ) ‖ p = ( ∑ i = 1 m ∑ j = 1 n | a i j | p ) 1 / p {displaystyle |A|_{p}=|mathrm {vec} (A)|_{p}=left(sum _{i=1}^{m}sum _{j=1}^{n}|a_{ij}|^{p} ight)^{1/p}}

Эта норма отличается от индуцированной p-нормы ‖ A ‖ p = sup x ≠ 0 ‖ A x ‖ p ‖ x ‖ p {displaystyle |A|_{p}=sup limits _{x eq 0}{frac {|Ax|_{p}}{|x|_{p}}}} и от p-нормы Шаттена (см. ниже), хотя используется одно и то же обозначение.

Норма Фробениуса, или евклидова норма (для евклидового пространства) представляет собой частный случай p-нормы для p = 2: ‖ A ‖ F = ∑ i = 1 m ∑ j = 1 n | a i j | 2 {displaystyle |A|_{F}={sqrt {sum _{i=1}^{m}sum _{j=1}^{n}|a_{ij}|^{2}}}} .

Норма Фробениуса легко вычисляется (по сравнению, например, со спектральной нормой). Обладает следующими свойствами:

Согласованность: ‖ A x ‖ 2 ≤ ‖ A ‖ F ‖ x ‖ 2 {displaystyle |Ax|_{2}leq |A|_{F}|x|_{2}} , так как в силу неравенства Коши-Буняковского

‖ A x ‖ 2 2 = ∑ i = 1 m | ∑ j = 1 n a i j x j | 2 ≤ ∑ i = 1 m ( ∑ j = 1 n | a i j | 2 ∑ j = 1 n | x j | 2 ) = ∑ j = 1 n | x j | 2 ‖ A ‖ F 2 = ‖ A ‖ F 2 ‖ x ‖ 2 2 . {displaystyle |Ax|_{2}^{2}=sum _{i=1}^{m}left|sum _{j=1}^{n}a_{ij}x_{j} ight|^{2}leq sum _{i=1}^{m}left(sum _{j=1}^{n}|a_{ij}|^{2}sum _{j=1}^{n}|x_{j}|^{2} ight)=sum _{j=1}^{n}|x_{j}|^{2}|A|_{F}^{2}=|A|_{F}^{2}|x|_{2}^{2}.}

Субмультипликативность: ‖ A B ‖ F ≤ ‖ A ‖ F ‖ B ‖ F {displaystyle |AB|_{F}leq |A|_{F}|B|_{F}} , так как ‖ A B ‖ F 2 = ∑ i , j | ∑ k a i k b k j | 2 ≤ ∑ i , j ( ∑ k | a i k | | b k j | ) 2 ≤ ∑ i , j ( ∑ k | a i k | 2 ∑ k | b k j | 2 ) = ∑ i , k | a i k | 2 ∑ k , j | b k j | 2 = ‖ A ‖ F 2 ‖ B ‖ F 2 {displaystyle |AB|_{F}^{2}=sum _{i,j}left|sum _{k}a_{ik}b_{kj} ight|^{2}leq sum _{i,j}left(sum _{k}|a_{ik}||b_{kj}| ight)^{2}leq sum _{i,j}left(sum _{k}|a_{ik}|^{2}sum _{k}|b_{kj}|^{2} ight)=sum _{i,k}|a_{ik}|^{2}sum _{k,j}|b_{kj}|^{2}=|A|_{F}^{2}|B|_{F}^{2}} .
‖ A ‖ F 2 = t r ⁡ A ∗ A = t r ⁡ A A ∗ {displaystyle |A|_{F}^{2}=mathop { m {tr}} A^{*}A=mathop { m {tr}} AA^{*}} , где t r ⁡ A {displaystyle mathop { m {tr}} A} — след матрицы A {displaystyle A} , A ∗ {displaystyle A^{*}} — эрмитово-сопряжённая матрица.
‖ A ‖ F 2 = ρ 1 2 + ρ 2 2 + ⋯ + ρ n 2 {displaystyle |A|_{F}^{2}= ho _{1}^{2}+ ho _{2}^{2}+dots + ho _{n}^{2}} , где ρ 1 , ρ 2 , … , ρ n {displaystyle ho _{1}, ho _{2},dots , ho _{n}} — сингулярные числа матрицы A {displaystyle A} .
‖ A ‖ F ≥ ‖ A ‖ 2 {displaystyle |A|_{F}geq |A|_{2}} , где ‖ ⋅ ‖ 2 {displaystyle |cdot |_{2}} — спектральная норма.
‖ A ‖ F {displaystyle |A|_{F}} не изменяется при умножении матрицы A {displaystyle A} слева или справа на ортогональные (унитарные) матрицы.

Максимум модуля

Норма максимума модуля — другой частный случай p-нормы для p = ∞.

‖ A ‖ max = max { | a i j | } . {displaystyle |A|_{ ext{max}}=max{|a_{ij}|}.}

Норма Шаттена

Нормы Шаттена возникают при применении p {displaystyle p} -нормы к вектору сингулярных значений матрицы. Если обозначить через σ i ( A ) {displaystyle sigma _{i}(A)} i {displaystyle i} -ое сингулярное число матрицы A {displaystyle A} размера m × n {displaystyle m imes n} , то p {displaystyle p} -норма Шаттена определяется как

‖ A ‖ p = ( ∑ i = 1 min { m , n } σ i p ( A ) ) 1 / p . {displaystyle |A|_{p}=left(sum _{i=1}^{min{m,n}}sigma _{i}^{p}(A) ight)^{1/p}.}

Нормы Шаттена обозначаются так же, как индуцированная и векторная p {displaystyle p} -нормы, но не совпадают с ними.

Для любого p {displaystyle p} норма Шаттена субмультипликативна и унитарно инвариантна, то есть | | A B | | p ≤ | | A | | p | | B | | p {displaystyle ||AB||_{p}leq ||A||_{p}||B||_{p}} и ‖ A ‖ p = ‖ U A V ‖ p {displaystyle |A|_{p}=|UAV|_{p}} для любых матриц A {displaystyle A} и B {displaystyle B} и любых унитарных матриц U {displaystyle U} и V {displaystyle V} .

При p = 2 {displaystyle p=2} норма Шаттена совпадает с нормой Фробениуса, при p = ∞ {displaystyle p=infty } — со спектральной нормой, а при p = 1 {displaystyle p=1} — с ядерной нормой (известной также как следовая норма и n {displaystyle n} -норма Ки Фана), которая определяется как

‖ A ‖ 1 = ∑ i = 1 min { m , n } σ i ( A ) = tr ( A ∗ A ) . {displaystyle |A|_{1}=sum _{i=1}^{min{m,n}}sigma _{i}(A)={mbox{tr}}left({sqrt {A^{*}A}} ight).}

Ядерная норма является выпуклой оболочкой функции ранга на множестве матриц с единичной спектральной нормой, поэтому она часто используется в задачах оптимизации для нахождения матриц с малым рангом.

Согласованность матричной и векторных норм

Матричная норма ‖ ⋅ ‖ a b {displaystyle |cdot |_{ab}} на K m × n {displaystyle K^{m imes n}} называется согласованной с нормами ‖ ⋅ ‖ a {displaystyle |cdot |_{a}} на K n {displaystyle K^{n}} и ‖ ⋅ ‖ b {displaystyle |cdot |_{b}} на K m {displaystyle K^{m}} , если:

‖ A x ‖ b ≤ ‖ A ‖ a b ‖ x ‖ a {displaystyle |Ax|_{b}leq |A|_{ab}|x|_{a}}

для любых A ∈ K m × n , x ∈ K n {displaystyle Ain K^{m imes n},xin K^{n}} . Операторная норма по построению является согласованной с исходной векторной нормой.

Примеры согласованных, но не подчиненных матричных норм:

Евклидова норма ‖ A ‖ F = ∑ i = 1 n ∑ j = 1 m a i j 2 {displaystyle |A|_{F}={sqrt {sum _{i=1}^{n}sum _{j=1}^{m}a_{ij}^{2}}}} согласована с векторной нормой ‖ x ‖ 2 = ∑ i = 1 n x i 2 {displaystyle |x|_{2}={sqrt {sum _{i=1}^{n}x_{i}^{2}}}} .
Норма ‖ A ‖ = ∑ i , j = 1 n | a i j | {displaystyle |A|=sum _{i,j=1}^{n}|a_{ij}|} согласована с векторной нормой ‖ x ‖ 1 = ∑ i = 1 n | x i | {displaystyle |x|_{1}=sum _{i=1}^{n}|x_{i}|} .

Эквивалентность норм

Все нормы в пространстве K m × n {displaystyle K^{m imes n}} эквивалентны, то есть для любых двух норм ‖ . ‖ α {displaystyle |.|_{alpha }} и ‖ . ‖ β {displaystyle |.|_{eta }} и для любой матрицы A ∈ K m × n {displaystyle Ain K^{m imes n}} верно двойное неравенство:

C 1 ‖ A ‖ α ≤ ‖ A ‖ β ≤ C 2 ‖ A ‖ α , {displaystyle C_{1}|A|_{alpha }leq |A|_{eta }leq C_{2}|A|_{alpha },}

где константы C 1 {displaystyle C_{1}} и C 2 {displaystyle C_{2}} не зависят от матрицы A {displaystyle A} .

Для A ∈ R m × n {displaystyle Ain mathbb {R} ^{m imes n}} справедливы неравенства:

‖ A ‖ 2 ≤ ‖ A ‖ F ≤ n ‖ A ‖ 2 {displaystyle |A|_{2}leq |A|_{F}leq {sqrt {n}}|A|_{2}} ,
‖ A ‖ max ≤ ‖ A ‖ 2 ≤ m n ‖ A ‖ max {displaystyle |A|_{ ext{max}}leq |A|_{2}leq {sqrt {mn}}|A|_{ ext{max}}} ,
1 n ‖ A ‖ ∞ ≤ ‖ A ‖ 2 ≤ m ‖ A ‖ ∞ {displaystyle {frac {1}{sqrt {n}}}|A|_{infty }leq |A|_{2}leq {sqrt {m}}|A|_{infty }} ,
1 m ‖ A ‖ 1 ≤ ‖ A ‖ 2 ≤ n ‖ A ‖ 1 {displaystyle {frac {1}{sqrt {m}}}|A|_{1}leq |A|_{2}leq {sqrt {n}}|A|_{1}} ,

где ‖ A ‖ 1 {displaystyle |A|_{1}} , ‖ A ‖ 2 {displaystyle |A|_{2}} и ‖ A ‖ ∞ {displaystyle |A|_{infty }} — операторные нормы.

Применение

Матричные нормы часто используются при анализе вычислительных методов линейной алгебры. Например, программа решения систем линейных алгебраических уравнений может давать неточный результат, если матрица коэффициентов плохо обусловленная («почти вырожденная»). Для количественной характеристики близости к вырожденности нужно уметь измерять расстояние в пространстве матриц. Такую возможность дают матричные нормы.