Csdrhrt

La Regularización de Tíjonov es el método de regularización usado más comúnmente. En algunos campos, también se conoce como regresión de arista.

En su forma más simple, un sistema de ecuaciones lineales mal determinado:

Ax=b{displaystyle Amathbf {x} =mathbf {b} },

donde A{displaystyle A} es una matriz de dimensiones m×n{displaystyle mtimes n}, x{displaystyle x} es un vector vertical con n{displaystyle n} celdas y b{displaystyle b} es otro vector vertical con m{displaystyle m} celdas, es reemplazado por el problema de encontrar un x{displaystyle x} que minimice

‖Ax−b‖2+α2‖x‖2{displaystyle |Amathbf {x} -mathbf {b} |^{2}+alpha ^{2}|mathbf {x} |^{2}}

dado un factor de Tíjonov α>0{displaystyle alpha >0} elegido apropiadamente. La expresión ‖⋅‖{displaystyle left|cdot right|} representa la norma euclídea. Su uso mejora el condicionamiento del problema, posibilitando su solución por métodos numéricos. Una solución explícita, denotada x^{displaystyle {hat {x}}}, es la siguiente:

x^=(ATA+α2I)−1ATb{displaystyle {hat {x}}=(A^{T}A+alpha ^{2}I)^{-1}A^{T}mathbf {b} }

donde I{displaystyle I} es la matriz identidad n×n{displaystyle ntimes n}. Para α = 0, esto se reduce al método de mínimos cuadrados, siempre que (A^TA)^-1 exista.

Interpretación bayesiana

Aunque en principio la solución propuesta pueda parecer artificial, y de hecho el parámetro α{displaystyle alpha } tiene un carácter algo arbitrario, el proceso se puede justificar desde un punto de vista bayesiano. Nótese que para resolver cualquier problema indeterminado se deben introducir ciertas restricciones adicionales para establecer una solución estable. Estadísticamente se puede asumir que a priori sabemos que x{displaystyle x} es una variable aleatoria con una distribución normal multidimensional. Sin pérdida de generalidad, tomemos la media como 0 y asumamos que cada componente es independiente, con una desviación estándar σx{displaystyle sigma _{x}}. Los datos de b{displaystyle b} pueden tener ruido, que asumimos también independiente con media 0 y desviación estándar σb{displaystyle sigma _{b}}. Bajo estas condiciones, la regularización de Tíjonov es la solución más probable dados los datos conocidos y la distribución a priori de x{displaystyle x}, de acuerdo con el teorema de Bayes. Entonces, el parámetro de Tíjonov viene dado por α=σbσx{displaystyle alpha ={frac {sigma _{b}}{sigma _{x}}}}...

Regularización de Tíjonov generalizada

Para distribuciones normales multivariadas de x{displaystyle x} y su error, se puede aplicar una transformación a las variables que reduce el problema al caso anterior. Equivalentemente, se puede minimizar

‖Ax−b‖P2+α2‖x−x0‖Q2{displaystyle |Ax-b|_{P}^{2}+alpha ^{2}|x-x_{0}|_{Q}^{2},}

donde ‖x‖P{displaystyle left|xright|_{P}} es la norma con peso xTPx{displaystyle x^{T}Px}. En la interpretación bayesiana, P{displaystyle P} es la matriz de covarianza invertida b{displaystyle b}, x0{displaystyle x_{0}} es el valor esperado de x{displaystyle x}, y αQ{displaystyle alpha Q} es la matriz de covarianza invertida de x{displaystyle x}.

Esta expresión se puede resolver explícitamente mediante la fórmula

x0+(ATPA+α2Q)−1ATP(b−Ax0).{displaystyle x_{0}+(A^{T}PA+alpha ^{2}Q)^{-1}A^{T}P(b-Ax_{0}).,}

Referencias

• Tikhonov AN, 1943, On the stability of inverse problems, Dokl. Akad. Nauk SSSR, 39, No. 5, 195-198


• Tikhonov AN, 1963, Solution of incorrectly formulated problems and the regularization method, Soviet Math Dokl 4, 1035-1038 English translation of Dokl Akad Nauk SSSR 151, 1963, 501-504


• Tikhonov AN and Arsenin VA, 1977, Solution of Ill-posed Problems, Winston & Sons, Washington, ISBN 0-470-99124-0.


• Hansen, P.C., Rank-deficient and Discrete ill-posed problems, SIAM


• Hoerl AE, 1962, Application of ridge analysis to regression problems, Chemical Engineering Progress, 58, 54-59.


• Foster M, 1961, An application of the Wiener-Kolmogorov smoothing theory to matrix inversion, J. SIAM, 9, 387-392


• Phillips DL, 1962, A technique for the numerical solution of certain integral equations of the first kind, J Assoc Comput Mach, 9, 84-97


• Tarantola A, 2005, Inverse Problem Theory (free PDF version), Society for Industrial and Applied Mathematics, ISBN 0-89871-572-5
  


• Wahba, G, 1990, spline Models for Observational Data, SIAM