レイリー商の性質
レイリー商の定義
$n$ 次実対称行列 $A$, $\boldsymbol{x}\neq \boldsymbol{0}$ に対して
$$
R_A(\boldsymbol{x})=\frac{\boldsymbol{x}^\top A\boldsymbol{x}}{|\boldsymbol{x}|^2}
$$
をレイリー商という
レイリー商の幾何学的意味
$R_A(\boldsymbol{x})\boldsymbol{x}$ は $A\boldsymbol{x}$ の $\boldsymbol{x}$ の方向に沿った直交射影となる．下図はそのイメージ．
図1：レイリー商による直交射影のイメージ図
レイリー商の性質
固有値との関係
$A$ の固有値を $\lambda_1\leq\lambda_2\leq\ldots\ldots\leq\lambda_n$ ，
対応する固有ベクトルを $\boldsymbol{v}_1,\ldots,\boldsymbol{v}_n $ とする． このとき以下が成立する．
$$
\begin{align}
\lambda_1 \leq R_A(\boldsymbol{x}) \leq \lambda_n
\label{1}
\end{align}
$$
$\boldsymbol{x}\in\mathrm{span}(\boldsymbol{x}_r,\ldots,\boldsymbol{x}_s)$ であるとき
$$
\begin{align}
\lambda_r \leq R_A(\boldsymbol{x}) \leq \lambda_s\, (1\leq r <s\leq n)
\label{2}
\end{align}
$$
$$
\begin{align}
\label{3}
\max_{\boldsymbol{x}\neq\boldsymbol{0}}R_A(\boldsymbol{x})=R_A(\boldsymbol{v}_n)=\lambda_n\\
\label{4}
\min_{\boldsymbol{x}\neq\boldsymbol{0}}R_A(\boldsymbol{x})=R_A(\boldsymbol{v}_1)=\lambda_1
\end{align}
$$
[証明]
$\boldsymbol{x}=x_1\boldsymbol{v}_1+\ldots+x_n\boldsymbol{v}_n$ と展開する．対称行列の固有ベクトルは直交する[^1]ので
$$
R_A(\boldsymbol{x})=\lambda_1x_1^2+\ldots+\lambda_nx_n^2
$$
であるから $\eqref{1}$ が成立する．$\eqref{3},\eqref{4}$ も固有値の大小関係と上の式から導ける． $\eqref{1}$ の証明で $\boldsymbol{x}=x_r\boldsymbol{v}_r+\ldots+x_s\boldsymbol{v}_s$ とおけば $\eqref{2}$ が $\eqref{1}$ と同様に示せる．
固有値に対する近似精度
$\lambda_\ast$ が単純固有値(単根としてあらわれる固有値)であるとき
$$
|R_A(\boldsymbol{x})-\lambda_\ast|\leq \frac{|A-\lambda\boldsymbol{x}|^2/|\boldsymbol{x}|^2}{\displaystyle\min_{\lambda_i \neq \lambda_\ast}|\lambda_\ast-\lambda_i|}
$$
[証明]
$A$は対称行列なので適当な直交行列 $Q$ を選ぶことで以下のように分解できる．成分表示で明示されてない成分はすべて $0$ を表すとする．
$$
A=Q\begin{bmatrix}
\lambda_\ast&\\
&\large{D}
\end{bmatrix}Q^\top
$$
$D$ は $\lambda_\ast$ 以外の固有値を対角成分とする対角行列．
$$
\begin{align}
&A-\lambda_\ast I =Q\begin{bmatrix}
0&\\
&\large{D-\lambda_\ast I}
\end{bmatrix}Q^\top\\
=&\left(Q\begin{bmatrix}
0&\\
&\large{D-\lambda_\ast I}
\end{bmatrix}Q^\top\right)\left(Q\begin{bmatrix}
0&\\
&\large{(D-\lambda_\ast I)^{-1}}
\end{bmatrix} Q^\top\right)\left( Q\begin{bmatrix}
0&\\
&\large{(D-\lambda_\ast I)}
\end{bmatrix}Q^\top\right)
\end{align}
$$
であるから
$$
\boldsymbol{y}=(A-\lambda_\ast I)\boldsymbol{x}
$$
と置くと
$$
\begin{align}
|R_A(\boldsymbol{x})-\lambda_\ast|&=\left|\frac{\boldsymbol{x}(A-\lambda_\ast)\boldsymbol{x}}{|\boldsymbol{x}|^2}\right|\\
&=\frac{\left|(Q^\top\boldsymbol{x})^\top\begin{bmatrix}
0&\\
&\large{(D-\lambda_\ast I)^{-1}}
\end{bmatrix}(Q^\top\boldsymbol{y})\right|}{|\boldsymbol{x}|^2}\\
&:=\frac{\left|(Q^\top\boldsymbol{y})^\top D_1(Q^\top\boldsymbol{y})\right|}{|\boldsymbol{x}|^2}
\end{align}
$$
とすると一般に
$\boldsymbol{x}^\top A\boldsymbol{y}\leq|\boldsymbol{x}| \cdot|\boldsymbol{y}|\sqrt{\lambda_\max(A^\top A)}$ [^2] であるから
$$
\begin{align}
|R_A(\boldsymbol{x})-\lambda_\ast|&=\frac{|(Q^\top\boldsymbol{y})^\top D_1(Q^\top\boldsymbol{y})|}{|\boldsymbol{x}|^2}\\
&\leq \frac{|Q^\top\boldsymbol{y}|^2\sqrt{\lambda_\max(D_1^\top D_1)}}{|\boldsymbol{x}|^2}\\
&=|\boldsymbol{y}|^2\frac{1/|\boldsymbol{x}|^2}{\displaystyle\min{|\lambda_\ast-\lambda_i|}_{\lambda_i\neq\lambda_\ast}}
\end{align}
$$