4.4. 共役勾配法

2020/1/8公開

共役勾配法

共役勾配法（conjugate gradient method）は関数の2次近似から導出されるので発想としてはニュートン法に近いが、Hesse 行列の逆行列が更新式に現れないような工夫がなされている。

最急降下法は「点$x _ {(k)}$において目的関数をもっとも減少させる方向」、ニュートン法は「点$x _ {(k)}$で目的関数を2次近似したときの極値」への更新だったので、探索方向の選び方には自由度がなくアルゴリズムの構成の仕方にバリエーションはなかった。

しかし共役勾配法は「勾配と直交する共役勾配方向$r _ {(k)}$」の情報を用いるので、$r _ {(k)}$の選び方や、勾配と線形結合させるときの重みの選び方についての自由度があるのでアルゴリズムの構成にバリエーションが生じる。

現代でよく用いられるのは Hesse 行列の計算を回避できる PRP 法である。