光学設計ノーツ 53 ver.1.1
最適化とは、最小二乗法について
前回説明させていただいた様に、ニュートン-ラフソン法は収束も非常に早く、原理的に
も理解しやすく有用な手法であるが、エンジニアリング的な分野では、繰り返し実行されな
ければならない、ヘッセ行列の計算、つまり 2次微分の計算に困難が発生する。この困難を
克服するために、ヘッセ行列の代わりの 2次微分を必要としない適当な行列 Bを用いる準
ニュートンと呼ばれる手法も存在する。しかし、この代替えのヘシアンに相当する行列も、
関数が複雑になれば、或いは関数自体を得ることが不可能な場合には、利用することが困難
になる。今回はそうした場合に用いられる最小二乗法について触れさせて戴きたい。
１ ． 連 立 方 程 式 の 解
以 下 の 様 な n 元 の 連 立 方 程 式 が あ る と き 、
11212111 bxaxaxa nn
=
+
+
+
L
22222121 bxaxaxa nn
=
+
+
+
L （1）
M
mnmnmm
bxaxaxa
=
+
+
+
L
2211
行列で表現すれば、
=
mn
nmmm
n
n
b
b
b
x
x
x
aaa
aaa
aaa
MM
L
MMMM
L
L
2
1
2
1
,2,1,
,22,21,2
,12,11,1
（1B）
或 い は 、 行 列 A、ベクトルｘ、Bを用いて表現すれば、
B
Ax
=
（1C）
であるが、n<m の 場 合 に こ の 方 程 式 を 解 く こ と を 考 え る と 、特 別 な 場 合 を 除 き
(1)式 は 解 を 持 た な い 。特 別 な 場 合 と は 、線 形 独 立 な 式 が ｎ 個 以 下 で あ っ て 、残
り の 式 は 線 形 従 属 で あ る 場 合 で あ る 。 線 形 独 立 と は 互 い に 、 線 形 結 合 で 表 現 で
き な い こ と で あ る 。 線 形 結 合 と は 、 式 を 定 数 倍 し た り 、 或 い は 加 え 合 わ し た り
することを言う。
分かりやすい例では、3次元空間を考えると、そこに独立の（線形独立した）
2本 の ベ ク ト ル（ 位 置 で は な く 、或 い は 直 線 で は な く 、方 向 と そ の 大 き さ だ け を
表 す も の ） が あ れ ば 、 ベ ク ト ル は 自 由 に 平 行 移 動 で き る の で 、 平 面 が 表 現 で き
る 。も し 3本 ベ ク ト ル が あ っ た と し て も 、こ れ ら 3本が同一平面上にあるとき、
つ ま り 平 面 が 一 つ に 決 ま る と き は 、 他 の ２ 本 の 実 数 倍 、 或 い は そ れ ら の 和 で 表
現 で き る は ず で あ る か ら 、 残 り 一 本 は 線 形 従 属 し て い る こ と に な る 。 こ う し た
場合には、n<m で あ っ て も 方 程 式 は 解 け る 。
と こ ろ が 、 こ の 範 疇 に な い 第 三 の ベ ク ト ル が 存 在 す れ ば 、 2本のベクトルの
示 す 平 面 内 に は 残 り の 一 本 は 存 在 し な い こ と に な る の で 、 こ れ ら を 全 て 含 む 平
面 は 存 在 し な い 。 平 面 と 言 う 解 は 無 い 。 上 記 の n<m の場合に(1)式 は 解 を 持 た
ないというのはこうした意味である。
２ ． 最 小 二 乗 法 の 意 味
n<m の 時 、具 体 的 に は 測 定 誤 差 を 含 む 測 定 デ ー タ を 扱 う 場 合 、離 散 化 、或 い
は 量 子 化 誤 差 を 含 む デ ジ タ ル デ ー タ を 扱 う 場 合 、 或 い は 計 算 誤 差 を 含 む デ ー タ
を 扱 う 場 合 に は こ う し た 、 解 を 持 た な い 状 態 と な る 。 こ う し た 場 合 に は 、 そ れ
ぞ れ の 方 程 式 か ら の 差 が あ ま り 生 じ な い 、 落 と し ど こ ろ （ 数 学 的 で な い 表 現 で
恐 縮 で あ る が ） の 解 を 探 る こ と に な る 。 こ れ は 、 上 記 の 3ベ ク ト ル の 例 で い え
ば 、共 通 平 面 は 存 在 し な い と し て も 、3つ の ベ ク ト ル に 、な る べ く 近 い と こ ろ に
ある平面を探ろうとすることである。(1)式 で 考 え れ ば 、下 記 の 様 な 近 似 式 を 解
くことに相当する。
11212111
bxaxaxa
nn
≈
+
+
+
L
22222121
bxaxaxa
nn
≈
+
+
+
L （2）
M
mnmnmm
bxaxaxa
≈
+
+
+
L
2211
こ の 様 な 目 的 に 最 小 ２ 乗 法 と い う 手 段 が 頻 繁 に 用 い ら れ る 。
な る べ く 近 傍 の 解 を 見 つ け る と い う こ と は 、
( )
2
12211
=
−+++= m
iininii bxaxaxa L
φ
（3）
として、ある解
x
の 組 が 決 定 し た 場 合 に（ 1）式 左 辺 と 右 辺 の 差 の 2乗 の 和（ 誤
差 の 2乗和）φを考えるとき、
→
φ
最 小 （3b）
となる、ベクトル xを 見 つ け る と い う こ と で あ る 。
３ ． 最 小 二 乗 法 の 利 用
さ て 、こ こ で 、φ を 最 小 化 す る こ と に つ い て 考 え れ ば 、(3)式を変数で微分し
て 行 っ て 、
0
1
=
∂
∂
x
φ
0
2
=
∂
∂
x
φ
（4）
M
0=
∂
∂
n
x
φ
と な る 、 連 立 方 程 式 を 解 け ば 良 い こ と に な る 。 (3)式 を
xj
で偏微分すれば、
( )
ij
m
iininii
j
abxaxaxa
x
=
−+++=
∂
∂
12211
2L
φ
φ
−+++=
=== = i
m
iij
m
iinijn
m
i
m
iiijiij
baaaxaaxaax
111 1 2211
2L
（5）
(5)式 を 0と な る 様 に 置 い て 、 連 立 方 程 式 が 以 下 の 様 に 得 ら れ る 。
=
=
=
=
===
=
==
===
i
m
iin
i
m
ii
i
m
ii
n
in
m
iini
m
iini
m
iin
in
m
ii
i
m
iii
m
ii
in
m
iii
m
iii
m
ii
ba
ba
ba
x
x
x
aaaaaa
aa
aaaa
aaaaaa
1
12
11
2
1
1
2
1
1
1
12
2
121
12
112
111
11
M
M
L
MMMM
L
L
（ 6）
この(6)式 を 正 規 方 程 式 と 呼 ぶ 。 こ の 連 立 方 程 式 は 一 般 的 に 解 け る 。
こ こ で 、 （ 1C） 式 の 表 現 を 用 い れ ば 、 （ 3b）式は
→−= 2
bAx
φ
最 小 （7）
と な り 、 ベ ク ト ル の 内 積 の 形 で 書 け て
(
)
(
)
bAxbAx
−
⋅
−
=
φ
(
)
(
)
(
)
(
)
bbAxbbAxAxAx
⋅
+
⋅
−
⋅
−
⋅
=
行 列 の 関 と 異 な り 内 積 に は 交 換 則 が 成 り 立 つ の で 、
(
)
(
)
(
)
bbbAxAxAx
⋅
+
⋅
−
⋅
=
2
（8）
さらに、ここに、
(
)
(
)
yAxyAx T
⋅=⋅
（9）
なる性質があるので、
(
)
(
)
(
)
bbbAxAxAx ⋅+⋅−⋅= TT 2
φ
(
)
(
)
2
2bxbAAxAx +⋅−⋅=
TT
（10）
また、行列の偏微分の性質、
(
)
AxAxx 2
=
⋅
∇
（11）
(
)
AxA
=
⋅
∇
（12）
より、(10)式 を xで 偏 微 分 す る と 、
bAAxA TT 22 −=∇
φ
（13）
故 に (6)式 の 正 規 方 程 式 は
bAAxA
TT
= （14）
として表すことが出来る。
４． 簡 単 な計 算 例
こ こ で 、 最 も 初 歩 的 な 最 小 二 乗 法 の 運 用 例 を 示 さ せ て い た だ く 。 変 数
x
を 変
化 さ せ て い っ た 時 、 力 の か け 方 で も な ん で も 良 い 、 何 か 現 象 が 起 こ り そ の 現 象
の測定値が
y
と い う 量 を 示 す と す る 。 当 然 、 測 定 値 で あ れ ば そ れ ら の 値 に は 測
定 誤 差 も 含 ま れ る 。 た だ 、 も し こ の 現 象 に 本 来 、 単 純 な 正 比 例 関 係 が 発 生 す る
と 見 込 め れ ば 、 こ れ ら 測 定 値 か ら あ る べ き 姿 の 直 線 の 式 が 見 え て く る は ず で あ
る 。 こ こ ま で 述 べ さ せ て い た だ い た よ う に 、 そ こ で こ の 関 数 を 見 つ け る た め に
最 小 二 乗 法 が 威 力 を 発 揮 す る こ と に な る 。
さ て 、 最 も 簡 単 な 例 と し て
y
=
ax
(15)
と 言 う 関 数 の フ ィ ッ テ ィ ン グ を 行 っ て み よ う 。xの時の、測定値を yとすれば、
関数(15)と の 差 △ は 、
△ ＝
ax-y
である。よってこれまでの通り誤差の 2乗和、φを考えると、
= ∑
−
(16)
この量を最小にするように
a
を決めたい訳である。そのために、(16)式を
a
で微分してみる
と、
=∑2
−
(17)
この値が 0になる極値を探せば
２ ∑
−∑
= 0
(18)
として解は、
=
∑
=1
∑
2
=1
(19)
となる。或いは以下の様にも表せる（右肩の
T
は転置行列を表す。）。
=
(20)
これで、係数
a
を決め、関数が決められる。
ここで、
x
＝[1, 2, 3, 4, 5 ,6 , 7, 8, 9, 10]
の値の時の測定値 yを
y
=[0.7, 2.1 , 3, 4.8, 5.6, 6, 6.9, 8.2, 9.5, 11]
として(19)式を計算してみると、
a
≒1.0558 となり図 1の様にフィッティングされる。
図 1 フィッティング 1
図 2 フィッティング 2
また、
y
を
y
＝[1.3, 2.2, 3, 5.2, 5.6, 6, 6.5, 8.2, 9.5, 9.7]
とした場合は
a
≒1.0210 となり図 2の様にフィッティングされる。
５ ． 参 考 文 献
１) 安達忠次：線形代数と解析幾何（森北出版、東京、1976）
２) 金谷健一：これなら分かる最適化数学（共立出版、東京、2008）
３) 今野浩、山下浩：非線形計画法（日科技連、東京、1978）
４) 松山実：基礎数値解析（昭晃堂、東京、1998）
