最小自乗法という用語を聞いただけで、「数学の難しい やりかた」 として拒絶反応を示すひとがいるかもしれないですね （笑、そして苦笑）。最小自乗法は、1795年、ガウス が 18歳のときに、小惑星の軌道計算のために作ったといわれています。

　最小自乗法は、「相加平均 （算術平均） の応用形」 だと思って良いでしょうね。たとえば、一つの量を同じ精度で n回 くり返して測量して、m₁, m₂, ... , m_n という値を得たら、最も確からしい値 m は、m から ズレ ている数値 （m − m₁, m − m₂, ... , m − m_m） の 「『自乗の和』 を最小にする」 関数の値であるという原理です。

　v₁ ＝ m − m₁.
　v₂ ＝ m − m₂.
　　　　　　：
　　　　　　：
　v_n ＝ m − m_n.

　u ＝ v₁² ＋ v₂² ＋ ... ＋ v_n² ＝ (m − m₁)² ＋ (m − m₂)² ＋ ... ＋ (m − m_n)².

　そして、u を最小にするような値があるというのが原理です。
　実際、「微分」 として、du/dm ＝ 0 を考えれば、m ＝ 1/n (m₁ ＋ m₂ ＋ ... ＋ m_n) を導くことができます。

　さて、2つの量 （x と y） のあいだの関係を実験のなかで計測して定立した式を実験式といいますが、実験式でも最小自乗法が使われます。実験式を以下のように定立します。

　（1） 1つの量 （x） の測定値を x₁, x₂, ... , x_n とする。
　（2） x に対応する量 （y） の測定値を y₁, y₂, ... , y_n とする。
　（3） （x₁, y₁), （x₂, y₂), ... , （x_n, y_n) を座標とする点を、それぞれ、P₁, P₂, ... , P_n とする。
　（4） ばらついている P₁, P₂, ... , P_n が、一直線上にあることを考えます。