O problema é portanto minimizar a soma dos quadrados dos erros. Ou seja, $$z=min \sum\limits_{i=1}^N (e_{i})^2= min \sum\limits_{i=1}^N (y_{i}-a-bx_i)^2$$ Precisamos então de encontrar \(a\) e \(b\) de forma que a primeira derivada de \(z\) seja nula: $$\frac{\partial z}{\partial a}= \sum\limits_{i=1}^N -2(y_{i}-a-bx_i)=0$$ e $$\frac{\partial z}{\partial b}= \sum\limits_{i=1}^N -2x_i(y_{i}-a-bx_i)=0$$ Resolvendo a primeira equação em ordem a \(a\) $$ \sum\limits_{i=1}^N -2(y_{i}-a-bx_i)=0 \Leftrightarrow \sum\limits_{i=1}^N (y_{i}-a-bx_i)=0 \Leftrightarrow Na=N\bar{y}-Nb\bar{x} \Leftrightarrow a = \bar{y}-b\bar{x}$$ obtemos o estimador dos mínimos quadrados para \(a\), uma vez que \(\sum y_i = N\bar{y}\). A resolução da segunda equação como apresentamos de seguida $$ \sum\limits_{i=1}^N -2x_i(y_{i}-a-bx_i)=0 \Leftrightarrow \sum\limits_{i=1}^N (y_{i}x_{i}-ax_i-bx_i^2)=0 \Leftrightarrow \sum\limits_{i=1}^N y_{i}x_{i}- (\bar{y}-b\bar{x})x_i-bx_i^2)=0\\ \Leftrightarrow \sum\limits_{i=1}^N y_{i}x_{i}-\bar{y}\sum\limits_{i=1}^Nx_i + b\bar{x}\sum\limits_{i=1}^Nx_i -b\sum\limits_{i=1}^Nx_i^2=0 \Leftrightarrow b=\frac{\sum\limits_{i=1}^N y_{i}x_{i}-N\bar{x}\bar{y}}{\sum\limits_{i=1}^N x_{i}^2-N\bar{x}^2}$$ proporciona \(b\), que pode ser também apresentado de forma alternativa como $$b=\frac{\sum\limits_{i=1}^N (x_{i}-\bar{x})(y_i-\bar{y})}{\sum\limits_{i=1}^N (x_{i}-\bar{x})^2} $$