Štatistické chyby a rezíduá sa vyskytujú, pretože meranie nikdy nie je presné.
Presné meranie nie je možné, ale je možné povedať, aké presné je meranie. Tú istú vec možno merať opakovane a všetky údaje zhromažďovať spoločne. To nám umožňuje robiť štatistiku údajov. Pod chybami a rezíduami sa rozumie rozdiel medzi pozorovanou alebo nameranou hodnotou a skutočnou hodnotou, ktorá nie je známa.
Ak existuje len jedna náhodná premenná, rozdiel medzi štatistickými chybami a rezíduami je rozdiel medzi strednou hodnotou populácie a strednou hodnotou (pozorovanej) vzorky. V takom prípade je rezíduum rozdiel medzi tým, čo hovorí rozdelenie pravdepodobnosti, a tým, čo bolo skutočne namerané.
Predpokladajme, že sa uskutoční experiment na meranie výšky 21-ročných mužov z určitej oblasti. Stredná hodnota rozdelenia je 1,75 m. Ak je jeden náhodne vybraný muž vysoký 1,80 m, "(štatistická) chyba" je 0,05 m (5 cm); ak je vysoký 1,70, chyba je -5 cm.
Na druhej strane, rezíduum (alebo chyba fitovania) je pozorovateľný odhad nepozorovateľnej štatistickej chyby. Najjednoduchší prípad zahŕňa náhodnú vzorku n mužov, ktorých výška sa meria. Priemer vzorky sa používa ako odhad populačného priemeru. Potom máme:
- Rozdiel medzi výškou každého muža vo vzorke a nepozorovateľným populačným priemerom je štatistická chyba a
- Rozdiel medzi výškou každého muža vo vzorke a pozorovaným priemerom vzorky je rezíduum.
Súčet rezíduí v rámci náhodnej vzorky musí byť nulový. Rezíduá teda nie sú nezávislé. Súčet štatistických chýb v rámci náhodnej vzorky nemusí byť nulový; štatistické chyby sú nezávislé náhodné veličiny, ak sú jednotlivci vyberaní z populácie nezávisle.
V súhrne: