Lagrangeov polinom veoma dobro aproksimira funkciju lokalno, u izabranim točkama, dok izvan tih točaka aproksimacija može biti vrlo loša. Sada ćemo upoznati metodu najmanjih kvadrata, metodu pomoću koje možemo zadanu funkciju aproksimirati drugom funkcijom određenog tipa globalno, tako da u izvjesnom smislu njihova međusobna udaljenost bude što manja, bez obzira na to što se funkcije možda neće poklapati niti u jednoj točki.
Pretpostavimo najprije da su vrijednosti funkcije poznate samo u nekim
točkama. Neka su
dane točke i neka su
pripadne vrijednosti funkcije
Želimo naći onu funkciju
određenog tipa s neodređenim
parametrima
koja najbolje aproksimira
funkciju
To možemo učiniti na sljedeći način.
Izračunamo sumu kvadrata razlika funkcija
i
Ako je funkcija
zadana u svim točkama nekog segmenta
onda se funkcija
definira pomoću integrala
Klase funkcija iz kojih biramo funkciju
su obično polinomi prvog
stupnja
polinomi drugog stupnja
eksponencijalne funkcije
itd.
Na pr. ako želimo naći polinom prvog stupnja najbliži funkciji
čije su nam vrijednosti poznate u točkama
onda je
Kad se funkcija
traži u obliku eksponencijalne, logaritamske i
slično, onda se na ovaj način u pravilu dobije sustav nelinearnih
jednadžbi. Takve sustave je teže rješavati nego linearne. Obično
se nekim operacijama nad funkcijama (na pr. logaritmiranjem)
pojednostavni klasa funkcija u kojoj tražimo aproksimaciju. No,
parametri koje tako dobijemo nisu najbolji mogući u smislu metode
najmanjih kvadrata.