Die Regression (Ausgleichsrechnung, Methode der kleinsten Fehlerquadrate, ordinary least squares) ist ein Standardwerkzeug in sehr vielen Disziplinen und hat viele praktische Anwendungen (Datenanalyse, Statistik, Prognoseerstellung, Machine Learning, Beschreibung von Zusammenhängen, Parameterschätzung für Systemidentifikation etc.).
Aus mathematischer Sicht ist die Regression ein quadratisches (und deshalb relativ einfaches) Optimierungsproblem, das immer lösbar ist und unter einfachen Voraussetzungen eine eindeutige, globale Lösung hat. Geometrisch betrachtet ist die Regression die orthogonale Projektion eines Vektors auf eine lineare Hülle von Vektoren.
Geschichte: Die Methode der kleinsten Fehlerquadrate wurde von Carl Friedrich Gauß (1777-1855) und Adrien-Marie Legendre (1752-1833) unabhängig voneinander entwickelt. Legendre veröffentlichte seine Methode 1805 in seinem Buch “Nouvelles méthodes pour la détermination des orbites des comètes”. Gauß veröffentlichte seine Methode 1809 in seinem Buch “Theoria motus corporum coelestium in sectionibus conicis solem ambientium”. Link: Wikipedia