Най-малките квадрати метод
Най-малките квадрати метод # 151; метод за намиране на оптимални параметри на линейната регресия. така, че сборът от квадратите на грешки (регресия остатъците на) е минимално. Методът е да се сведе до минимум Евклидово разстояние - \ mathbf \ | "> между два вектора - векторни възстановени стойности на зависимата променлива и вектора на действителните стойности на зависимата променлива.
Изявление на проблема
Задачата на метода на най-малките квадрати се състои в избора на вектор ">, който минимизира грешката - \ mathbf \ | ^ 2" >. Тази грешка е разстоянието от вектора "> до вектор" >. Вектор "> е в prostanstvo колони на матрицата като" > е линейна комбинация от колоните на тази матрица с коефициенти. Намирането решения "> по метода на най-малките квадрати е еквивалентно на проблема за намиране на точка = A \ mathbf" >, който се намира най-близо до "> и се съхраняват по този начин в пространството на колоните на матрицата. Така, векторът" > трябва да бъде издатък " > в пространството на колоната и остатъчният вектор - \ mathbf "> трябва да е ортогонален на това място. Ортогоналност е, че всеки вектор в пространството на колоната е линейна комбинация от колони с определени коефициенти, т.е., вектор "> За всички в пространството." >, Тези вектори трябва да са перпендикулярни на несъответствието> - \ mathbf ">:От това уравнение трябва да притежава, за всеки вектор ">, за
Решението по метода на най-малките квадрати несъвместими система = \ mathbf ">, състояща се от уравнения с неизвестни е уравнение
който се нарича нормално уравнение. Ако колоните на матрицата са линейно независими, след което матрицата е обратимо и единственото решение
Проекцията на вектор "> пространството има формата на колони
Матричният А ^ Т "> нарича матрица дизайн вектор" > за колони пространство матрица. Тази матрица има две основни свойства: е idempotent и симетрично. Обратното също е вярно: матрица, като тези две свойства е матрица дизайн на неговите пространство колони.
Пример конструиране на линейна регресия
комплект за вземане на проби # 151; маса
Като се има предвид регресионен модел # 151; квадратното полином
Определен модел е линейна. За оптималната стойност на вектора на параметър = \ langle \ rangle ^ Т "> извършва следните замествания:
След това свободната променлива матрицата на пермутации на стойностите ще бъде под формата
Задайте модел критерии за качество: функцията на грешката
Тук, вектор = \ langle ">. Необходимо ли е да се намерят такива параметри" >, което би довело до минимум този функционален,
Необходимо е да се намерят такива параметри ">, които доставят най-малко # 151; нормални остатъците - \ mathbf ">.
За да намерите минималната остатъчна функция изисква се равнява на производните на нула. Производни на функцията "> съставляват
Този израз съвпада с нормално уравнение. Решението на този проблем, трябва да отговарят на системата за линейни уравнения
При получаване на баланса може да парцел функцията намерен.
Когато се свързвате с матрицата "> се приема, че матрицата не е единствено и лошо климатик. За информация как да се работи с болни с климатик матрици, вижте. Член Singular разлагане.