Плъзгача

От машинно обучение.

Плъзгача или кръстосано потвърждаване или кръстосано валидиране (кръстосана проверка, CV) - процедура по оценка на емпирични алгоритми способности обобщение, обучен от прецеденти.

Фиксирана набор от дяловете на оригиналната проба на две извадки: обучение и контрол. За всеки дял, да конфигурирате алгоритъма на снимачната площадка на обучение, а след това се изчислява средната грешка в контрола отделна проба обекти. Оценка на кръстосана проверка се нарича средна стойност за всички дялове от големината на извадки за контрол грешка.

Ако пробата е независим, средната грешка на кръстосано валидиране осигурява обективна оценка на вероятността за грешка. Това го отличава от средната грешка на снимачната площадка за обучение, която може да бъде извънматочна (ниска оптимистично) оцени вероятността за грешка, която е свързана с феномена на прекомерно нагаждане.

Плъзгача е стандартен метод за тестване и сравняване на класификационните алгоритми. Регресия и прогнози.

Определения и означения

Да - много описания на обекти - набор от възможни отговори.

Заключителни предварително определени прецеденти за вземане на проби.

Задайте обучение алгоритъм - показва, че всички крайни случаи на използване проба от началото на функцията (алгоритъм).

Качеството на алгоритъма се оценяват по делата на случаен употреба проба с помощта на функционални качества. За процедура кръстосана проверка, без значение как се изчислява тази функция. Като правило, е добавка на обекти проба:

където (а (x_i), y_i) "> - неотрицателно функция загуба връща алгоритъм отговор Грешка стойност с правилния отговор ..

процедура Cross-валидиране

Пробата се разделя по различни начини в две разместени под-проба, където - дължината на обучение набор м. - дължина контрол под-проба - броя на разпределение.

За всеки дял алгоритъма на п и се изчислява от стойността на функционален качество. Средното аритметично стойности за всички дялове, се нарича оценка на плъзгача.

Различни варианти на плъзгащия управляващ различните видове функционални качества и начини на пробата на разпределение.

оценка на активи

Освен това средната стойност за качество за контрол изграждане на доверителни интервали.

Непараметрични оценка на доверителния интервал. Построен вариация брой стойности:

Приемане 1. Ако разлагане се извършва на случаен принцип, независимо и еднакво вероятни, случайната променлива с вероятност стойност не надхвърля ">.

Следствие 1. Стойността на случайна променлива е не по-голяма от "> с вероятност.

По-специално, горната граница за надеждност от 95% е достатъчно да се вземат дялове.

Претенция 2. Ако разлагане се извършва на случаен принцип, независимо и еднакво вероятни, вероятността за случайна променлива стойност е в границите на доверителния интервал.

Следствие 2. Стойността на случайна променлива е в границите на няколко вариации с вероятност.

По-специално, за двустранен оценка с надеждността на 95% е достатъчно да се вземат дялове.

стратификация

Стратификация проба - е начин за намаляване на вариация (дисперсия) рейтинги на плъзгащите контрол, чрез което се произвежда по-тесни доверителни интервали и по-точни (стегнати) горни граници.

Стратификация е да се разделят на пробата в предварително определени части (слоеве) и обучение дял дължина м дължина к и контрол, за да се гарантира, че всеки слой се споделя между инструкция и контрол в същото съотношение.

Стратификация на класове в класирането на задачи означава, че всеки клас е разделен между обучение и супервизия пропорционално.

Стратификация на реална основа. примерни обекти сортирани по някакъв критерий, например една от възходящите функции. След това пробата се разделя в к равно последователни слоеве (до 1) на дължина. При формиране на контролни проби на всеки слой е избран един обект, или с определен брой секвенция в слоеве, или произволно.

Разнообразие от кръстосано валидиране

Различни изпълнения на плъзгача различни начини дял проба.

Пълен кръстосано валидиране (пълна автобиография)

Оценка на кръстосана проверка се основава на всички дялове. В зависимост от (дължината на пробата за обучение) се отличават:

Показано е (Li, 1987). че контролът на отделен обект е асимптотично оптимално при определени условия [1]. а именно:

Случайни прегради

Дяловете са случайно избрани, независимо един от друг и с еднаква вероятност от множество прегради. Тя е в този случай се има предвид по-горе са валидни оценка на доверителни интервали. На практика, тези оценки са обикновено прехвърлят непроменени до други начини за разделяне на пробата.

Мониторинговите данни за висящи (задържане на CV)

Оценка на кръстосана проверка се основава на един случаен дял ,.

Този метод има значителни недостатъци:

Ние трябва да се оставя твърде много обекти в контролната отделна проба. Намаляването на продължителността на вземане на проби на обучение води до извънматочна (напомпани песимистично) оценка на вероятността за грешка.
Оценка зависи основно от дяла, а е желателно, че тя се характеризира само учене алгоритъм.
Квалификация има висока дисперсия, която може да се намали чрез осредняване на разделителните стени.

Ако се прави разлика плъзгащи данни и контрол на пробата за изпитване отсрочени контрол. Ако във втория случай очакваната вероятността за грешка за класификатор изработена от снимачната площадка на обучение, в първия случай - да класификатор изработена от пълната проба (т.е. процентът на грешки не изчислява за класификатор, който се издава в резултат на решаването на проблема).

Контрол на отделните обекти (оставете-една от CV)

Това е специален случай на пълна кръстосана проверка, когато съответно ,. Това е може би най-често срещаният вариант на плъзгаща контрол.

Лу предимства, които всеки обект само веднъж, участващи в контрола, а дължината на обучение под-проби е само една по-малко от дължината на пълна извадка.

Тоалетната чиния Недостатъкът е голяма консумация на ресурси, тъй като е необходимо да се научат отново. Някои методи на преподаване позволяват бързо да се преконфигурира вътрешните параметрите на алгоритъма при смяна на един живот обект с друг. В тези случаи, изчисляването успява LOO значително ускорена.

Контролни блокове на Q (Q кратно CV)

Вземането на проби произволно разпределен в несвързани блокове р равни (или почти равни) дължина:

Всеки блок от своя страна се превръща в справка-образец, ученето се извършва за останалите блокове. А критерий се определя като средна грешка в контролната субпроба:

Това е компромис между тоалетната, задръжте изчакване и произволни разпределения. От една страна, изучаването се извършва само веднъж вместо р L. От друга страна, продължителността на обучение под-проби равни на Q "> с закръгляне, не се различава значително от пълната дължина на проба L. Обикновено, пробата се разделя произволно 10 или 20 блокове.

Контрол за R х р блокове (г х р кратно CV)

Контролни блокове на Q (Q кратно CV) се повтаря R пъти. Всеки път, вземане на проби на случаен принцип разделена на несвързани блокове на р. Този метод наследява всички предимства на р-кратно CV, а допълнителна възможност за увеличаване на броя на дяловете.

Тази опция е плъзгаща контрол с стратифициране на класове, това е стандартен метод за изпитване и сравняване класификация алгоритми. По-конкретно, той се използва в системи WEKA и "полигон алгоритми."

Плъзгащи контрол в проблеми прогнозиране

В задачи за прогнозиране. динамичен живот. армировка живот и активните прецеденти учебни първоначално линейно подредени по времето на възникването им. В този случай, плъзгащи възможностите за контрол не са толкова разнообразни.

Контрол при повишаване на продължителността на обучението

Обучение отделна проба се формира всички предишни обекти. Контрол субпроба образува всички бъдещи обекти, при което - zederzhki предсказване стойност (обикновено). Moment "реално време» н «приплъзване" в пробата на данни:

където - минималната дължина на пробата за обучение, необходими за нормалната работа на алгоритъма за обучение.

Тъй като продължителността на обучението се повишава с времето, точността на прогнозите може постепенно да се подобри. Този страничен ефект е нежелателно, когато контролът на слайд се използва за оценка на качеството на алгоритъма за обучение.

Контрол за фиксиран период от проучване

Той се различава от предишната само от факта, че м дължина на обучение се определя от ограничаване на броя на последните прецеденти м :. Смята се.

Недостатъци на кръстосано потвърждаване

Цели на обучението трябва да бъдат решени N пъти, че е свързано със значителни изчислителни разходи.
Оценка на кръстосана проверка показва, че алгоритъмът за обучение вече е зададен. Той не казва нищо за това, което свойства трябва да има "добри" учене алгоритми, и как да ги изгради. Този вид съвети дадени, например, теоретичните разчети на способността за обобщаване.
Опитвате се да използвате плъзгащи контрол за учене, като оптимизираната критерий води до факта, че тя губи безпристрастен собственост, и отново има риск от преквалификация.
Плъзгащи контрол точка ни дава точна, но не и интервал за оценка на риска. Понастоящем не съществуват методи за изграждане на базата на кръстосано валидиране точните доверителни интервали за риска, който е очакването на загубите (по-специално, вероятността от неправилна класификация).

кръстосано валидиране на заявление

На практика кръстосана проверка се използва за оптимизиране на определени критични параметри са склонни да се определят структурата и сложността на алгоритъма, използван от модела, и с относително малък брой възможни стойности.