ускоряване на методите за обучение на невронни мрежи

обратно разпространение алгоритъм е метод за обучение на многослойни невронни мрежи на пряко разпространение. Днес, невронни мрежи са били успешно използвани при решаване на сложни проблеми от практическо естество.

В класически изпълнение обратно разпространение алгоритъм формула корекция тегла, както следва:

• - брой на текущата итерация на учене;
• - стойността на синаптичната тегло свързване неврон на неврон;
• - коефициент "курс обучение", контролира размера на промяна на тежести;
• - неврони грешки;
• - на изхода на неврона.

Ето - постоянен. За много малки стойности на обучението на невронната мрежа ще бъде бавно. В много големи стойности повдига вероятността, че при достигане на минималния невронната мрежа функция грешка няма да може да се получи в този най-малко, и ще неопределено време, за да "прескочи" вдясно и вляво от себе си, преизчисляване на коефициентите за претегляне.

Изборът на определена средна стойност за всички учебния процес не позволява да се постигне оптимален набор от тегловни коефициенти за минималния брой стъпки. Става ясно, че големината на динамично управление може значително да подобри ефективността на обучението на невронната мрежа от обратно разпространение.

Присвояване на по-голяма стойност в началото на обучение ще осигури по-бърз подход към полето, където оптималната серия тегловни коефициенти. И към невронната мрежа не "прескочи" е необходимо в процеса на обучение на минимум грешките, за да се намали стойността. Възможно е, например, със следната проста формула:

Заслужава да се отбележи, че има по-сложни механизми за ускоряване на невронна мрежа за обучение, да ви позволи да промените скоростта на обучение на всеки отделен неврон, въз основа на стойността на своята грешка при предишната итерация.

Динамичен контрол на скоростта обучение невронни мрежи в повечето случаи, може значително да се подобри ефективността на алгоритъма на гърба размножаване.