формула на Шанън

В най-общия случай. ентропия Н и броя, получен чрез отстраняване информация несигурност I зависи от първоначалното количество счита варианти N и априори вероятности на всеки изпълнение P.

. т.е. Н = F (N. P). ентропия изчисление в този случай се базира на формула на Шанън. той предложи през 1948 г. във вестника "Математическа теория на комуникацията".

В конкретния случай. когато всички възможности са еднакво вероятни. зависи само от броя на разглеждани варианти, т.е. Н = F (N). В този случай, формулата Шанън е значително опростена и съвпада с формулата Хартли. който за първи път е предложен от американския инженер Ralfom Hartli през 1928, т.е. не 20 години по-рано.

Shannon формула е както следва:

В знак минус във формулата (1) не означава, че ентропията - отрицателна. Това се обяснява с факта, че пи £ 1 по дефиниция, и логаритъма на броя на по-малки единици - отрицателна. Според логаритъм на имота. Ето защо, тази формула може да се запише във втория вариант, без знак минус пред количеството.

Това се тълкува като броят на лична информация. получен в случая на аз-то изпълнение. Shannon ентропията във формулата е вторична характеристика - математическата очакването на случайна променлива разпределение .