Формула Hartley и Shannon - studopediya

Различни методи за оценка на количеството информация.

През 1928 г. един американски инженер Ралф Hartli видя процеса на получаване на информация, както за избор на едно съобщение от краен предварително определена група от N еднакво вероятни съобщения, както и количеството на информацията, съдържаща се в I. избран съобщение се определя като двоичен логаритъм на Н.

Като пример разглежда проблема с формула Хартли. Да предположим, че имате нужда да се отгатне броя на един от набор от числа 1-100. Според Хартли формула можете да изчислите колко информация се изисква за това: I = log2 100 = 6.644. По този начин, за правилно познае броя на съобщението съдържа количеството информация от приблизително 6,644 единици информация.

А сега да разгледаме още един проблем: са еднакво вероятни съобщения "първи излизат от вратите на сградата жената" и "първият, който излезе от вратите на сградата един мъж." отговор на този въпрос не може да бъде еднозначно. Всичко зависи от това какъв вид изграждането му е под въпрос. Ако е така, например, метрото, тогава вероятността е еднаква за мъжете и жените, и ако това е казарма, за мъже, тази вероятност е много по-висок, отколкото при жените.

За изпълнението на тези задачи, американският учен Клод Shennon предложен през 1948 г. различна формула за определяне на количеството информация, която се взема предвид евентуалното неравно вероятността за съобщения в комплекта.

където пи - вероятност, че точно аз ия съобщение се разпределя към набора от N съобщения.

Лесно е да се забележи, че ако вероятност Р1. PN равни, тогава всеки от тях е 1 / N. и Shannon формула се превръща в формула Хартли.