Shannon Формула 3
През 1928 г. американският инженер Р. Хартли предложен научен подход към оценяването на съобщения. формулата, предложен от него беше, както следва:
I = log2 К. където К - броят на еднакво вероятно събития; I - броя на битовете в съобщението, така че всеки от К събития се случи. Понякога Хартли формула изписва така:
I = log2 К = log2 (1 / п) = - .. log2 р, за всеки от equiprobable резултати събития К е р = 1 / К, К = 1 / р.
Топката е в един от трите кутии: А, В или С. За да се определи колко бита информация съдържа съобщение, че е в цт Б.
Това съобщение съдържа I = log2 3 = 1585 бита информация.
Но не всички положения имат еднаква вероятност за реализация. Има много такива случаи, при които вероятността за изпълнение варират. Например, ако хвърлите монета или асиметрична "правило сандвич".
"След като в детството си е спаднал сандвич ме гледа виновно избършете масло петно оставащите на пода, по-големият брат ме утеши .:
- не се притеснявайте, че ще работи законът на сандвич.
- Що за закон е това? - попитах аз.
- Законът, който гласи: "Един сандвич винаги попада масло страна надолу." Въпреки това, че е шега, - продължи brat.- няма закон не. Prsto сандвич наистина се държи доста странно:-голямата част от маслото е на дъното.
- Да се няколко пъти спадна сандвича си, проверете - аз предложих. - И все пак, тъй като той ще трябва да се изхвърли.
Проверихме. Осем от десет пъти сандвич паднаха с масло страна надолу.
И тогава си помислих: това е възможно да се знае предварително, както е сега ще падне масло сандвич нагоре или надолу?
Експериментите ни прекъснати от майката ... "(Откъс от книгата" Тайната на великите пълководци "V.Abchuk).
През 1948 г. един американски инженер и математик Чрез Шанън предложи формула за изчисляване на размера на информация за събития с различни вероятности. Ако - количество информация К - брой на възможни събития, пи - вероятности на индивидуалните събития, количеството информация за събития с различни вероятности може да бъде определена по формулата:
I = - Сума пи log2 пи. където I се стойностите от 1 до К.
Хартли формула вече може да се разглежда като специален случай на формулата Шанън:
I = - Сума 1 / log2 (1 / K) = I = log2 К.
В equiprobable събития получи максимално количество информация.
Задачи. 1. Определяне на количеството на информацията, получена от изпълнението на едно от събитията, ако е на един хвърлей) асиметричен тетраедални пирамида; б) симетрично и равномерно четиристранна пирамида. Решение. а) Ще се хвърлят асиметрична четиристранна пирамида. Вероятността от отделни събития ще бъде както следва: p1 = 1/2, Р2 = 1/4, P3 = 1/8 Р4 = 1/8, докато количеството на информацията, получена след прилагане на един от тези събития се изчислява съгласно формулата: I = - ( 1/2 log2 1/2 + 1/4 log2 1/4 + 1/8 log2 1/8 + 1/8 log2 1/8) = 1/2 + 2/4 + 3/8 + 3/8 = 14/8 = 1.75 (бита). б) Сега изчисляване на количеството информация, която се получава, когато хвърляне симетрично и равномерно четиристенен пирамида: I = log2 4 = 2 (бита). 2. Вероятността случай на порите е 0,5, а втората и третата от 0,25. Колко информация, която получаваме, след изпълнението на един от тях? 3. Колко информация ще бъде получена в играта на рулетка с 32 сектори?
Физиолози и психолози са се научили как да се определи количеството на информацията, че хората могат да възприемат чрез сетивата, трябва да имате предвид и да бъдат лекувани. Информацията може да бъде в различни форми. Звук, подписва и други считат по-горе метод за определяне на размера на получената информация в съобщенията, които намаляват несигурността на нашите познания, като се има предвид информацията за позицията от неговото съдържание на новост и разбираемост за индивида. От тази гледна точка, в опита на гласове зарове същото количество информация, съдържаща се в съобщенията ", две", "нагоре лице спадна на което две точки" в визуален образ паднал куба.
Имайки предвид, че азбуката (набор от символи система знак) - събитие, появата на един от героите в съобщението може да се разглежда като един от щатите на събитието. Ако появата на знаци с еднаква вероятност, че е възможно да се изчисли колко бита информация, носена от всеки символ. Информация капацитет се определя от техния брой знаци в азбуката. Than повече знаци включва азбуката, толкова по-голямо количество информация носи една марка. Общият брой на букви и цифри се нарича силата на азбуката.
Молекулите на ДНК (дезоксирибонуклеинова киселина), съставен от четири различни компоненти (нуклеотидни), които формират генетична азбука. Информация капацитет на марката азбука е:
I. 4 = 2, т.е. I = 2 бита.
Всяка буква от азбуката българския (приемайки, че е = е) съдържа информация от 5 бита (32 = 2 I).
При този подход, в резултат докладвано от хвърляне на зара. Различна е количество информация, за да го изчисли, умножете броя на символите на количеството на информацията, носена от един символ.
Количеството информация, която съдържа съобщение кодиран със система за знак, равна на сумата на информация, осъществен само с един знак, умножена по броя на символите в съобщението.