Вероятностен подход за оценка на количеството на информацията,

В основата на нашия свят се основава на три компонента: материя, енергия и информация. Подобно на много хора в света на материята, енергията и информация? Възможно ли е да ги измери и как? Ние сме наясно с методите за измерване на количеството на материята и енергията. Но какво да кажем за информацията? Можем ли да го измервате?

Вече отбелязахме, че има няколко подхода за оценка на количеството информация. Сега имаме по-отблизо един от тях.

Всяко съобщение ще бъде информативно, ако тя изпълва човек на знанието, т.е. Той намалява несигурността на неговото знание.

equiprobable събития

Така например, на монетата хвърля, ние се опитваме да се отгатне какъв начин той попада. Възможна един от следните резултати: ". Опашки" на монетата ще бъде в "орел" или Всяка една от тези две събития ще бъде също толкова вероятна, т.е.. Д. Никой от тях има своите предимства пред другите. Преди хвърляне на монета, никой не може да знае как тя се намира, т.е. съществува несигурност знания. След настъпването на събитието, а напротив, има пълна сигурност, тъй като грънчар получава визуално съобщение за състоянието на монетите, които, от своя страна, намалява несигурността на известните му два пъти, защото на два еднакво вероятно събития там е един.

Друг пример е ситуацията с шестоъгълник куб, т.е. преди да хвърлите един не може да знае по какъв начин тя ще падне. В този случай, има възможност да се получи в резултат от шест еднакво. По този начин, до хвърли несигурност, Снегорин знания ще бъде равна на 6 след изстрела, то ще намалее в точно 6 пъти, тъй като тя е била 6 еднакво могат да се появят вероятно събития.

Помислете за пример, където прегледът се приготвя за 40 билети. Вероятността от събития, които ще се случи, когато дръпнете билета, ще бъде равен на 40. И тези събития са еднакво вероятни. В този случай, несигурността на знанията на ученика, за да изберете билета, ще бъде равен на 40. Съответно, несигурността на знания, след като ученикът взе билет за да се намали с 40 пъти. Нека се запитаме дали тази цифра за броя на съставените билет зависи. Не, защото събитията са еднакво вероятни.

След анализ на всички описани по-горе примери, можем да заключим, че по-голямата първоначалната броя на възможните equiprobable събития, толкова по-голям брой пъти намалява несигурността на знания, а повече информация ще се съдържа в доклада за резултатите от опита.

Решете контрол по всички предмети. 10 години опит! Цена от 100 рубли. период от 1 ден!

nonequiprobable събития

Вземем примера на говорими езици. Нека се обърнем към фактите доказани изследвания, които показват, че във всички езици говорят някои букви са много по-чести, отколкото други. Резултатите от изследванията показват, че $ 1000 $ писма в различни говорими езици представляват различен брой повторения. Като примери, таблицата по-долу са показани някои от буквите на български и на английски език:

В допълнение, вероятността от възникване на отделни букви, ще зависи от това, което букви се използват за тях. По този начин, на български език, след гласна никога не може да бъде мека знак и думите не са използвани четири последователни гласни и т.н. Говорими езици са, като правило, техните характеристики и модели. Ето защо количеството информация, която се съдържа в съобщенията всеки говорим език е неприемливо оценяват чрез използване Хартли формула, която се използва в азбучен подход за оценка и информация характеристика на примери с equiprobable събития (примери на монетата и куб).

Решете контрол по всички предмети. 10 години опит! Цена от 100 рубли. период от 1 ден!

Как да се определи колко информация съдържа, например, текста на романа "Война и мир" или фреските и картините на великите италиански художници, или генетичен код? Отговорите на тези въпроси, както и други подобни, все още не са известни на науката, и, по всяка вероятност, няма скоро да бъдат известни. Въпреки това, всеки се интересува от, е възможно да се оценят обективно количеството информация? На проблема с този вид може да включва следния пример.

Как да определите дали съобщенията са еднакво вероятни "първи излезе от сградата жената на" и "първият, който излезе от сградата на човек"? Недвусмислено Отговорът на този въпрос е не. Всичко ще зависи от това какъв вид изграждането му е под въпрос. Ако е така, например, изграждането на гинекологични клиники, шанса да отиде на първо място при жените е много висока, ако е казарма, вероятността да отиде първо при мъжете е по-висока, отколкото при жените, но ако това кино сграда, вероятността да отиде първо при мъжете и жени са еднакви.

Оценка на количеството информация. Shannon формула

За да реши проблемите на този вид се използва цялостна оценка на количеството на информацията, предлагана от американския учен Клод Шанън през 1948. Той създаде формулата за определяне на размера на информация може да се вземе предвид възможното неравностойно вероятността от съобщенията, които се съдържат в комплекта. Шанън при създаване на формулата, използвана по приложна математика и хидродинамика вероятност мярка за несигурност (наречена ентропия), за да се направи пълна оценка на състоянието на системата в процес на проучване и да получи възможно най-добрата информация за протичащите процеси в системата. Тази прогноза е количеството информация е по същество една мярка вероятност. и как да се оцени несигурност, тя отразява на способността на всяка власт да упражнява все повече и повече държавни и по този начин да се даде информация.

Решете контрол по всички предмети. 10 години опит! Цена от 100 рубли. период от 1 ден!

Shannon ентропията определя като средна логаритмична функция на набор от вероятности за възможни състояния на системата (възможните резултати от експеримента). За изчисляване на Шанън ентропията предложи следното уравнение:

$ Н = - (. P_1log_2p_1 + p_2log_2p_2 + + p_Nlog_2p_N) $,

където $ p_i $ - вероятност за $ аз $ -та събитие в набора от $ N $ на събитията.

Тогава количеството на информацията, получена в резултат на опит, не е просто разликата между ентропията на системата за ($ H_0 $) и след ($ H_1 $) опит:

и ако несигурността в резултат от опита, е напълно изключена, ние имаме:

$ I = \ Sigma (p_ilog_2p_i), I = 1 \ точки, N $.

Помислете за един пример, който потвърждава използването на теорията на Шанън в практиката.

Езерото е дом на джуджета и костур. Преброяване на броя на лицата във всяка от населението (джуджета - $ 1500 $ и костур - $ 500 $). Необходимо е да се определи колко информация се съдържа в докладите, че рибарите, уловени рибки, костур, всички риби?

Решение. Събития ловят рибки и костур не са еднакво вероятни, защото костур в езерото живее много по-малко от джуджета.

Общият брой на джуджета и костур, които живеят в езерото:

Определяне на вероятността за рибки улова:

Определя улова на вероятностите костур:

където I_1 $ $ и $ $ I_2 - рибки вероятността за улов и костур съответно.

Размерът на информация, съдържаща се в изявление на рибки улов:

$ I_1 = log_2 (\ Фрак) »0,43 $ малко

Размерът на информация, съдържаща се в изявление на костур улов:

$ I_2 = log_2 (\ Фрак) »2 $ бита.

Количеството на информацията, съдържаща се в съобщението на улова на риба (Carassius или морски костур) се изчислява по формулата Шанън:

$ I = - p_1log_2p_1 - p_2log_2p_2 $

$ I = -0,75 \ cdot log_20,75- 0,25 \ cdot log_20,25 = -0,75 \ cdot (\ Frac) -0,25 \ cdot (\ Frac) = 0,604 бита "$ 0,6 бита.

Отговор: съобщението включва $ 0.6 $ бита информация