Ентропията (теория на информацията), науката, задвижвани от общността на феновете на Wikia
В теорията на информацията. Шанън ентропия. или информация ентропията - мярка за несигурността, свързана с произволна променлива (RV); определя размера на информацията, съдържаща се в съобщението (обикновено малко или битове на символ); минимална дължина на мнения, необходими за предаване на информация; като абсолютна граница възможно най-компресия без загуба на всякаква комуникация: представянето на редица публикации герои-краткия представителство необходимо, за да изпратите съобщението - това е Шанън ентропия в бита на символ се умножава по броя на знаците в оригиналното съобщение.
Справедливо монета има ентропия. равно на най-малко. Въпреки това, ако монетата не е честно, неговата несигурност по-долу (ако аз трябваше да залагате на резултата от хвърляне на монета, бихме предпочели да се заложи на резултатите от по-често), и по този начин ентропията Шанън е по-долу. Дълъг низ от повтарящи се символи е ентропията на 0, тъй като всеки един от героите е предсказуема. Ентропията на английски текст е между 1.0 и 1.5 бита за писмо. [1] Повече или по-малко от 0.6 до 1.3 бита за писмо, според изчисленията Shannon въз основа на експерименти с хора [2]
По същия начин, Шанън ентропията - мярка за съдържание на сухо вещество средната информация който наблюдателят (получателя на съобщението) става. когато той не знае стойността (изход) сухото вещество
Концепцията е въведена от Claude Shannon Елууд (1948) в неговата хартия математическа теория на комуникацията (А математическа теория на комуникацията) [3].
определени права
Шанън ентропия на дискретни случайни величини Кой може да отнеме стойността, равна на стойността
характеризиране Редактиране
Определяне и измерване на информация ентропия
Непрекъснато мярка трябва да бъде непрекъснат - това е промяна на стойността на една от вероятностите за много малка величина трябва да се промени ентропията като малка сума. Симетрията на мярката не трябва да бъде променена, ако резултатите се пренареждат: т.н. Максимална мярка трябва да бъде максимално, ако всички резултати са еднакво склонни (несигурност е най-висок, когато всички възможни събития са equiprobable). За equiprobable ентропията събития трябва да се увеличи с увеличаване на броя: Брой на адитивност на ентропията не зависи от събитията, тъй като системата е разделена на части (подсистеми). Това е последният функционалната връзка характеризира ентропията на системата и подсистеми изисква ентропия на една система може да бъде изчислена от ентропията на нейните подсистеми, ако знаем как подсистеми взаимодействат помежду си. Предвид ансамбъл от равномерно разпределени елементи, които са случайно разпределени в рамки (подсистемата) с елементи съответно; ентропията на целия ансамбъл трябва да бъде равна на сумата на ентропията на картонените кутии на системата и отделните кутии ентропии претеглена вероятност в клетка откриване елемент sootvetstuvuyuschey. За положителни числа избор предполага, че ентропията на определен резултат е нула:
Може да се покаже, че всяко определение ентропия които отговарят на тези предположения, има формата
където - постоянен, което съответства на избора на мерни единици.
Обяснение Редактиране
например Редактиране
Други имоти Редактиране
аспекти Редактиране
Комуникация с термодинамична ентропия Редактиране
Компресиране на данни Редактиране
Данни като Марков процес Редактиране
б-мерното ентропия Редактиране
работа регулиране
Размножаване дискретни ентропията на непрекъснато изпълнение: диференциален ентропията Edit
Позоваването Редактиране
- ↑ Schneier, В: Приложна криптография. Второ издание, страница 234. John Wiley и синове.
- ↑ Шанън, Claude E. Прогнози и ентропия на отпечатани на английски, The Bell System Технически вестник. 30: 50-64, 1950.
- ↑ Claude Е. Shannon: А математическа теория на комуникацията. Bell System Технически вестник, Vol. 27, стр. 379-423, 623-656, 1948.