Мера Шеннона, как обобщение меры Хартли для неравновероятных событий.
Представим себе, что имеются объекты различных видов, причем:
– всего имеется M видов объектов;
– объектов каждого i-го вида имеется Ni.
Тогда по Хартли, если мы извлекаем один из объектов i-го вида, то получаем Ii бит информации
 |
В среднем по
 |
Сумма этих средних будет равна:
 |
(где: pi=1/Ni, – вероятность встречи объектов i-го вида).
Последнее выражение – это и есть формула Шеннона, которая, таким образом, позволяет рассчитать средневзвешенное количество информации, приходящееся на один объект, получаемое при предъявлении объектов различных видов.
Отметим, что идентификация объектов, как относящихся к тому или иному виду (i-му виду) осуществляется на основе признаков
этих объектов. В простейшем варианте это может быть и один признак, например номер вида на бильярдном шаре, но в реальных случаях признаков может быть очень много и их различные наборы сложным и неоднозначным образом могут быть связаны с принадлежностью объектов к тем или иным классам.
Но главный вывод от этого не изменяется: формула Шеннона дает средневзвешенное количество информации, приходящееся на один объект, получаемое при предъявлении объектов различных видов (классов), отличающихся своими наборами признаков. Мера Шеннона является обобщением меры Хартли для неравновероятных событий.
