Природа информации

Информация и ее представление

Начиная изучение структур данных необходимо установить, что понимается под информацией, как информация передается и как она физически размещается в памяти вычислительной машины.

В теоретико-информационном смысле информация рассматривается как мера уменьшения неопределенности. Предположим, что имеется n возможных состояний некоторой системы, в которой каждое состояние имеет вероятность появления p, причем все вероятности независимы. Тогда неопределенность этой системы определяется в виде:

Для измерения неопределенности системы выбрана единица, называемая битом. Бит является мерой неопределенности, связанной с наличием двух возможных состояний. Бит используется для измерения как неопределенности, так и информации, что вполне объяснимо, поскольку количество полученной информации равно количеству неопределенности, устраненному в результате получения информации.