Где N - количество возможных событий,

P_i – вероятности отдельных событий.

В этом случае количество недостающей информации определяется по формуле:

I = -

Для частного, но широко распространенного случая, когда события равновероятны

(P_i = ), величину количества информации I можно рассчитать по формуле:

I = - = log ₂ N

Информация необходимая для выбора равноправных вариантов, равна логарифму числа вариантов.

I = log ₂ N

Для определения количества информации необходимо также ввести единицу измерения.

Если принять число возможных вариантов минимальным – равным 2 (вернемся к опыту с бросанием монеты - здесь из двух возможных событий N=2 реализуется одно), то получаем количество информации необходимое для выбора.

I = log ₂ 2 = 1

За единицу количества информации принято элементарное количество информации о событии, которое заключается в выполнении одного из двух равновероятных исходов.

Такая единица названа бит. (bit — binary digit — двоичная цифра).

Компьютер оперирует числами не в десятичной, а в двоичной системе счисления, поэтому в кратных единицах измерения количества информации используется коэффициент 2 ⁿ.

Следующей по величине единицей измерения количества информации является байт, причем

1 байт = 2³ бит = 8 бит.

Для обозначения больших количеств информации применяются производные от байта единицы:

1 Кбайт = 2 ¹⁰ байт = 1024 байт

1 Мбайт = 2 ¹⁰ Кбайт = 1024 Кбайт

1 Гбайт = 2 ¹⁰ Мбайт = 1024 Мбайт

В общей теории информации (раздел теории алгоритмов) предлагается алгоритмический метод оценки информации в сообщении.

Каждый согласится, что слово 0101...01 сложнее слова 00...0, а слово, где 0 и 1 выбираются из эксперимента - бросания монеты (где 0 – «орел», 1 – «решка»), сложнее обоих предыдущих.

Компьютерная программа, производящая слово из одних нулей, крайне проста: печатать один и тот же символ. Для получения 0101...01 нужна чуть более сложная программа. Случайная, не обладающая никакими закономерностями последовательность не может быть произведена никакой "короткой" программой. Длина программы, производящей хаотичную последовательность, должна быть близка к длине последней.

Таким образом любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, которая позволяет ее произвести.

Для определенности задаются некоторой конкретной вычислительной машиной, например машиной Тьюринга, а предполагаемая количественная характеристика - сложность слова (сообщения) определяется как минимальное число внутренних состояний машины, требующихся для его воспроизведения