Как измеряется количество информации?

Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений

В определенных, весьма широких условиях можно пренебречь качественными особенностями информации, выразить её количество числом, а также сравнить количество информации, содержащейся в различных группах данных.