Содержательный подход к оценке количества информации — справочник студента

• Вопросы занятия:
• ·        содержательный подход к измерению информации;
• ·        неопределённость знания об исходе некоторого события;
• ·        единица измерения количества информации в рамках содержательного подхода.

Количество информации в одном том же сообщении, с точки зрения разных людей, может быть разным. Например, для человека, который не владеет английским языком, статья, напечатанная на английском языке, не несёт никакой информации.

Информативным для человека является то сообщение, которое содержит новые и понятные сведения.

Давайте попробуем определить количество информации с позиции «информативно» или «неинформативно» для ученика 10 класса.

Столица России – Москва (это сообщение неинформативно, так как всем известно).

Высота Останкинской телебашни составляет 540 метров (или 45 этажей). Это делает её 6 по высоте конструкцией в мире (это сообщение информативно).

Корреляция, корреляционная зависимость — это зависимость между величинами, каждая из которых подвергается неконтролируемому разбросу (неинформативно, так как непонятно).

Необходимо отличать понятия информация и информативность.

Например, содержит ли учебник по информатике для десятого класса информацию? Конечно содержит, но для кого он будет информативным – для ученика десятого класса или первого класса? Естественно для ученика десятого класса. Первоклассник ничего из этого учебника не поймёт.

Теперь мы можем сделать вывод: количество информации зависит от информативности.

Информативность можно обозначить единицей, неинформативная информация равна нулю. Но это не даёт точного определения количества информации.

Алфавитный подход применяется для измерения информации, используемой компьютером. Так как компьютер не понимает смысла информации.

Содержательный подход применяется для измерения информации, используемой человеком.

В содержательном подходе, количество информации, заключённое в сообщении, определяется объёмом знаний, который это сообщение несёт получающему его человеку.

1. Вспомним, что с «человеческой» точки зрения информация — это знания, которые мы получаем из внешнего мира.
2. Тогда сущность содержательного подхода заключается в следующем: количество информации, заключённое в сообщении, должно быть тем больше, чем больше оно пополняет наши знания.
3. То есть, чем больше первоначальная неопределённость знания, тем больше информации несёт сообщение, снимающее эту неопределённость.
4. Рассмотрим примеры.

Допустим, вы бросаете монету, загадывая, что выпадет: орёл или решка. Есть всего два возможных результата бросания монеты.

Причём ни один из этих результатов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.

В данном случае с монетой, перед её подбрасыванием неопределённость знания о результате равна 2.

Если же бросать игральный кубик с шестью гранями, то он может с равной вероятностью упасть на любую из них. Значит, неопределённость знания о результате бросания кубика равна 6.

Или такая ситуация: спортсмены-бегуны перед забегом путём жеребьёвки определяют свои порядковые номера на старте. Допустим, что в забеге участвует 100 спортсменов, тогда неопределённость знания спортсмена о своём номере до жеребьёвки равна 100.

• Неопределённость знания о результате некоторого события — это количество возможных результатов исхода события.
• Вернёмся к спортсменам-бегунам.
• Здесь событие – это жеребьёвка спортсменов; исход – спортсмену выпал, например, номер 34.

1. Итак, в первом примере возможны два варианта ответа: орёл, решка; во втором примере шесть вариантов: 1, 2, 3, 4, 5, 6.
2. В третьем примере – 100 вариантов, может выпасть номер от 1 до 100.
3. Теперь, согласно определению, можно сделать вывод, что наибольшее количество информации несёт третье сообщение, так как неопределённость знания об исходе события в этом случае была наибольшей.
4. В 40-х годах 20 века Клод Шеннон — американский учёный и инженер, один из создателей математической теории информации, решил проблему измерения информации.

Шеннон дал такое определение информации: Информация – это снятая неопределённость знания человека об исходе какого-то события.

Вернёмся к примеру, с монетой. После того как вы бросили монету и посмотрели на неё, вы получили зрительное сообщение, что выпал, например, орёл. Определился один из двух возможных результатов. Неопределённость знания уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.

• Сообщение об одном из двух равновероятных результатов некоторого события несёт 1 бит информации.
• А также сообщение, уменьшающее неопределённость знания об исходе некоторого события в два раза, несёт 1 бит информации.
• Рассмотрим примеры:

«Вы выходите на следующей остановке?» — спросил мальчик женщину в автобусе. «Нет» — ответила она. Сколько информации содержит ответ?  —  Согласно определению, ответ содержит один бит информации.

Или такой пример. Вы подошли к светофору на пешеходном переходе, когда горел красный свет. Загорелся зелёный. Здесь вы также получили один бит информации.

Итак, мы выяснили, когда сообщение несёт 1 бит информации.

Значит в примерах с кубиком и спортсменами количество информации будет больше. Давайте выясним как измерить это количество.

Рассмотрим пример. Занятия могут состояться в одном из кабинетов, номера которых от одного до шестнадцати. Ученики спросили у учителя: «в каком кабинете будут проходить занятия?» На что учитель им ответил: «Угадайте ответ за четыре вопроса, на которые я могу дать ответ «Да» или «Нет»».

Подумав староста класса задала следующие вопросы:

1 вопрос. Номер кабинета меньше 9? – Да. Ответил учитель

2 вопрос. Номер кабинета больше 4? – Да.

3 вопрос. Номер кабинета чётный? – Нет.

4 вопрос. Номер кабинета 5? – Нет.

Ученики поняли, что занятия состоятся в кабинете номер 7.

Итак, сколько же информации получили ученики?

Первоначально было 16 вариантов. После первого вопроса осталось 8 вариантов, и ученики получили 1 бит информации.

1. После 2 вопроса осталось 4 варианта, и ученики получили ещё 1 бит информации.
2. После 3 вопроса осталось 2 варианта и был получен ещё 1 бит информации.
3. И, наконец после 4 вопроса, остался 1 вариант и получен ещё 1 бит информации.
4. То есть мы можем сделать вывод, что ученики получили четыре бит информации.

Такой способ нахождения количества информации, называется методом половинного деления: здесь ответ на каждый заданный вопрос уменьшает неопределённость знания, которая имеется до ответа на этот вопрос, наполовину. Каждый такой ответ несёт 1 бит информации.

Нужно отметить, что методом половинного деления наиболее удобно решать подобные проблемы. Таким способом всегда можно угадать, например, любой из 32 вариантов максимум за 5 вопросов.

Если бы поиск совершался последовательным перебором: «Мы будем заниматься в первом кабинете?»  «Нет», «Во втором кабинете?»  «Нет» и т. д., то про седьмой кабинет можно было бы узнать после семи вопросов, а про восьмой — после восьми.

• Теперь мы можем полученные результаты описать с помощью следующих определений:
• •        сообщение об одном из двух равновероятных исходов некоторого события несёт 1 бит информации;
• •        сообщение об одном из четырёх равновероятных исходов некоторого события несёт 2 бита информации;
• •        сообщение об одном из восьми равновероятных исходов некоторого события несёт 3 бита информации.
• Для того чтобы при измерении одной и той же информации получалось одно и то же значение количества информации, необходимо договориться об использовании определённого алфавита.

Пусть N – это количество возможных исходов события или неопределённость знания. Тогда i – это количество информации в сообщении об одном из N результатов.

1. Вернёмся к нашим примерам.
2. Обратите внимание, между данными величинами есть связь, которая выражается формулой.

Эта формула вам уже знакома. Также вы с ней встретитесь ещё не раз. Эта формула очень важна, поэтому её называют главной формулой информатики.

• Для определения количества информации I, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить уравнение.
• В математике такое уравнение называется показательным.

Рассмотрим пример. В коробке лежало 64 разноцветных катушки ниток. Сколько информации несёт сообщение о том, что из коробки достали жёлтую катушку?

Рассмотрим следующий пример.

В скором поезде Москва – Санкт-Петербург 8 вагонов, в каждом вагоне 32 места. Нужно определить какое количество информации несёт сообщение о том, что вам купили билет в 6 вагон, 13 место?

Этот пример показывает выполнение закона аддитивности количества информации (правило сложения): количество информации в сообщении одновременно о нескольких результатах независимых друг от друга событий равно сумме количеств информации о каждом событии отдельно.

Итак, мы уже говорили о том, что с формулой 2i = N мы уже встречались на прошлом уроке, когда говорили об алфавитном подходе к измерению информации. Тогда N рассматривалось как мощность алфавита, a i — как информационный вес каждого символа алфавита.

Если допустить, что все символы алфавита появляются в тексте с одинаковой частотой, то есть равновероятно, то информационный вес символа i идентичен количеству информации в сообщении о появлении любого символа в тексте.

При этом N — неопределённость знания о том, какой именно символ алфавита должен стоять в данной позиции текста. Это замечание показывает связь между алфавитным и содержательным подходами к измерению информации.

Рассмотрим пример: Требуется угадать задуманное число из диапазона целых чисел, например, от 1 до 100. Чему равно количество информации в сообщении о том, что загаданное число 89?

Можно догадаться, что решением уравнения будет дробное число, которое находится между 6 и 7.

В математике существует функция, с помощью которой решаются показательные уравнения. Эта функция называется логарифмом.

Тогда решение показательного уравнения запишется i равно логарифм N по основанию 2. Это означает, что мы должны найти степень, в которую нужно возвести основание, в нашем случае 2, чтобы получить N.

1. Например, для целых степеней двойки получим:
2. И так далее.

Значения логарифмов находятся с помощью специальных логарифмических таблиц. Также можно использовать инженерный калькулятор или табличный процессор.

• Определим количество информации, полученной из сообщения об угадывании задуманного числа из диапазона от одного до ста, с помощью электронной таблицы.
• Количество информации в сообщении о том, что загаданное число 89 приблизительно равно 6,64 бит.
• Формула для измерения количества информации была предложена американским учёным-электронщиком Ральфом Хартли, который является одним из основоположников теории информации.
• Данный пример показал, что количество информации, определяемое с использованием содержательного подхода, может быть дробной величиной, если же находить информационный объем, путём применения алфавитного подхода, то там может быть только целочисленное значение.
• Итоги урока.
• В содержательном подходе количество информации, заключённое в сообщении, определяется объёмом знаний, который это сообщение несёт получающему его человеку.
• Один бит — это минимальная единица измерения количества информации.
• Сообщение, уменьшающее неопределённость знания в два раза, несёт один бит информации.
• Для измерения количества информации применяется формула Хартли:

Источник: https://videouroki.net/video/05-izmerenie-informacii-soderzhatelnyj-podhod.html

Содержательный подход к измерению информации

В содержательном подходе количество информации, заключенное в сообщении, определяется объемом знаний, который это сообщение несет получающему его человеку.

Процесс познания можно изобразить в виде расширяющегося “круга знания“, всё что за пределами круга – область незнания.

Чем больше знаешь, тем больше понимаешь, что ничего не знаешь…

Другими словами, по мере получения знаний, человек раздвигает границы познания, но при этом всё больше осознает объёмы своего незнания.

Например, знания выпускника школы гораздо больше чем знания первоклассника, но и граница его незнания также существенно больше, т.е. старшеклассник при подготовке к выпускным экзаменам обнаруживает непонимание некоторых законов или правил и вынужден их восполнять. Тогда как первоклассник вообще ничего не знает об этих законах и правилах.

Подход к измерению информации, как способу уменьшения неопределённости знания, позволяет измерять информацию, особенно это ВАЖНО для информатики, которая изучает процессы хранения и передачи информации.

Информацию можно рассматривать как набор сообщений.

Сообщение – это форма представления каких-либо сведений в виде речи, текста, изображений, графиков, таблиц и т.д.

Информация – это знания, которые мы получаем из внешнего мира. Количество информации, заключенное в сообщении, должно быть тем больше, чем больше оно пополняет наши знания.

1 бит – минимальная единица измерения количества информации.

Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации

Допустим, вы бросаете, загадывая, что выпадет: орел или решка.

Есть всего два возможных результата бросания монеты. Причем ни один из этих результатов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.

В случае с монетой перед ее подбрасыванием неопределенность знания о результате равна двум.

Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знания о результате бросания кубика равна шести.

Неопределенность знания о результате некоторого события (бросание монеты или игрального кубика, жребий и др.) – это количество возможных результатов.

• Формула Хартли:
• Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий.
• Тогда количество информацииi, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, можно определить из формулы Хартли:
  
• Пример:
• Шахматная доска состоит из 64 полей: 8 столбцов на 8 строк.
• Какое количество бит несет сообщение о выборе одного шахматного поля?
• Решение.
• Поскольку выбор любой из 64 клеток равновероятен, то количество бит находится из формулы:
• 2^i=64,  2^i=2^6
• Следовательно, i=6 бит.

Источник: https://www.informatio.info/change-information/

Измерение информации. меры информации. подходы к определению количества информации

Люди обмениваются информацией в форме сообщений. Сообщение — это форма представления информации в виде речи, текстов, жестов, взглядов, изображений, цифровых данных, графиков, таблиц и т.п.

Одно и то же информационное сообщение (статья в газете, объявление, письмо, телеграмма, справка, рассказ, чертёж, радиопередача и т.п.) может содержать разное количество информации для разных людей — в зависимости от их предшествующих знаний, от уровня понимания этого сообщения и интереса к нему.

В информатике используются различные подходы к измерению информации:

Содержательный подход к измерению информации. Сообщение – информативный поток, который в процессе передачи информации поступает к приемнику.

Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными Информация — знания человека ? сообщение должно быть информативно.

Если сообщение не информативно, то количество информации с точки зрения человека = 0. (Пример: вузовский учебник по высшей математике содержит знания, но они не доступны 1-класснику)

Алфавитный подход к измерению информации не связывает кол-во информации с содержанием сообщения. Алфавитный подход — объективный подход к измерению информации. Он удобен при использовании технических средств работы с информацией, т.к. не зависит от содержания сообщения.

Кол-во информации зависит от объема текста и мощности алфавита. Ограничений на max мощность алфавита нет, но есть достаточный алфавит мощностью 256 символов. Этот алфавит используется для представления текстов в компьютере.

Поскольку 256=28, то 1символ несет в тексте 8 бит информации.

• Алфавит — упорядоченный набор символов, используемый для кодирования сообщений на некотором языке.
• Мощность алфавита — количество символов алфавита.
• Двоичный алфавит содержит 2 символа, его мощность равна двум.

Сообщения, записанные с помощью символов ASCII, используют алфавит из 256 символов. Сообщения, записанные по системе UNICODE, используют алфавит из 65 536 символов.

Вероятностный подход к измерения информации. Все события происходят с различной вероятностью, но зависимость между вероятностью событий и количеством информации, полученной при совершении того или иного события можно выразить формулой которую в 1948 году предложил Шеннон.

В вычислительной технике применяются две стандартные единицы измерения: бит (binary digit) и байт (byte). Если сообщение уменьшило неопределеность знаний ровно в два раза, то говорят, что сообщение несет 1 бит информации.

Для измерения информации используется и более крупные единицы:

Единицы измерения информации в вычислительной технике
1 бит
1 байт	8 бит
1 Кбайт (килобайт)	210 байт = 1024 байт	1 тыс. байт
1 Мбайт (мегабайт)	210 Кбайт = 220 байт	1 млн. байт
1 Гбайт (гигабайт)	210 Мбайт = 230 байт	1 млрд. байт
Количество информации – число, адекватно характеризующее разнообразие (структурированность, определенность, выбор состояний и т.д.) в оцениваемой системе. Количество информации часто оценивается в битах, причем такая оценка может выражаться и в долях бит (так речь идет не об измерении или кодировании сообщений).

В настоящее время получили распространение подходы к определению понятия количество информации, основанные на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле её новизны или, иначе, уменьшения неопределённости наших знаний об объекте. Эти подходы используют математические понятия вероятностии логарифма.

Мера информации – критерий оценки количества информации. Обычно она задана некоторой неотрицательной функцией, определенной на множестве событий и являющейся аддитивной, то есть мера конечного объединения событий (множеств) равна сумме мер каждого события.

Подходы к определению количества информации.Формулы Хартли и Шеннона.Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Формула Хартли: I = log2N

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100  6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Приведем другие примеры равновероятных сообщений:

1. при бросании монеты: выпала решка, выпал орел;
2. на странице книги: количество букв чётное, количество букв нечётное.

Определим теперь, являются ли равновероятными сообщения первой выйдет из дверей здания женщина и первым выйдет из дверей здания мужчина. Однозначно ответить на этот вопрос нельзя.

Все зависит от того, о каком именно здании идет речь.

Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p1, …, pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.

В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binary digit — двоичная цифра).

Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений (типа орел—решка, чет—нечет и т.п.). В вычислительной технике битом называют наименьшую порцию памяти компьютера, необходимую для хранения одного из двух знаков 0 и 1, используемых для внутримашинного представления данных и команд.

Бит — слишком мелкая единица измерения. На практике чаще применяется более крупная единица — байт, равная восьми битам. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=28).

Широко используются также ещё более крупные производные единицы информации:

	1 Килобайт (Кбайт) = 1024 байт = 210 байт,
	1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт,
	1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт.

В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:

	1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт,
	1 Петабайт (Пбайт) = 1024 Тбайт = 250 байт.

Информационный объем сообщения (информационная емкость сообщения) – количество информации в сообщении, измеренное в битах, байтах или производных единицах (Кбайтах, Мбайтах и т. д.).

Статьи к прочтению:

Информация, количество информации

Источник: http://csaa.ru/izmerenie-informacii-mery-informacii-podhody-k/

Подходы к оценке количества информации

• Используется два подхода: вероятностный или алфавитный.
• Вероятностный подход к измерению информации
• Любая информация может рассматриваться как уменьшение неопределенности наших знаний об окружающем мире (в теории информации принято говорить именно об уменьшении неопределенности, а не об увеличении объема знаний). Математически это высказывание эквивалентно простой формуле
• I = H1 – H2

где I — это количество информации, а H1 и H2 — начальная и конечная неопределенность соответственно. Величину H, которая описывает степень неопределенности, в литературе принято называть энтропией.

Важным частным случаем является ситуация, когда некоторое событие с несколькими возможными исходами уже произошло, а, значит, неопределенность его результата исчезла. Тогда H2 = 0 и формула для информации упрощается:

I = H

Вычисление энтропии при вероятностном подходе базируется на рассмотрении данных о результате некоторого случайного события, т.е. события, которое может иметь несколько исходов. Случайность события заключается в том, что реализация того или иного исхода имеет некоторую степень неопределенности.

Пусть, например, абсолютно незнакомый нам ученик сдает экзамен, результатом которого может служить получение оценок 2, 3, 4 или 5.

Поскольку мы ничего не знаем о данном ученике, то степень неопределенности всех перечисленных результатов сдачи экзамена совершенно одинакова.

Напротив, если нам известно, как он учится, то уверенность в некоторых исходах будет больше, чем в других: так, отличник скорее всего сдаст экзамен на пятерку, а получение двойки для него — это нечто почти невероятное.

Наиболее просто определить количество информации в случае, когда все исходы события могут реализоваться с равной долей вероятности. В этом случае для вычисления информации используется формула Хартли.

Очевидно, что формула Хартли является некоторым частным случаем более общей формулы Шеннона.

Формула Хартли была предложена в 1928 году американским инженером Р.Хартли. Она связывает количество равновероятных состояний N с количеством информации I в сообщении о том, что любое из этих состояний реализовалось. Наиболее простая форма для данной формулы записывается следующим образом:

1. 2I = N
2. Причем обычно значение N известно, а I приходится подбирать, что не совсем удобно. Поэтому те, кто знает математику получше, предпочитают преобразовать данную формулу так, чтобы сразу выразить искомую величину I в явном виде:
3. I = log2 N

Важный частный случай получается из приведенной формулы при N = 2, когда результатом вычисления является единичное значение. Единица информации носит название бит (от англ. BInary digiT — двоичная цифра); таким образом, 1 бит — это информация о результате опыта с двумя равновероятными исходами. Чем больше возможных исходов, тем больше информации в сообщении о реализации одного из них.

Пример 1. Из колоды выбрали 16 карт (все “картинки” и тузы) и положили на стол рисунком вниз. Верхнюю карту перевернули (см. рисунок). Сколько информации будет заключено в сообщении о том, какая именно карта оказалась сверху?

Все карты одинаковы, поэтому любая из них могла быть перевернута с одинаковой вероятностью. В таких условиях применима формула Хартли.

Событие, заключающееся в открытии верхней карты, для нашего случая могло иметь 16 возможных исходов. Следовательно, информация о реализации одного из них равняется

I = log216 = 4 бита

Пример 2. Решите предыдущую задачу для случая, когда сообщение об исходе случайного события было следующим: “верхняя перевернутая карта оказалась черной дамой”.

• Отличие данной задачи от предыдущей заключается в том, что в результате сообщения об исходе случайного события не наступает полной определенности: выбранная карта может иметь одну из двух черных мастей.
• В этом случае, прежде чем воспользоваться формулой Хартли, необходимо вспомнить, что информация есть уменьшение неопределенности знаний:
• I = H1 – H2
• До переворота карты неопределенность (энтропия) составляла
• H1 = log2 N1
• после него —
• H2 = log2 N2
• (причем для нашей задачи N1 = 16, а N2 = 2).
• В итоге информация вычисляется следующим образом:
• I = H1 – H2 = log2 N1 – log2 N2 = log2 N1/N2 = log2 16/2 = 3 бита

Заметим, что в случае, когда нам называют карту точно (см. предыдущий пример), неопределенность результата исчезает, N2 = 1, и мы получаем “традиционную” формулу Хартли. И еще одно полезное наблюдение.

Полная информация о результате рассматриваемого опыта составляет 4 бита (см. пример 1).

В данном же случае мы получили 3 бита информации, а оставшийся четвертый описывает сохранившуюся неопределенность выбора между двумя дамами черной масти.

Все зависит от того, о каком именно здании идет речь.

Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

1. где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений
2. Легко заметить, что если вероятности pi равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.
3. Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте:

Источник: https://zdamsam.ru/a24110.html

Методические рекомендации по изучению темы «измерение информации»

Изучаемые вопросы:

• • от чего зависит информативность сообщения, принимаемого человеком;
• • единица измерения информации;
• • количество информации в сообщении об одном из N равновероятных событий.

С позиции содержательного подхода просматривается следующая цепочка понятий: «информация — сообщение — информативность сообщения — единица измерения информации — информационный объем сообщения».

Исходная посылка: информация — это знания людей.

Следующий вопрос: что такое сообщение? Сообщение — это информационный поток (поток данных), который в процессе передачи информации поступает к принимающему его субъекту.

Сообщение — это и речь, которую мы слушаем (радиосообщение, объяснение учителя), и воспринимаемые нами зрительные образы (фильм по телевизору, сигнал светофора), и текст книги, которую мы читаем, и т. д.

Вопрос об информативности сообщения следует обсуждать на примерах, предлагаемых учителем и учениками. Правило: информативным назовем сообщение, которое пополняет знания человека, т. е. несет для него информацию.

Для разных людей одно и то же сообщение с точки зрения его информативности может быть разным. Если сведения «старые», т. е. человек это уже знает, или содержание сообщения непонятно человеку, то для него это сообщение неинформативно.

Информативно то сообщение, которое содержит новые и понятные сведения.

Введение понятия «информативность сообщения» является первым подходом к изучению вопроса об измерении информации в рамках содержательной концепции. Если сообщение неинформативно для человека, то количество информации в нем, с точки зрения этого человека, равно нулю. Количество информации в информативном сообщении больше нуля.

Для определения количества информации нужно ввести единицу измерения информации. В рамках содержательного подхода такая единица должна быть мерой пополнения знаний субъекта; иначе можно еще сказать так: мерой уменьшения степени его незнания. В учебнике [36] (раздел 1.

1) дано следующее определение единицы информации: «Сообщение, уменьшающее неопределенность знаний в 2 раза, несет 1 бит информации». Немного дальше приводится определение для частного случая: «Сообщение о том, что произошло одно событие из двух равновероятных, несет 1 бит информации».

Неопределенность знания о результате некоторого события — это число возможных вариантов результата: при бросании монеты — 2 (орел — решка), для игрального кубика — 6, при вытаскивании экзаменационного билета — 30 (если на столе лежало 30 билетов).

Еще одной сложностью является понятие равновероятности. Здесь следует оттолкнуться от интуитивного представления детей, подкрепив его примерами. События равновероятны, если ни одно из них не имеет преимущества перед другими. С этой точки зрения выпадение орла и решки — равновероятны; выпадение одной из шести граней кубика — равновероятны.

Для объяснения способа измерения количества информации, заключенного в сообщении об одном из N равновероятных событий, предлагаем следующую логическую цепочку раскрытия темы.

Объяснение удобно начать с частного определения бита как меры информации в сообщении об одном из двух равновероятных событий.

Обсуждая традиционный пример с монетой (орел — решка), следует отметить, что получение сообщения о результате бросания монеты уменьшило неопределенность знаний в два раза: перед подбрасыванием монеты были два равновероятных варианта, после получения сообщения о результате остался один-единственный.

Далее следует сказать, что и для всех других случаев сообщений о равновероятных событиях при уменьшении неопределенности знаний в два раза передается 1 бит информации.

• Примеры, приведенные в учебнике, учитель может дополнить другими, а также предложить ученикам придумать свои примеры. Индуктивно, от частных примеров учитель вместе с классом приходит к обобщенной формуле:
• 2' = N,
• где N — число вариантов равновероятных событий (неопределенность знаний); i — количество информации в сообщении о том, что произошло одно из N событий.

Ели N известно, a i является неизвестной величиной, то данная формула превращается в показательное уравнение. Как известно, показательное уравнение решается с помощью функции логарифма: i = og2N.

В 7-9-м классах ученики еще не знакомы с логарифмами. Поэтому достаточно рассмотреть решение уравнения для частных случаев, когда N есть целая степень двойки: 2,4, 8,16,32 и т. д.

Объяснение происходит по схеме:

Если N = 2 = 21, то уравнение принимает вид: 2' = 21, отсюда г=1.

Если N = 4 = 22, то уравнение принимает вид: 2' = 22, отсюда 1 = 2.

Если N = 8 = 23, то уравнение принимает вид: 2‘ = 23, отсюда i = 3 и т. д.

Рассмотренные примеры исчерпывают возможности содержательного подхода в решении проблемы измерения информации. Очевидно, что предложенный метод применим только в очень частных случаях.

Попробуйте с содержательной точки зрения подсчитать количество информации, полученное в результате прочтения нового для вас параграфа в учебнике! Сделать это невозможно, хотя фактом является то, что информация получена.

Источник: https://ozlib.com/800115/informatika/metodicheskie_rekomendatsii_izucheniyu_temy_izmerenie_informatsii

Урок 2. подходы к измерению информации — Информатика — 10 класс — Российская электронная школа

Информатика, 10 класс. Урок № 2.

Тема — Подходы к измерению информации

Перечень вопросов, рассматриваемых в теме: Информация как снятая неопределенность. Содержательный подход к измерению информации.

Информация как последовательность символов некоторого алфавита. Алфавитный подход к измерению информации. Единицы измерения информации. Понятие больших данных

Глоссарий по теме: Информатика, информация, свойства информации (объективность, достоверность, полнота, актуальность, понятность, релевантность), виды информации, информационные процессы, информационная культура, информационная грамотность.

Основная литература по теме урока:

Л. Л. Босова, А. Ю. Босова. Информатика. Базовый уровень: учебник для 10 класса — М.: БИНОМ. Лаборатория знаний, 2017

Дополнительная литература по теме урока:

И. Г. Семакин, Т. Ю. Шеина, Л. В. Шестакова. Информатика и ИКТ. Профильный уровень: учебник для 10 класса — М.: БИНОМ. Лаборатория знаний, 2012

Теоретический материал для самостоятельного изучения:

Давайте составим план, что бы мы хотели сделать с имеющейся у нас информацией.

Хранить? — возможно.

• Передавать — скорее всего, а может быть даже и продавать.
• Обрабатывать и получать новую — вполне возможно!
• Во всех трех случаях, которые называют основными информационными процессами, нам нужно информацию измерять.
• В случае хранения, чтобы быть уверенными, что объем хранилища и объем нашей информации соответствуют друг другу, в передаче или продаже — чтобы объем продажи соответствовал цене, в случае обработки, чтобы рассчитать время, за которое этот объем может быть обработан.
• Во всех трех случаях мы говорим о соответствиях объемов, но если нам известно как вычислить объем хранилища в м3, количество денег в рублях или иной валюте, время, то с вычислением объема информации нужно разбираться
• Целью нашего урока будет определить способы измерения информации и сравнить их.
• Задачи
• Для этого нужно будет определить:
• — от чего зависит объем информации,
• — какими единицами ее измерять.
• Ожидаемые результаты
• Выявлять различия в подходах к измерению информации.
• Применять различные подходы для измерения количества информации.
• Переходить от одних единиц измерения информации к другим.

Предположим, что объем информации зависит от ее содержания. Нам нужна информация, которая для нас нова и понятна, соответствует всем свойствам информации, то есть та, которая приносит нам новые знания, решает наши вопросы.

Тут минимальным количеством информации будет ответ «да» или «нет». Ответ на такой простой вопрос принесет нам минимум информации и уменьшит неопределенность в два раза. Было два варианта, мы выбрали один и получили минимум информации — 1 бит.

Этот подход к измерению предложил К. Шеннон.

Информация (по Шеннону) — это снятая неопределённость. Величина неопределённости некоторого события — это количество возможных результатов (исходов) данного события.

Сообщение, уменьшающее неопределённость знания в 2 раза, несёт 1 бит информации.

Количество информации (i), содержащееся в сообщении об одном из N равновероятных результатов некоторого события, определяется из решения уравнения: 2i = N. Такой подход к измерению информации называют содержательным.

Разумно так же предположить, что текст, который для вас не понятен, понятен кому-то другому, то есть информация в нем все-таки есть. А ее объем зависит не от содержания текста, а от символов, которыми он написан. Назовем алфавитом все множество символов, используемых в языке, а их количество — мощностью алфавита.

Каждый символ, выбранный из алфавита, несет количество информации (i), вычисленное по формуле,

где N мощность алфавита.

Общее количество информации (I) во всем тексте можно посчитать по простой математической модели:

где k — количество символов в тексте.

Этот подход к измерению информации предложил советский ученый-математик А. Н. Колмогоров.

Бит — мельчайшая единица информации. Для кодировки каждого из 256 символов, сведенных в таблицу кодировки ASCII, требуется 8 бит. Эта величина получила отдельное название — байт. Помимо бита и байта существуют более крупные единицы. Традиционно они получили приставки Кило, Мега, Гига и т. д.

Но Кило в единицах измерения информации обозначает не 103=1000, а 210=1024. Это недоразумение решается с конца XX века. Международная электротехническая комиссия предложила приставки «киби-, меби-, гиби-», которые лучше отражают смысл кратности степеням двойки.

Переводить единицы измерения информации можно при помощи удобной схемы

Определив подходы и единицы измерения, перейдем к оценкам. Сколько информации содержит книга? Библиотека? Видеоролик? Много? Это конечно, можно посчитать по уже известным нам простым формулам, а вот оценить «много» или «мало» не удастся, потому что это не количественные категории.

Сегодня существует понятие «большие данные». Так называют социально-экономический феномен, связанный с появлением технологических возможностей анализировать огромные массивы данных.

Эти технологические возможности стремительно развиваются и уже позволяют компьютерам узнавать нас на фото, советуют нам какую музыку слушать и какие книги читать.

Такси безошибочно находит нас в большом городе и проходит тестирование беспилотный транспорт.

Подведем итоги

Информацию можно измерять. Для этого существуют разные подходы, содержательный подход, алфавитный подход.

Суть содержательного подхода в том, что при определении объема информации учитывается содержание информации. Она должна быть новой и понятной получателю.

Суть алфавитного подхода в определении количества информации в зависимости от алфавита, которым она записана. А объем подсчитывается по формуле

1. где — объем информации,
2. — количество символов в сообщении,
3. — количество информации о каждом символе.
4. Для измерения количества информации в объеме данных используются единицы измерения информации.

Обработка данных важна для всех сфер жизни. Технологии обработки данных стремительно развиваются и становятся жизненно-важными.

Источник: https://resh.edu.ru/subject/lesson/6469/conspect/

Содержательный подход к измерению информации — урок. Информатика, 10 класс

В содержательном подходе количество информации, заключенное в сообщении, определяется объемом знаний, который это сообщение несет получающему его человеку.

Вспомним, что с «человеческой» точки зрения информация — это знания, которые мы получаем из внешнего мира. Количество информации, заключенное в сообщении, должно быть тем больше, чем больше оно пополняет наши знания.

Вы уже знаете, что за единицу измерения информации принимается (1) бит.

1 бит — минимальная единица измерения количества информации.

Проблема измерения информации исследована в теории информации, основатель которой — Клод Шеннон.В теории информации для бита дается следующее определение:

Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации.

Что такое неопределенность знания, поясним на примерах.

Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка. Есть всего два возможных результата бросания монеты. Причем ни один из этих результатов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.

В случае с монетой перед ее подбрасыванием неопределенность знания о результате равна двум.

Игральный же кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знания о результате бросания кубика равна шести.

Еще пример: спортсмены-лыжники перед забегом путем жеребьевки определяют свои порядковые номера на старте. Допустим, что имеется (100) участников соревнований, тогда неопределенность знания спортсмена о своем номере до жеребьевки равна (100).

Следовательно, можно сказать так:

Вернемся к примеру с монетой. После того как вы бросили монету и посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Определился один из двух возможных результатов.

Неопределенность знания уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.

Сообщение об одном из двух равновероятных результатов некоторого события несет 1 бит информации.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из (N) равновероятных событий.

• Тогда количество информации (i), содержащееся в сообщении о том, что произошло одно из (N) равновероятных событий, можно определить из формулы Хартли:
• N=2i.
• Данная формула является показательным уравнением относительно неизвестного (i).

Из математики известно, что решение такого уравнения имеет вид:

i=log2N — логарифм (N) по основанию (2).

Если (N) равно целой степени двойки ((2, 4, 8, 16) и т. д.), то такое уравнение можно решить «в уме».

Пример:

Шахматная доска состоит из (64) полей: (8) столбцов на (8) строк.

1. Какое количество бит несет сообщение о выборе одного шахматного поля?
2. Решение.
3. Поскольку выбор любой из (64) клеток равновероятен, то количество бит находится из формулы:
4. 2i=64,
5. i=log264=6, так как 26=64.
6. Следовательно, (i = 6) бит.

В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей двоичных логарифмов.

Также, если (N) не является целой степенью (2), то можно выполнить округление (i) в большую сторону. При решении задач в таком случае (i) можно найти как log2K, где (K) — ближайшая к (N) степень двойки, такая, что (K > N).

Пример:

• При игре в кости используется кубик с шестью гранями.
• Сколько битов информации получает игрок при каждом бросании кубика?
• Решение.

Выпадение каждой грани кубика равновероятно. Поэтому количество информации от одного результата бросания находится из уравнения:2i=6.

1. Решение этого уравнения: i=log26.
2. Из таблицы двоичных логарифмов следует (с точностью до (3)-х знаков после запятой):(i = 2,585) бита.
3. Данную задачу также можно решить округлением (i) в большую сторону:  2i=6

Источник: https://www.yaklass.ru/p/informatika/10-klass/informatciia-i-informatcionnye-protcessy-11955/izmerenie-informatcii-11900/re-07831dfb-432b-4cab-9cd2-c3d6094acf1e

Содержательный подход — Измерение информации

Вопрос: «Как измерить информацию?» очень непростой. Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными.Содержательный подход к измерению информации.Для человека информация — это знания человека. Рассмотрим вопрос с этой точки зрения.Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.Отсюда следует вывод, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.   Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: «2×2=4» информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника.   Но для того чтобы сообщение было информативно оно должно еще быть понятно. Быть понятным, значит быть логически связанным с предыдущими знаниями человека. Определение «значение определенного интеграла равно разности значений первообразной подынтегральной функции на верхнем и на нижнем пределах», скорее всего, не пополнит знания и старшеклассника, т.к. оно ему не понятно. Для того, чтобы понять данное определение, нужно закончить изучение элементарной математики и знать начала высшей.   Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет в то же время понятным, а значит, будет нести информацию для человека.  Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.  Очевидно, различать лишь две ситуации: «нет информации» — «есть информация» для измерения информации недостаточно. Нужна единица измерения, тогда мы сможем определять, в каком сообщении информации больше, в каком — меньше.Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица носит название «бит». Ее определение звучит так:Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.    Например, после сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил. Наконец, учитель объявляет результаты, и он получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5».    Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.Неопределенность знаний о некотором событии — это количество возможных результатов события.Рассмотрим еще один пример.На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?

Источник: https://www.sites.google.com/site/izmerinf/home/soderzatelnyj-podhod