инженеру по технике связи вовсе не обязательно вникать в суть сообщений, передаваемых по линии связи. Его задача заключается в том, чтобы любое подобное сообщение передавать как можно скорее, с наименьшими затратами средств (энергии, диапазона используемых частот) и, по возможности, безо всяких потерь. И пусть тот, кому предназначена данная информация (получатель сообщений), вникает в смысл, определяет ценность, решает, как использовать ту информацию, которую он получил.
Вот такой сугубо прагматичный подход позволил Шеннону ввести единую, не зависящую от смысла и ценности меру количества информации, которая оказалась пригодной для анализа всех обладающих той или иной степенью упорядоченности систем.
Метод, использованный Шенноном для исчисления информации, известен в науке как метод абстрагирования от некоторых конкретных свойств исследуемых явлений с целью выявления их более общих свойств. Шеннону пришлось для этого игнорировать смысл и ценность анализируемых сообщений подобно тому, как Галилею пришлось задолго до этого исключить из рассмотрения силу трения, чтобы выявить более общее свойство всякого механического движения (закон инерции). После того, как были открыты законы механики, стал возможен анализ любого механического движения уже с учетом силы трения, присутствующей в процессах движения всех конкретных механических систем.
Нечто подобное произошло и с теорией информации, когда после основополагающих работ Шеннона начали разрабатываться основы смысловой (семантической) и ценностной (прагматической, аксиологической) информационных теорий.
Однако ни одной из этих теорий и предлагаемых их авторами единиц измерения ценности или смысла не суждено было приобрести такую же степень универсальности, какой обладает мера, которую ввел в науку Шеннон.
Дело в том, что количественные оценки смысла и ценности информации могут производится только после предварительного соглашения о том, что же именно в каждом конкретном случае имеет для рассматриваемых явлений ценность и смысл. Нельзя одними и теми же единицами измерить ценность информации, содержащейся, скажем, в законе Ома и в признании любви. Иными словами, критерии смысла и ценности всегда субъективны, а потому применимость их ограничена, в то время как мера, предложенная Шенноном, полностью исключает субъективизм при оценке степени упорядоченности структуры исследуемых систем.
Так что же характеризует подсчитанная по формуле Шеннона величина энтропии текста, выражаемая количеством бит? Только лишь одно свойство этого текста — степень его упорядоченности или, иными словами, степень его отклонения от состояния полного хаоса, при котором все буквы имели бы равную вероятность, а текст превратился бы в бессмысленный набор букв.
Упорядоченность текста (или любой другой исследуемой системы) будет тем больше, чем больше различие вероятностей и чем больше вероятность последующего события будет зависеть от вероятностей предыдущих событий8. При этом,
согласно негэнтропийному принципу информации количество информации, выражающее этот порядок, будет равно уменьшению энтропии системы по сравнению с максимально возможной величиной энтропии, соответствующей отсутствию упорядоченности и наиболее хаотичному состоянию систем9.
Методы исчисления информации, предложенные Шенноном, позволяют выявить соотношение количества предсказуемой (то есть формируемой по определенным правилам) информации и количества той неожиданной информации, которую нельзя заранее предсказать.
Содержащуюся в правилах информацию Шеннон определил как ИЗБЫТОЧНУЮ, потому что знание правил построения сообщений позволяет предсказывать появление букв (или других символов) раньше, чем они будут сообщены по линии связи.
Таким способом удается в той или иной степени «разгрузить» предназначенный для передачи сообщений канал. Проведенный Шенноном анализ английских текстов показал, что содержащаяся в них избыточная информация составляет около 80% от общего количества информации, которое заключает в себе письменный текст. Остальные 20% — это та самая энтропия, благодаря которой текст может служить источником непредсказуемой энергии10.
Если бы текстовые, устные или зрительные (в частности телевизионные) сообщения были полностью лишены энтропии, они не приносили бы получателям сообщений никаких новостей.
Если бы письменный текст строился только на основании заранее сформулированных правил, то, установив эти правила по тексту первой страницы, можно было бы заранее предсказать, что будет написано на страницах 50, 265, 521 и т.д.
ПРЕДЕЛЫ ЭВОЛЮЦИОННОЙ ИЗМЕНЧИВОСТИ ИНФОРМАЦИОННЫХ СИСТЕМ
Наиболее наглядной иллюстрацией информационно-энтропийных закономерностей и ограничений эволюционных процессов может служить письменный текст. А поскольку текст есть не что иное, как закодированное отражение устной речи, имеет смысл в дальнейшем вести речь об эволюции языка.
Примерами эволюционных изменений языка могут служить, в частности, образование неологизмов, заимствование иностранных слов и др.
Приобщение бывших социалистических стран к международному рынку сопровождается ассимиляцией таких терминов, как «менеджмент», «маркетинг», «дилер» и т.п. С переходом к парламентским формам управления государством в бывших социалистических странах приобрели популярность такие понятия, как «консенсус» и «плюрализм».
Процесс вовлечения в лексикон новых слов имеет ряд существенных ограничений. Необходимым условием ассимиляции иностранных слов оказывается адаптация этих слов к новой языковой среде. При включении иностранного слова в лексикон нового языка, слово это должно подчиняться действующим в этом языке правилам согласования слов (т. е. правилам склонения, сопряжения и др.). Подобная адаптация аналогична процессам обучения живых организмов правилам поведения в необычной для них среде).
В свою очередь правила согласования слов подчиняются требованиям, возникающим на еще более высоких уровнях языковой структуры.
Эти требования зависят прежде всего от смыслового содержания текста, от стиля, присущего составителю, данного текста и, наконец, от всего набора грамматических и фонетических правил данного языка.
Например, слово СПУТНИК было введено в русский язык Достоевским. Из бытовой сферы ( «спутник жизни ») это слово распространилось в область астрономии («Луна — спутник Земли») и стало международным словом после того, как в Советском Союзе был запущен первый искусственный спутник Земли. Однако, при всех трансформациях смысла форма этого слова определялась правилами грамматики, установленными вместе с возникновением языка.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
Вот такой сугубо прагматичный подход позволил Шеннону ввести единую, не зависящую от смысла и ценности меру количества информации, которая оказалась пригодной для анализа всех обладающих той или иной степенью упорядоченности систем.
Метод, использованный Шенноном для исчисления информации, известен в науке как метод абстрагирования от некоторых конкретных свойств исследуемых явлений с целью выявления их более общих свойств. Шеннону пришлось для этого игнорировать смысл и ценность анализируемых сообщений подобно тому, как Галилею пришлось задолго до этого исключить из рассмотрения силу трения, чтобы выявить более общее свойство всякого механического движения (закон инерции). После того, как были открыты законы механики, стал возможен анализ любого механического движения уже с учетом силы трения, присутствующей в процессах движения всех конкретных механических систем.
Нечто подобное произошло и с теорией информации, когда после основополагающих работ Шеннона начали разрабатываться основы смысловой (семантической) и ценностной (прагматической, аксиологической) информационных теорий.
Однако ни одной из этих теорий и предлагаемых их авторами единиц измерения ценности или смысла не суждено было приобрести такую же степень универсальности, какой обладает мера, которую ввел в науку Шеннон.
Дело в том, что количественные оценки смысла и ценности информации могут производится только после предварительного соглашения о том, что же именно в каждом конкретном случае имеет для рассматриваемых явлений ценность и смысл. Нельзя одними и теми же единицами измерить ценность информации, содержащейся, скажем, в законе Ома и в признании любви. Иными словами, критерии смысла и ценности всегда субъективны, а потому применимость их ограничена, в то время как мера, предложенная Шенноном, полностью исключает субъективизм при оценке степени упорядоченности структуры исследуемых систем.
Так что же характеризует подсчитанная по формуле Шеннона величина энтропии текста, выражаемая количеством бит? Только лишь одно свойство этого текста — степень его упорядоченности или, иными словами, степень его отклонения от состояния полного хаоса, при котором все буквы имели бы равную вероятность, а текст превратился бы в бессмысленный набор букв.
Упорядоченность текста (или любой другой исследуемой системы) будет тем больше, чем больше различие вероятностей и чем больше вероятность последующего события будет зависеть от вероятностей предыдущих событий8. При этом,
согласно негэнтропийному принципу информации количество информации, выражающее этот порядок, будет равно уменьшению энтропии системы по сравнению с максимально возможной величиной энтропии, соответствующей отсутствию упорядоченности и наиболее хаотичному состоянию систем9.
Методы исчисления информации, предложенные Шенноном, позволяют выявить соотношение количества предсказуемой (то есть формируемой по определенным правилам) информации и количества той неожиданной информации, которую нельзя заранее предсказать.
Содержащуюся в правилах информацию Шеннон определил как ИЗБЫТОЧНУЮ, потому что знание правил построения сообщений позволяет предсказывать появление букв (или других символов) раньше, чем они будут сообщены по линии связи.
Таким способом удается в той или иной степени «разгрузить» предназначенный для передачи сообщений канал. Проведенный Шенноном анализ английских текстов показал, что содержащаяся в них избыточная информация составляет около 80% от общего количества информации, которое заключает в себе письменный текст. Остальные 20% — это та самая энтропия, благодаря которой текст может служить источником непредсказуемой энергии10.
Если бы текстовые, устные или зрительные (в частности телевизионные) сообщения были полностью лишены энтропии, они не приносили бы получателям сообщений никаких новостей.
Если бы письменный текст строился только на основании заранее сформулированных правил, то, установив эти правила по тексту первой страницы, можно было бы заранее предсказать, что будет написано на страницах 50, 265, 521 и т.д.
ПРЕДЕЛЫ ЭВОЛЮЦИОННОЙ ИЗМЕНЧИВОСТИ ИНФОРМАЦИОННЫХ СИСТЕМ
Наиболее наглядной иллюстрацией информационно-энтропийных закономерностей и ограничений эволюционных процессов может служить письменный текст. А поскольку текст есть не что иное, как закодированное отражение устной речи, имеет смысл в дальнейшем вести речь об эволюции языка.
Примерами эволюционных изменений языка могут служить, в частности, образование неологизмов, заимствование иностранных слов и др.
Приобщение бывших социалистических стран к международному рынку сопровождается ассимиляцией таких терминов, как «менеджмент», «маркетинг», «дилер» и т.п. С переходом к парламентским формам управления государством в бывших социалистических странах приобрели популярность такие понятия, как «консенсус» и «плюрализм».
Процесс вовлечения в лексикон новых слов имеет ряд существенных ограничений. Необходимым условием ассимиляции иностранных слов оказывается адаптация этих слов к новой языковой среде. При включении иностранного слова в лексикон нового языка, слово это должно подчиняться действующим в этом языке правилам согласования слов (т. е. правилам склонения, сопряжения и др.). Подобная адаптация аналогична процессам обучения живых организмов правилам поведения в необычной для них среде).
В свою очередь правила согласования слов подчиняются требованиям, возникающим на еще более высоких уровнях языковой структуры.
Эти требования зависят прежде всего от смыслового содержания текста, от стиля, присущего составителю, данного текста и, наконец, от всего набора грамматических и фонетических правил данного языка.
Например, слово СПУТНИК было введено в русский язык Достоевским. Из бытовой сферы ( «спутник жизни ») это слово распространилось в область астрономии («Луна — спутник Земли») и стало международным словом после того, как в Советском Союзе был запущен первый искусственный спутник Земли. Однако, при всех трансформациях смысла форма этого слова определялась правилами грамматики, установленными вместе с возникновением языка.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18