Страница 7 - Разум природы и разум человека - А.М. Хазен - Философия как наука

            Математическая формализация понятия об информации есть одно из крупнейших достиже­ний ХХ века. Однако она воз­ник­ла и раз­вита для задач обра­бот­ки и передачи человеческих сооб­ще­ний. В них обя­зательно суще­ст­ву­ет цель передачи информации. Ме­то­ды и опреде­ления теории инфор­ма­ции как науки о передаче сообще­ний неустранимо прямо или кос­вен­но основаны на существовании такой цели.

            При существовании цели, для достижения которой пере­да­ют­ся со­об­щения, абстрактное математическое определение ко­ли­чества ин­фор­ма­­ции основано на простых житейских аналогиях. На­при­мер. Есть го­род. Есть ваш друг, который живёт в “синем доме с ба­шен­кой” где-то в этом городе. “Синий дом” – это есть известная за­дан­ная цель. Вы можете в этом городе пойти из случайной точки по слу­чай­ным улицам и ходить так до тех пор, пока не увидите этот дом. Как бы не был сложен город, мож­но под­считать число   возможных маршрутов та­ко­го по­ис­ка. Это число, как элементарно понят­но, очень большое. Удоб­­нее использовать его ло­гарифм по любому основанию, например, на­ту­ральный. Тогда можно записать вместо числа     его логарифм:

.                                              (1.4)

            Ваш друг написал вам письмо и сообщил свой адрес и маршрут к нему. До получения письма была неопределённость маршрутов в виде числа   воз­можных их вариан­тов, записанного в логарифмической фор­ме . Письмо есть информация для вас в самом обиходном виде – она задала вам един­ст­венный маршрут вме­сто  случайных. Он не обя­за­тель­­но наиболее вероятный – он только есть заданный, определённый.

            Информа­ция в письме устра­нила не­оп­ре­­­делён­ность. Число , которое описы­ва­ет уст­ранённую не­оп­ределен­ность, есть мера количест­ва информации. Это и есть стро­гое математическое определение по­ня­тия – информа­ция – в терминах человеческих сообщений. Видна анало­гия с предыдущим. Число возможных сос­­­тояний системы при опреде­ле­нии энтропии (1.1) и неопределённость, выраженная числом возможных маршрутов в достижении цели, – од­но­род­ные переменные. Как и в (1.1), в итоговом определении меры инфор­ма­ции (1.4) исполь­зо­ва­но не само число ,  а его лога­рифм – число . Отличие между ними в том, что оп­ре­­де­ление (1.1) описывает наиболее вероятное состояние системы. Для этого используется процедура нор­мировки энтропии (которая будет по­яс­нена в параграфе 9 этой главы).

            Информация есть устранённая неопределенность. Количест­вен­­но её выражает логарифм числа случайных вариантов, ко­то­рые ин­фор­­мация за­ме­ни­ла единственным. Определение (1.1) и (1.4) похожи. По­доб­но (1.1а) определение (1.4) может быть записано с помощью веро­ят­­но­с­тей   в виде:

.                                           (1.4а)      

            Опять знак минус появляется потому, что числа возможных состо­я­ний больше единицы, а вероятности состояний – меньше едини­цы. Опять, если не будет оговорено, ссылка на (1.4) подразумевает и (1.4а).

            Разница между (1.1) и (1.4) не в формулах, а в сопровождаю­щих их ус­ловиях – энтропия-информация Больцмана-Гиб­б­са есть харак­те­ристи­ка максимума вероятности состояния системы, а в теории ин­формации оп­ределение Хартли (1.4), (1.4а), введенное в 1928 г., относится к кон­крет­но­му со­бытию (см. [20], [21]). На связь опре­деления ин­фор­мации с энтропией впервые обратил внимание Л. Сцилард  в 1929 г.

            Непостижимая для многих сложность абстрактного понятия об ин­формации сводится к элементарному. Всегда можно подсчитать число случай­ных ва­ри­антов достижения некоей цели или вероятность этого. Далее вычислить логарифм и принять его величину мерой информации то­го со­общения, ко­то­рое устра­ни­ло не­оп­ре­­делённость. Такую инфор­ма­­цию при­нято назы­вать  информацией Хартли. Однако и в теории ин­фор­ма­ции, как науке о передаче сообщений человеком, иногда исполь­зует­ся информация (энтропия) в смысле Больцмана.  

            Природа “знает” только натуральные логарифмы. Поэтому энтро­пия-информация (1.1) определена именно на их основе. Логарифм может быть определён при любом основании А, а не обязательно при ос­но­вании в виде числа  e,  как это соответствует нату­раль­ным лога­риф­мам. Чело­век мо­жет использовать разные основания логарифмов – деся­тичные, дво­­ич­ные и другие – произвольные с любыми основаниями  A. Поэтому определение информации (1.4) в зависимости от выбора основания ло­га­рифмов будут давать разные чис­ла. Такого в определе­ниях переменных для описания процессов и явле­ний быть не должно.

            Для того, чтобы исключить этот разнобой, определение информа­ции (1.4), записанное с использованием лога­риф­ма по основанию  А,  до­пол­няют множителем:

.                                               (1.5)

            Тогда

.                                         (1.6)

            Конкретная величина (1.5) множителя  возникает в этом слу­чае по­то­­му, что адиабатический инвариант абстрактной системы дол­жен быть ра­вен единице. Множитель (1.5) определяет величину и название еди­ницы изме­рения информации в зависимости от выбранного “алфа­ви­та”, который отра­жа­ет основание логарифмов. Для привычной человеку абстрактной информации осно­ва­ние логарифмов указывает число сим­во­лов  А  того “алфавита”, ко­то­рый он использует. В таком случае опре­де­ле­ние энтро­пии-информации (1.4) при­обретает вид:

 =  lnA logA..                                       (1.7)

            В таком виде мера информации, не зави­сит от выбора основания ло­гарифмов, но имеет разные единицы из­ме­ре­ния. Например, при  А = 2  это извест­ный всем бит. Если величина  K = 1,  то такую единицу информации на­зы­вают нат.

            Кстати, приведенные выше пояснения относительно единиц изме­ре­ния информации нетривиальны. Обычно (для определённости см., на­при­мер, [22]) выбор множителя в (1.6) обосновывают соображениями [22] типа: “Выбор коэффициента K произволен и должен быть сделан на ос­но­ве соображений удобства”.

            Существует (в том числе среди квалифицированных науч­ных ра­бот­ников) заблуждение. Например, оно явно вы­­­­с­­каза­но в популярной статье [23] академика Н.Н. Моисеева:  “Все процессы, которые физика изу­­чает, прекрасно укладываются в те законы и принципы отбора, ко­то­рые об­ходятся без понятия "информация". Ко­ро­че говоря, физике поня­тие ин­формации не нужно. И я уверен, что фи­зи­ческие законы и впредь не будут содержать этого понятия”. Такие заявления есть ошибка.

            В механике (как основе физики) уже боль­ше 150 лет существует пе­ре­менная – действие. Пусть тело массой m движется равномерно и прямолинейно со скоростью  v  и прошло путь, длиною  r.  Количество дей­­­ствия в этом случае есть:   (Джс).  В такой постановке задачи про­изведение   – импульсу тела.

Казалось бы, действие есть “невыразительная” перемен­ная. Одна­ко она самым существенным образом участвует в фундаментальных законах приро­ды. Например, ме­ханическая траектория частицы опреде­ляется на основе вариационных принципов как геометрическое место точек ми­нимума дей­ствия. Знаменитая постоянная Планка есть квант действия. Распро­странение света (любых электромагнитных волн) опи­сы­­ва­ется с участием экстремума действия. Внимательный ана­лиз фунда­мен­таль­ных работ в механике и в физике показывает, что в ос­но­вах нау­ки действие есть даже более важная переменная, чем, например, энергия.

Ввёл в науку действие как её переменную ещё в 1744 г. П. Мо­пер­тюи. Он же сформулировал важнейший и пер­вичный для многих об­ла­с­тей на­у­ки принцип наименьшего действия, но­сящий его имя. По­чему эта, ка­залось бы, ординарная функция импульса и времени имеет важ­нейшее значение в науке? Такого вопроса никто ещё не ставил. Ра­бо­тают ма­те­ма­тические формулы на основе действия – и достаточно.

Как впервые исчерпывающе показано в [11], действие есть осново­по­лагающая переменная механики и физики потому, что в “осно­ве ос­нов” науки – в классической меха­ни­ке Гамильтона-Якоби – дейст­вие есть энтропия (1.1) как мера больцмановской информации (функция Ляпунова). Только знак у неё противоположный – тот, который ввёл  Гиббс. Вот почему “невыразительное” действие столь важно в науке!

Поэто­му реально (а не на основе застарелой невнимательности) фи­зи­чес­кие за­коны без участия понятия об информации как фи­зичес­кой пере­мен­ной не суще­ст­вовали, не существуют и впредь существовать не мо­гут. Од­на­ко природа не имеет цели. Этим информация в законах фи­зики отли­ча­ет­ся от ин­фор­мации при передаче человеческих сообщений. Информа­ция в приро­де должна быть первичной для всех её законов, но при этом она должна быть физической переменной, так как этот термин тавто­ло­гич­но означа­ет то, что описывает именно процессы природы.

            Информация в терминах человеческого общения и информация как физическая переменная выражаются, казалось бы, одинаковыми фор­мулами (1.1) и (1.4). Формулы действительно одина­ко­вы. Но, под­черк­ну ещё раз, между ними есть принципиальное отличие, которое со­дер­жится вне их самих. Определение энтропии-информации как физи­чес­кой пере­менной (1.1) вклю­чает в себя дополнительное определение – пе­ре­менная  S  в них опи­сы­вает максимум вероятности состояния сис­те­мы. Этот максимум ус­танавливает дополнительная неотъемлемая при­над­­­леж­­ность опреде­ле­ния (1.1) – процедура нормировки энтропии.

            Существует ещё одно отличие определения энтропии как физичес­кой переменной – меры информации (1.1) – и информации, под­ра­зу­мева­ю­­щей существование цели в форме (1.4). Мера (1.1) считается мерой не­оп­ре­делённости (или как иначе говорят – беспорядка). Мера (1.4) есть ус­­т­ра­нённая неопреде­лён­­ность. Для информации как физической пере­мен­ной неопределённость устраняет само существование объек­та (процесса) природы или техники.