Комментарии теории К. Фристона «Предсказательное кодирование и Принцип свободной энергии»

Карл Фристон родился 12 июля 1959 года - британский нейробиолог и специалист по визуализации мозга, изобретатель статистической параметрической разметки и воксельной морфометрии, член Британской Медицинской Академии, член Лондонского королевского общества, научный директор Лаборатории функциональных изображений при Университетском колледже Лондона, профессор Лондонского университета.

Ссылка на оригинальный текст: Принцип свободной энергии: единая теория мозга 

Комментарии сделаны в контексте понимания теории  МВАП .

Краткое описание теории и критика

Теория Карла Фристона, включающая гипотезу Predictive Coding (предсказательного кодирования) и Принцип Свободной Энергии (Free Energy Principle), представляет собой одну из наиболее амбициозных и фундаментальных попыток объяснить работу мозга, сознания и поведения на основе единого математического и нейробиологического принципа.

Принцип свободной энергии (Free Energy Principle) и его реализация в форме предсказательного кодирования (Predictive Coding) — развивалась постепенно, но в её устоявшемся виде она была сформулирована в конце 2000-х годов. Ключевой год: 2006 когда Карл Фристон опубликовал статью, которая считается фундаментальной для современного понимания его теории: Friston, K. J. (2006). "A theory of cortical responses". Philosophical Transactions of the Royal Society B, 360(1456), 815–836.

1. Принцип свободной энергии — это универсальный закон, предложенный Карлом Фристоном, утверждающий, что любая самоподдерживающаяся (автопоэтическая) система, включая живые организмы, стремится минимизировать "свободную энергию", что эквивалентно минимизации предвзятости (surprise) или неожиданности в восприятии окружающего мира.

Свободная энергия — это математическая величина из теории вероятностей и статистической механики, которая служит верхней границей (оценкой) уровня "удивления" системы (уровень удивления – то, что испытывает модель при столкновении с новыми данными: более низкое значение удивления указывает на более высокий уровень точности прогнозирования при анализе текста моделью). Если вы ожидали дождя, а пошёл солнечный день — это высокое удивление, потому что событие маловероятно с точки зрения вашей модели мира. Если вы ожидали Солнца и оно светит — удивление низкое.

Фактически Фристон делает попытку заменить принципы актуализации ориентировочного рефлекса (И.П. Павлов, Э.Н. Соколов) методами статистики.

Фристон полагает, что живые системы (включая мозг) не могут напрямую минимизировать "удивление", поскольку оно зависит от истинного состояния мира, которое неизвестно. Вместо этого они минимизируют свободную энергию — приближённую оценку этого удивления.

Минимизация свободной энергии достигается двумя способами:

Обновление внутренней модели мира (восприятие, обучение) — чтобы лучше предсказывать сенсорный ввод.

Изменение сенсорного ввода через действия (поведение) — активное изменение среды, чтобы она соответствовала предсказаниям (например, закрыть глаза при ярком свете).

Таким образом, восприятие и действие объединяются в единую цель — уменьшение предсказательной ошибки.

Показано (О.Виноградова, Е.Соколов), что в адаптивных системах не статистика, а выявление новизны и значимости является принципиальной основой реакции привлечения осознанного внимания. Теория Фристона, напротив, утверждает, что мозг — это предсказательная машина, которая минимизирует предсказательную ошибку.

Теория Фристона была опубликована значительно позже работ О.Виноградовой (fornit.ru/70149), Е.Соколова (fornit.ru/70098) о сути и механизмах ориентировочного рефлекса. Он их идеи он прямо цитирует и считает предшественниками своей теории. В своих статьях он неоднократно ссылается на Е.Н. Соколова и его "модель следа памяти", как на прямого предшественника идеи предсказательного кодирования. Но принципы, выявленные Виноградовой и Соколовым никак не могут соответствовать статистическим методам выявления нового и значимого, потому что адаптивное, смысловое, биологически значимое поведение не сводится к статистическим вычислениям. Поэтому подход Фристона — это не развитие, а искажение, ведущее к неверному выводу, будто мозг — это статистическая машина.

Что действительно показали Виноградова и Соколов?

Их работы — это эмпирические открытия, основанные на реальных нейрофизиологических экспериментах.

Соколов показал: ориентировочный рефлекс возникает при расхождении между стимулом и "следом памяти".

Виноградова показала: нейроны гиппокампа активируются при нарушении контекста, при появлении нового или значимого события, даже если оно не яркое.

Реакция не зависит от интенсивности, а от семантической новизны: "Это — не то, что было вчера". Это не просто "ошибка предсказания", а выделение смысла, контекста, релевантности.

Фристон говорит, что мозг — это байесовская машина, которая минимизирует свободную энергию — математическую оценку "удивления". Он делает иерархические прогнозы и реагирует на предсказательную ошибку.

Оценка вероятности – это высокоразумный уровень оценки ситуации (модели понимания: fornit.ru/69260), который не сводится к эволюционно древним механизмам выделения наиболее актуального стимула. Фристон не различает уровни от рефлекторной реакции гиппокампа до осознанного прогнозирования у человека, потому что у него нет достаточно определенных представлений об организации сложных когнитивных процессов.

Фристон действительно использует один и тот же принцип — минимизацию свободной энергии — для объяснения всего, от поведения бактерии, до восприятия, внимания, сознания и психопатологии у человека. Он утверждает, что все адаптивные системы, включая нейроны, мозг, организм, работают по одному универсальному принципу — минимизации предсказательной ошибки.

Реакция нейрона гиппокампа на изменение контекста (у мыши) — это биологически запрограммированный ответ на нарушение стабильности. Осознанное прогнозирование у человека — это символическое моделирование будущего, опирающееся на язык, память, культурный опыт, рефлексию.

Многие ведущие учёные выражают схожую критику:

2. Predictive Coding (Предсказательное кодирование)

Predictive Coding — это нейробиологическая реализация принципа свободной энергии в мозге. Согласно этой гипотезе:

•  Мозг постоянно строит иерархическую внутреннюю модель мира.

•  На каждом уровне иерархии (от низкоуровневых сенсорных областей до высоких когнитивных) формируются прогнозы о входящих сенсорных сигналах.

•  Эти прогнозы сравниваются с реальными сенсорными данными, и разница между ними называется предсказательной ошибкой (prediction error).

•  Ошибка передаётся вверх по иерархии, чтобы обновить модель, а сами прогнозы передаются вниз, чтобы интерпретировать входные данные.

Таким образом, мозг не просто "обрабатывает" сенсорный ввод, а активно предсказывает его и корректирует модель, когда предсказания не совпадают с реальностью.

Пример: если вы видите размытое пятно, которое похоже на кошку, ваш мозг может сгенерировать прогноз "это кошка", и, если дальнейшие детали подтверждают это, ошибка уменьшается. Если же оказывается, что это плюшевая игрушка, ошибка возрастает, и модель обновляется.

Концепция PredictiveCodingне использует разделение уровней адаптивных систем в мозге от простейших основ реагирования до процессов осмысления актуальных стимулов с целью найти альтернативное действие в новых условиях. Мозг как бы постоянно строит иерархическую внутреннюю модель мира при любом восприятии неким общим целостным механизмом, а не уровнями эволюционных дополнений. На самом деле при восприятии постоянно выделяются наиболее актуальные стимулы в случае новизны, которая является главным признаком необходимости пересмотреть привычное. И тогда активируется канал осознанного осмысления с огромной и сложной функциональностью.

Фристон описывает мозг как единый иерархический процесс, где на всех уровнях — от сенсорной коры до префронтальных зон — действует один и тот же принцип: прогноз → ошибка → обновление модели, без различия между рефлекторной реакцией и осознанным решением. Всё сводится к минимизации предсказательной ошибки — будь то мигание при вспышке или решение в шахматах.

Мозг — не единая предсказательная машина, а результат эволюционного наращивания функциональных систем. Выявленная актуальность - не ошибка предсказания в байесовском смысле, а биологически значимое событие, требующее перестройки поведения.

Predictive Coding — это мощная математическая модель, полезная для ИИ и анализа данных.

Но она не отражает полной картины работы мозга, особенно если говорить о биологической реальности, эволюции и сознании.

3. Ключевые следствия теории

Хотя теория Фристона предлагает впечатляюще универсальную модель, её ключевые следствия требуют осторожной интерпретации, особенно в свете эмпирических данных о работе мозга.

Восприятие как гипотеза — не всегда осознанное построение интерпретации. Теория утверждает, что мозг постоянно строит «гипотезы» о мире. Но это не означает, что восприятие всегда — результат активного байесовского вывода.

На низких уровнях (например, зрительная кора) действительно могут действовать механизмы, напоминающие предсказательное кодирование. Однако высшие уровни восприятия — особенно те, что связаны с новизной, значимостью и вниманием — не управляются единым алгоритмом предсказания.

Как показали Виноградова и Соколов, восприятие начинается не с прогноза, а с реакции на нарушение ожидания — то есть с детектирования несоответствия, а не с его статистического вычисления.

Не всё восприятие — это «построение гипотезы». Чаще — это реакция на сбой в привычной модели, запускающая каскад переработки информации, включая осознанное внимание.

Действие как подтверждение прогнозов — метафора, не соответствующая биологии. Идея, что мы действуем, чтобы «сделать мир таким, каким мы его ожидаем», — элегантная математическая абстракция. Но в реальности животные и люди не стремятся подтвердить модель, а реагируют на угрозу, дефицит, новизну.

Действие часто не опосредовано сознанием, а идёт по шаблонам, инстинктам, привычкам. Только при неожиданности или неудаче включается осознанное планирование — и то не для «подтверждения прогноза», а для поиска альтернативы.

Действие — не реализация предсказания, а адаптация к изменению. И осознанное действие включается не постоянно, а по требованию, когда автоматические стратегии не работают.

Единство ума и тела — но не через минимизацию энергии. Теория пытается объединить когнитивные процессы, эмоции и гомеостаз в единую систему минимизации свободной энергии. Но гомеостаз (например, регуляция температуры) — это автоматический, древний механизм, не требующий «модели мира». Эмоции — не «ошибки предсказания», а биологические сигналы значимости, выработанные эволюцией. Сознание — не уровень предсказания, а специализированный канал обработки новой, сложной информации, активируемый при необходимости.

Мозг — не единая предсказательная машина, а иерархически организованная система, где низкие уровни — реагируют на новизну и значимость, высокие уровни — включаются для осмысления и поиска решений. Связь между ними — не симметричная иерархия прогнозов, а каскад активации по принципу «сбой → внимание → анализ».

Психопатология - не дисбаланс прогнозов, а сбой в системе адаптации. Теория объясняет шизофрению как «чрезмерная значимость предсказательной ошибки» или «слабые априоры». Но психические расстройства — это не просто «ошибки в вычислениях». Они связаны с нарушением обработки значимости, дефектами в системе новизны, сбоем в переключении между автоматизмом и осознанием. Например, у больных шизофренией гиппокамп и амигдала дают некорректные сигналы о значимости, что запускает ложную активацию осознанного канала — отсюда бред, паранойя.

Психопатология — не ошибка в байесовской модели, а дисфункция эволюционно закреплённых механизмов выделения актуального стимула. Проблема не в «прогнозах», а в том, что система ошибочно считает обычное — угрожающим. 

Ключевые следствия теории Фристона выглядят убедительно в математической форме, но теряют биологическую достоверность, когда сталкиваются с реальной организацией мозга. Мозг — не предсказательная машина, работающая 24/7, а адаптивная система, сочетающая древние механизмы выделения актуального стимула с поздно-эволюционировавшими каналами осознанного осмысления. Новизна — не следствие ошибки, а её причина. Осознание — не уровень прогноза, а ответ на необходимость пересмотра привычного.

Фрагменты для комментирования выделены желтым, комментарии – синие.

Статья: Фристон К.Дж.: Принцип свободной энергии: единая теория мозга? Nat. Rev. Neurosci. 11, 127-138 (автоперевод). February 2010

Аннотация

Недавно был предложен принцип использования свободной энергии, который объясняет действие, восприятие и обучение. В этом обзоре рассматриваются некоторые ключевые теории мозга в биологических (например, нейронный дарвинизм) и физических (например, теория информации и теория оптимального управления) науках с точки зрения использования свободной энергии. Важно отметить, что в каждой из этих теорий прослеживается одна ключевая тема - оптимизация. Более того, если мы внимательно посмотрим на то, что оптимизируется, то увидим, что постоянно появляется одна и та же величина, а именно ценность (ожидаемое вознаграждение, ожидаемая полезность) или ее дополнение, неожиданность (ошибка прогноза, ожидаемые затраты). Это количество оптимизировано в соответствии с принципом свободной энергии, который предполагает, что несколько глобальных теорий мозга могут быть объединены в рамках концепции свободной энергии.

Как уже говорилось, оценка ожидаемого вознаграждения или ожидаемой полезности, любые такие прогнозы – результат процесса осмысления на основе сохраненного опыта взаимодействий со стимулом и не является общим механизмом мозга. Это делает постулаты теории Фристона неадекватными реальности.

Несмотря на обилие эмпирических данных в нейронауке, существует относительно немного глобальных теорий о том, как работает мозг. Недавно предложенный принцип использования свободной энергии для адаптивных систем пытается обеспечить единый подход к действию, восприятию и обучению. Хотя этот принцип и преподносится как единая теория мозга, его способность объединять различные точки зрения на функции мозга еще предстоит установить. В этом обзоре предпринята попытка поместить некоторые ключевые теории в рамки теории свободной энергии в надежде выявить общие темы. Сначала я рассматриваю принцип свободной энергии, а затем разбираю несколько глобальных теорий о мозге, чтобы показать, что все они основаны на одной и той же основополагающей идее.

Нет такой общей единой функциональности, которая бы обеспечивала одним механизмом перечисленные адаптивные явления.

Принцип свободной энергии

Принцип свободной энергии (ВСТАВКА 1) гласит, что любая самоорганизующаяся система, находящаяся в равновесии со своей окружающей средой, должна минимизировать свою свободную энергию.

Минимизация “удивления” и любых других выделенных значений не является самоцелью адаптивного процесса, первозадачей которого является поддержание баланса жизненных параметров гомеостаза. Утверждение о то, что система должна минимизировать “свободную энергию” не соответствует реальной функциональности индивидуальной системы адаптивности.

Этот принцип, по сути, представляет собой математическую формулировку того, как адаптивные системы (то есть биологические агенты, такие как животные или мозг) противостоят естественной тенденции к нарушению. Далее следует нематематическая трактовка мотивации и следствий этого принципа. Мы увидим, что, хотя мотивация довольно проста, последствия сложны и разнообразны. Это разнообразие позволяет принципу учитывать многие аспекты структуры и функционирования мозга и дает ему возможность объединить различные точки зрения на то, как работает мозг. В последующих разделах я расскажу о том, как этот принцип может быть применен к нейронным системам с точки зрения этих точек зрения. Этот обзор начинается довольно абстрактно и технически, но затем мы пытаемся изложить основную идею в более привычных терминах. Мотивация: противодействие тенденции к беспорядку.

Беспорядок не имеет отношения к функциональности индивидуальной системы адаптивности, потому что главным для нее является поддержание в норме жизненных параметров, без чего наступает смерть. Выход из нормы жизненных параметров  - это не беспорядок, а закономерный причинно-следственный процесс, который не связан с изменением энтропии системы. "Беспорядок" — не то, что убивает организм. Фристон заменяет физиологию на физику ради некоей универсальности и для этого он прибегает к ухищрениям, понимая суть гомеостатической регуляции лишь в самых общих чертах.

Определяющей характеристикой биологических систем является то, что они сохраняют свои состояния и формируются в условиях постоянно меняющейся окружающей среды. С точки зрения мозга, окружающая среда включает в себя как внешнюю, так и внутреннюю среду. Это поддержание порядка проявляется на многих уровнях и отличает биологию от других самоорганизующихся систем; действительно, физиологию биологических систем можно почти полностью свести к их гомеостазу. Точнее, набор физиологических и сенсорных состояний, в которых может находиться организм, ограничен, и эти состояния определяют фенотип организма. Математически это означает, что вероятность этих (интероцептивных и экстероцептивных) сенсорных состояний должна иметь низкую энтропию; другими словами, существует высокая вероятность того, что система будет находиться в любом из небольшого числа состояний, и низкая вероятность того, что она будет находиться в остальных состояниях. Энтропия - это также средняя информация о себе, или "неожиданность" (более формально, это отрицательная логарифмическая вероятность результата). В этом случае "рыба, вытащенная из воды", находилась бы в удивительном состоянии (как с эмоциональной, так и с математической точки зрения). Рыба, которая часто покидала воду, обладала бы высокой энтропией. Обратите внимание, что и неожиданность, и энтропия зависят от агента: то, что является неожиданностью для одного агента (например, отсутствие воды), может не вызывать удивления у другого. Поэтому биологические агенты должны минимизировать долгосрочное среднее значение неожиданности, чтобы гарантировать, что их сенсорная энтропия остается низкой. Другими словами, биологическим системам каким-то образом удается нарушать теорему о флуктуациях, которая обобщает второй закон термодинамики.

Это очень своеобразная, метафорическая и спорная трактовка понятия энтропии, в которой физическое, биологическое и математическое смешиваются на грани осмысленности. Энтропия — мера неопределённости или разнообразия состояний в системе. Фристон отождествляет удивление с локальным событием, энтропию - с средним удивлением (в теории информации это верно), а потом переносит это на биологию. У рыбы нет "среднего удивления" как внутренней характеристики, она либо живёт в воде, либо задыхается на суше — и умирает за минуты. И рыба не "ожидает" ничего в байесовском смысле. Термин "сенсорная энтропия" — не физическая величина, а математическая абстракция, введённая Фристоном для моделирования. У рыбы нет "сенсорной энтропии", как у газа в сосуде. Фристон превращает выживание в математическую задачу минимизации абстрактной функции, игнорируя физиологию, эволюцию, гомеостаз.

Короче говоря, долгосрочный (отдаленный) императив - поддержание состояний в физиологических пределах — выражается в краткосрочном (ближайшем) избегании неожиданностей. неожиданность здесь относится не только к текущему состоянию, которое невозможно изменить, но и к переходу из одного состояния в другое, которое может измениться.

Это неверно. В раннем онтогенезе наблюдается повышенной ориентировочный рефлекс, потому что буквально все вокруг – новое и еще не понятное (вплоть до состояния СДВГ). Новое не избегается (если опыт не начинает подсказывать, что в данной ситуации новое может быть опасно), а является единственным способом получения осознанного опыта. Дети не избегают неожиданности — они её ищут.

Уже это делает бессмысленным дальнейшее развитие концепции Фристона.

Это движение может быть сложным и непредсказуемым (блуждающим) при условии, что оно повторяет небольшой набор состояний, называемых глобальным случайным аттрактором, которые совместимы с выживанием (например, вождение автомобиля с небольшой погрешностью). Именно это движение позволяет принцип свободной энергии оптимизирует. до сих пор мы говорили только о том, что биологические агенты должны избегать неожиданностей, чтобы их состояние оставалось в пределах физиологических ограничений (смотрите дополнительную информацию s1 (вставка) для более формального объяснения). Но как они это делают? Система не может знать, являются ли ее ощущения неожиданными, и не смогла бы избежать их, даже если бы знала. Вот тут-то и появляется свободная энергия: свободная энергия - это верхняя граница неожиданности, что означает, что если агенты минимизируют свободную энергию, они неявно минимизируют удивление. Важно отметить, что свободная энергия может быть оценена, поскольку она зависит от двух факторов, к которым агент имеет доступ: его сенсорных состояний и плотности распознавания, которая кодируется его внутренними состояниями (например, активностью нейронов и прочностью связей). Плотность распознавания - это вероятностное представление того, что вызвало конкретное ощущение. Эта (вариационная) конструкция определения свободной энергии была введена в статистическую физику для преобразования сложных задач интегрирования плотности вероятности в более простые задачи оптимизации. Это информационный теоретическая величина (например, неожиданность), в отличие от термодинамической величины. вариационная свободная энергия используется в машинном обучении и статистике для решения многих задач логического вывода и обучения [12-14]. В этой ситуации неожиданность называется доказательством (негативной) модели. Это означает, что минимизация неожиданности - это то же самое, что максимизация сенсорных доказательств существования агента, если мы рассматриваем агента как модель его мира. В современном контексте свободная энергия дает ответ на фундаментальный вопрос: как самоорганизующиеся адаптивные системы могут системы избегают неожиданных состояний? Они могут добиться этого, минимизируя свою свободную энергию. так что же это означает?

Последствия: действие и восприятие. Агенты могут подавлять свободную энергию, изменяя две вещи, от которых это зависит: они могут изменять сенсорную информацию, воздействуя на окружающий мир, или они могут изменять плотность распознавания, изменяя свои внутренние состояния. Это различие хорошо соотносится с действием и восприятием (ВСТАВКА 1). что это означает, можно увидеть более подробно, рассмотрев три математически эквивалентных формулировки свободной энергии (математическую трактовку смотрите в дополнительной информации s2 (вставка). Первая формулировка выражает свободную энергию как энергию минус энтропия. Эта формулировка важна по трем причинам. Во-первых, она связывает концепцию свободной энергии, используемую в теории информации, с концепциями, используемыми в статистической термодинамике. во-вторых, это показывает, что свободная энергия может быть оценена агентом, потому что энергия - это удивление по поводу совместного возникновения ощущений и их предполагаемых причин, в то время как энтропия - это просто плотность собственного распознавания агента. В-третьих, это показывает, что свободная энергия основывается на порождающей модели мира, которая выражается в терминах вероятности возникновения ощущение и его причины возникают одновременно. Это означает, что у агента должна быть имплицитная генеративная модель того, как причины вступают в сговор для получения сенсорных данных. Именно эта модель определяет как природу агента, так и качество свободной энергии, связанной с неожиданностью. Вторая формулировка выражает свободную энергию как неожиданность плюс термин дивергенции. Дивергенция (перцептивная) - это просто разница между плотностью распознавания и условной плотностью (или апостериорной плотностью) причин ощущения, заданных сенсорными сигналами. Эта условная дивергенция представляет собой плотность представляет собой наилучшее возможное предположение об истинных причинах. Разница между двумя плотностями всегда неотрицательна, и, следовательно, свободная энергия является верхней границей неожиданности. Таким образом, минимизация свободной энергии путем изменения плотности распознавания (без изменения сенсорных данных) уменьшает расхождение в восприятии, так что плотность распознавания становится условной плотностью, а свободная энергия - неожиданностью. Третья формулировка выражает свободную энергию как сложность минус точность, используя термины из литературы по сравнению моделей. Сложность - это разница между плотностью распознавания и предшествующей плотностью причин; это также известно как байесовская неожиданность15 и представляет собой разницу между предшествующей плотностью, которая кодирует убеждения о состоянии мира до того, как сенсорные данные будут усвоены, и последующими убеждениями, которые кодируются плотностью распознавания. Точность - это просто неожиданность ощущений, которые ожидаются при плотности распознавания . Эта формулировка показывает, что минимизация свободной энергии путем изменения сенсорных данных (без изменения плотности распознавания) должна повысить точность распознавания. предсказания агента. Короче говоря, агент будет выборочно отбирать сенсорные сигналы, которые он ожидает получить. Это называется активным выводом16. Наглядный пример этого процесса (когда это осознается) мы бы пробирались на ощупь в темноте: мы предвидим, к чему можем прикоснуться в следующий раз, а затем пытаемся подтвердить эти ожидания. Таким образом, свободная энергия зависит от модели того, как генерируются сенсорные данные, и от плотности распознавания параметров модели (то есть от сенсорных причин). Свободную энергию можно уменьшить, только изменив процесс распознавания. плотность для изменения условных ожиданий относительно того, что отбирается, или путем изменения сенсорных выборок (то есть сенсорного ввода) таким образом, чтобы они соответствовали ожиданиям. Далее, Я рассматриваю эти выводы в свете некоторых ключевых теорий о мозге.

Байесовская гипотеза о мозге

Байесовская гипотеза о мозге использует байесовскую теорию вероятностей, чтобы сформулировать восприятие как конструктивный процесс, основанный на внутренних или порождающих моделях. Основная идея заключается в том, что у мозга есть модель окружающего, которую он пытается оптимизировать, используя сенсорную информацию. Эта идея связана с анализом посредством синтеза и эпистемологическими автоматами. С этой точки зрения, мозг - это машина логических выводов, которая активно предсказывает и объясняет свои ощущения. Центральное место в этой гипотезе занимает вероятностная модель, которая может генерировать предсказания, на основании которых проверяются сенсорные образцы чтобы обновить представления об их причинах. Эта генеративная модель подразделяется на вероятностную (вероятность сенсорных данных с учетом их причин) и априорную (априорная вероятность этих причин). Затем восприятие становится процессом инвертирования вероятностной модели (отображение от причин к ощущениям) для получения доступа к апостериорной вероятности причин, заданной сенсорными данными (отображение от ощущений к причинам). Эта инверсия аналогична минимизации разницы между первоначальной и последующей плотностями для подавления свободной энергии. Действительно, формулировка свободной энергии была разработана для решения сложной задачи точного вывода путем преобразования ее в более простую задачу оптимизации. Это позволило разработать несколько мощных методов аппроксимации для идентификации и сравнения моделей (например, вариационных байесовских или ансамблевых обучение). С байесовской гипотезой о мозге связано много интересных вопросов, которые можно прояснить с помощью принципа свободной энергии; мы сосредоточимся на двух из них. Первый - это форма генеративной модели и то, как она проявляется в мозге. Одна из критических замечаний в адрес байесовской теории суть методов лечения в том, что они игнорируют вопрос о том, как формируются априорные убеждения, необходимые для логического вывода. Однако эта критика рассеивается с появлением иерархических генеративных моделей, в которых оптимизируются сами априорные убеждения. В иерархических моделях причины на одном уровне порождают подчиненные причины на более низком уровне; сенсорные данные сами по себе генерируются на самом низком уровне (ВСТАВКА 2).

Идея о том, что все зоны мозга являются иерархией реализации одного байевского механизма противоречит реальной функциональности усложняющихся в адаптивной функциональности структур мозга, начиная от примитивов восприятия, выявления актуальных стимулов ориентировочным рефлексом с подключением к префронтальной коре для нахождения альтернатив привычному в новых условиях. Мозг — не иерархия одного алгоритма. Разные структуры мозга выполняют принципиально разные функции, выработанные в разные эпохи эволюции. Мозг не постоянно предсказывает, а большую часть времени следует привычным схемам.

Минимизация свободной энергии эффективно оптимизирует эмпирические предпосылки (то есть вероятность возникновения причин на одном уровне с учетом причин на уровне выше). Важно отметить, что эмпирические первичные причины связаны иерархически, они основаны на сенсорных данных, что позволяет мозгу оптимизировать свои предварительные ожидания в режиме онлайн. Такая оптимизация делает каждый уровень иерархии подотчетным другим, обеспечивая внутренне согласованное представление сенсорных причин на нескольких уровнях описания. Иерархические модели не только играют ключевую роль в статистике (например, случайные эффекты и параметрические эмпирические байесовские модели), они также могут использоваться мозгом, учитывая иерархическое расположение сенсорных областей коры головного мозга.

Вторая проблема - это форма плотности распознавания, которая кодируется физическими характеристиками мозга, такими как синаптическая активность, эффективность и выигрыш. В общем, любая плотность кодируется соответствующими статистическими данными (например, средним значением и дисперсией гауссовой формы). То, как мозг кодирует эти статистические данные, накладывает важные ограничения на схемы, лежащие в основе распознавания: они варьируются от схем произвольной формы (например, фильтрация частиц и вероятностные коды популяции), которые используют огромное количество статистических данных, до более простых формы, которые делают более строгие предположения о форме плотности распознавания, так что она может быть закодирована с небольшим количеством достаточных статистических данных. Самой простой предполагаемой формой является гауссова, которая требует только условного среднего или математического ожидания — это известно как предположение Лапласа, согласно которому свободная энергия - это просто разница между предсказаниями модели и предсказанными ощущениями или представлениями. Таким образом, минимизация свободной энергии соответствует объяснению ошибок прогнозирования. Это известно как прогнозирующее кодирование и стала популярной основой для понимания передачи нейронных сообщений между различными уровнями кортикальной иерархии. В этой схеме единицы измерения ошибок прогнозирования сравнивают условные ожидания с предсказаниями сверху вниз, чтобы выявить ошибку прогнозирования. Эта ошибка прогнозирования передается для управления единицами на уровне выше, которые кодируют условные ожидания, которые оптимизируют нисходящие прогнозы для объяснения (уменьшения) ошибки прогнозирования на уровне ниже. Здесь объяснение означает просто противодействие возбуждающим восходящим прогнозам. входы в нейрон с ошибкой предсказания с ингибирующими синаптическими входами, которые управляются нисходящими предсказаниями (подробное обсуждение смотрите во вставке 2 и ссылках 41,42). Взаимный обмен ошибками прогнозирования "снизу вверх" и "сверху вниз" продолжается до тех пор, пока ошибка прогнозирования не будет сведена к минимуму на всех уровнях и не будут оптимизированы условные ожидания. Эта схема была использована для объяснения многих особенностей ранних зрительных реакций и дает правдоподобное объяснение подавления повторений и рассогласования реакций в электрофизиологии. На рисунке 1 представлены пример перцептивной категоризации, использующей эту схему. Передача сообщений такого рода согласуется с функциональной асимметрией в реальных кортикальных иерархиях, где прямые связи (которые передают ошибки прогнозирования) являются управляющими, а обратные связи (которые моделируют нелинейную генерацию сенсорной информации) обладают как управляющими, так и модулирующими характеристиками. Такая асимметричная передача сообщений также является характерной чертой теории адаптивного резонанс [47,48], которая имеет формальное сходство с прогнозирующим кодированием. В общем, тема, лежащая в основе байесовского мозга. а прогностическое кодирование заключается в том, что мозг является механизмом логического вывода, который пытается оптимизировать вероятностные представления о том, что вызвало его сенсорную реакцию. Эта оптимизация может быть улучшена с помощью (вариационной свободной энергии), зависящей от неожиданности. Короче говоря, принцип свободной энергии вытекает из байесовской гипотезы мозга и может быть реализован с помощью многих схем, рассмотренных в этой области. Почти всегда они включают в себя ту или иную форму передачи сообщений или распространения убеждений между областями или подразделениями мозга. Это позволяет нам связать принцип свободной энергии с другим принципиальным подходом к обработке сенсорных данных, а именно с теорией информации.

Принцип эффективного кодирования

Принцип эффективного кодирования предполагает, что мозг оптимизирует взаимную информацию (то есть взаимную предсказуемость) между сенсориумом и его внутренним представлением в условиях ограничений на эффективность этих представлений. Эта точка зрения была сформулирована Барлоу [49] в терминах принципа сокращения избыточности (или принципа эффективного кодирования) и позже формализована в терминах принципа infomax[50]. Это было применено в машинном обучении, что привело к появлению таких методов, как независимый компонентный анализ, и в нейробиологии, способствующий пониманию природы нейрональных ответов. Этот принцип чрезвычайно эффективен при прогнозировании эмпирических характеристик классических рецептивных полей и обеспечивает принципиальное объяснение разреженного кодирования и разделения потоков обработки в визуальных иерархиях. Он был расширен, чтобы охватить динамику и траектории движения и даже использовался для определения метаболических ограничений, влияющих на обработку нейронами. В самом простом виде принцип infomax гласит, что нейронная активность должна кодировать сенсорную информацию в эффективный и экономичный способ.

Нейроны образуют связи по единому универсальному принципу образования связей и никак при этом не занимаются эффективностью и экономичностью. До первичных зон анализаторов связи устанавливаются согласно наследственно предопределенным путям, а в зонах примитивов восприятия распознаватели формируются в критические периоды развития за счет простой интеграции наиболее частых активностей с использованием латерального торможения для контрастирования. Вот и вся оптимизация. На этом уровне нет никакой коррекции ошибок, что возможно только на уровне осмысления.

В нем рассматривается сопоставление между одним набором переменных (сенсорными состояниями) и другим (переменными, представляющими эти состояния). На первый взгляд кажется, что это исключает вероятностное представление, поскольку это потребовало бы сопоставления между сенсорными состояниями и плотностью вероятности. Однако принцип infomax может быть применен к достаточной статистике плотности распознавания. В этом контексте принцип infomax становится частным случаем принципа свободной энергии, который возникает, когда мы игнорируем неопределенность в вероятностных представлениях (и при отсутствии действия); математические подробности смотрите в дополнительной информации s3 (вставка). Это легко увидеть, если отметить, что сенсорные сигналы генерируются причинами. Это означает, что для прогнозирования этих сигналов достаточно представить причины. Более формально принцип infomax можно понять в терминах разложения свободной энергии на сложность и точность: взаимная информация оптимизируется, когда условные ожидания максимизируют точность (или минимизируют ошибку прогнозирования) и эффективность обеспечивается за счет минимизации сложности. Это гарантирует, что в генеративной модели не применяются избыточные параметры, и приводит к экономному представлению сенсорных данных, которое соответствует предыдущим ограничениям на их причины. Интересно, что передовые методы оптимизации моделей используют оптимизацию свободной энергии для устранения избыточных параметров модели, что позволяет предположить, что оптимизация свободной энергии может дать хорошее объяснение синаптическому сокращению и гомеостазу, которые происходят в мозге во время развития нервной системы и сна. Принцип infomax относится к прямому отображению от сенсорного ввода к репрезентациям. Как это согласуется с оптимизирующими генеративными моделями, которые сопоставляют причины с сенсорным вводом? Эти точки зрения можно согласовать, отметив, что все схемы распознавания, основанные на в infomax можно использовать оптимизацию параметров порождающей модели. Например, в моделях с разреженным кодированием неявные приоритетные значения определяют независимые причины, которые выбираются из сложного или разреженного распределения. Тот факт, что эти модели так хорошо предсказывают эмпирически наблюдаемые рецептивные поля, говорит о том, что мы наделены (или приобретаем) предварительными ожиданиями относительно того, что причины наших ощущений в значительной степени независимы и разрежены. Таким образом, принцип эффективного кодирования гласит, что мозг должен оптимизировать взаимную информацию между его сенсорными сигналами и некоторыми экономными нейронными представлениями. Это то же самое, что оптимизировать параметры генеративной модели для максимальной точности прогнозов в условиях ограничений сложности. Оба они основаны на принципе свободной энергии, который можно рассматривать как вероятностное обобщение принципа инфомакса. Теперь мы обратимся к более биологическим идеям о функционировании мозга, в которых основное внимание уделяется динамике и пластичности нейронов. Это позволяет нам глубже проникнуть в нейробиологические механизмы и реализацию теоретических принципов, изложенных выше.

Теория сборки клеток и корреляции

Теория клеточной сборки была предложена Хеббом [65] и предполагает хеббианскую, или ассоциативную, пластичность, которая является краеугольным камнем зависящей от использования или опыта пластичности [66], корреляционной теории фон де Мальсбурга и других формальных усовершенствований хеббианской пластичности как таковой [69]. Теория клеточной сборки утверждает, что группы взаимосвязанных нейронов образуются в результате усиления синаптических связей, которое зависит от взаимосвязанной пре- и постсинаптической активности; то есть "клетки, которые активируются вместе, соединяются между собой". Это позволяет мозгу выделять статистические закономерности из сенсориума. Теория корреляции рассматривает избирательное включение синаптической эффективности и ее пластичность (также известную как метапластичность), посредством быстрой синхронной активности, вызванной различными перцептивными признаками одного и того же объекта (например, движущимся красным автобусом). Это устраняет предполагаемый недостаток классической пластичности, который не позволяет связать пресинаптический сигнал с конкретной причиной (например, покраснением) в окружающем мире. Теория корреляции лежит в основе теоретических исследований синхронизированной активности мозга и ее роли в ассоциирование или привязка атрибутов к конкретным объектам или причинам. Другой важной областью, основанной на ассоциативной пластичности, является использование сетей аттракторов в качестве моделей формирования и извлечения информации из памяти. Итак, как соотносятся корреляции и ассоциативная пластичность в формулировке свободной энергии? До сих пор мы рассматривали только выводы о состояниях мира, которые вызывают сенсорные сигналы, при этом условные ожидания относительно состояний кодируются синаптической активностью. Однако причины, охватываемые плотностью распознавания, не ограничиваются изменяющимися во времени состояниями (для, например, движения объекта в поле зрения): они также включают не зависящие от времени закономерности, которые придают миру причинно-следственную структуру (например, объекты падают с постоянным ускорением). Эти закономерности являются параметрами генеративной модели и должны выводиться мозгом — другими словами, условные ожидания этих параметров, которые могут быть закодированы синаптической эффективностью (они обозначены μθ во ВСТАВКЕ 2), должны быть оптимизированы. Это соответствует оптимизации сильных связей в мозге, то есть пластичности, которая подчеркивает познающий. Итак, какую форму примет это обучение? Выясняется, что градиентный спуск по свободной энергии (то есть изменение связей для уменьшения свободной энергии) формально идентичен хеббианской пластичности (ВСТАВКА 2). Это связано с тем, что параметры генеративной модели определяют, как ожидаемые состояния (синаптическая активность) смешиваются для формирования прогнозов. Проще говоря, когда пресинаптические предсказания и постсинаптические ошибки предсказания сильно коррелируют, сила связи возрастает, так что предсказания могут более эффективно подавлять ошибки предсказания. Короче говоря, формирование клеточных структур отражает кодирование причинно-следственных закономерностей.

Никакой функциональности типа “градиентного спуска” нейросетью не реализуется ни в каких, даже самых сложных зонах мозга. В зонах же ранних формирований примитивов восприятия даже нет никакой коррекции ошибок, и распознаватели формируются лишь по закону накопления схожего в активностях, что порождает множество начальных иллюзий восприятия (многозначимости воспринимаемого). Причинное понимание — это высшая когнитивная функция, доступная не всем видам, и не в раннем возрасте. Оно требует осознанного внимания, рабочей памяти, достаточного опыта. Оно не заложено в первичных зонах, а формируется постепенно, через обучение, ошибки, социальное взаимодействие. Фристон переносит высшие когнитивные функции на низшие уровни, как будто детектор ориентации в V1 "понимает", что такое линия на столе. Но на самом деле — он просто реагирует на контраст в определённой ориентации. Фристон превращает простые биологические механизмы в сложные вычислительные процессы. Он говорит о мозге на языке оптимизации, но забывает, что мозг не знает математики. Он не "вычисляет градиент" — он растёт, учится, адаптируется. И делает это не через "минимизацию свободной энергии", а через повторение, выживание, развитие.

Это всего лишь повторное изложение теории клеточных структур в контексте конкретной реализации (прогнозирующего кодирования) принципа свободной энергии . Следует признать, что правило обучения в прогностическом кодировании на самом деле является дельта-правилом, основанным на механизмах Хебба; однако более широкие представления Хебба о клеточных сборках были сформулированы с нестатистической точки зрения. Современные переформулировки предполагают, что как вывод о состояниях (то есть восприятие), так и выводы о параметрах (то есть обучение) сводят к минимуму свободную энергию (то есть сводят к минимуму ошибку прогнозирования) и способствуют удивительному обмену информацией с миром. так что же насчет синхронизации и избирательного включения синапсов?

Предвзятая конкуренция и повышенное внимание

Причинно-следственные закономерности, закодированные синаптической эффективностью, контролируют детерминированную эволюцию состояний в мире. Однако стохастические (то есть случайные) колебания этих состояний играют важную роль в генерировании сенсорных данных. Их амплитуда обычно представлена в виде точности (или обратной дисперсии), которая кодирует надежность ошибок прогнозирования. Точность важна, особенно в иерархических схемах, поскольку она контролирует относительное влияние ошибок прогнозирования "снизу вверх" и "сверху вниз ". итак, как же точность кодируется в мозге? При прогнозирующем кодировании точность модулирует амплитуду ошибок прогнозирования (они обозначены μγ во вставке 2), так что ошибки прогнозирования с высокой точностью оказывают большее влияние на единицы, которые кодируют условные ожидания. Это означает, что точность соответствует синаптическому коэффициенту усиления в единицах погрешности прогнозирования. Наиболее очевидными кандидатами для контроля усиления (и неявного кодирования точности) являются классические нейромодуляторы, такие как дофамин и ацетилхолин, что обеспечивает хорошую связь с теориями внимания и неуверенности. Другой кандидат - быстрая синхронизация пресинаптический вход, который снижает эффективные временные константы постсинаптической мембраны и увеличивает синхронный выигрыш. Это хорошо согласуется с теорией корреляции и соответствует современным представлениям о роли синхронной активности в обеспечении усиления внимания. Таким образом, оптимизация ожидаемой точности с точки зрения синаптического усиления требует внимания к синаптическому усилению и синхронизации. Эта связь является центральной в теориях привлечения внимания и предвзятой конкуренции, особенно в контексте нейромодуляции. Теории рассмотренные до сих пор вопросы касались только восприятия.

Однако, с точки зрения принципа свободной энергии, восприятие просто делает свободную энергию хорошим показателем неожиданности. Чтобы действительно уменьшить удивление, нам нужно действовать. В следующем разделе мы сосредоточимся на клеточных группах, но перейдем к выбору и усилению связей стимул–реакция.

Нейронный дарвинизм и ценностное обучение

В теории группового отбора нейронов возникновение нейронных скоплений рассматривается в свете селективного давления. Теория состоит из четырех элементов: эпигенетические механизмы создают первичный набор нейронных связей, которые совершенствуются в зависимости от опыта для создания вторичного набора нейронных групп. Они отбираются и поддерживаются посредством реентерабельной передачи сигналов между нейронными группами. Как и в теории клеточной сборки, пластичность зависит от коррелированной пре- и постсинаптической активности, но здесь она модулируется величиной. значение сигнализируется восходящими нейромодуляторными передающими системами и определяет, какие группы нейронов выбраны, а какие нет. Красота нейронных сетей Дарвинизм заключается в том, что он связывает различные процессы отбора друг с другом. Другими словами, он избегает единой единицы отбора и использует понятие метаотбора (выбор селективных механизмов; например, см. ссылку 89). В этом контексте (нейрональная) ценность придает эволюционную ценность (то есть адаптивную приспособленность) путем выбора групп нейронов, которые реагируют на адаптивный стимул–стимул ассоциации и связи "стимул–реакция". Способность ценностей к этому обеспечивается естественным отбором, в том смысле, что нейронные системы ценностей сами подвержены избирательному давлению. Эта теория, в частности, ценностно-зависимое обучение, тесно связана с обучением с подкреплением и смежными подходами в инженерии (см. ниже), такими как динамическое программирование и модели временных разниц. Это происходит потому, что нейронные системы ценностей укрепляют связи с самими собой, тем самым позволяя мозгу обозначать сенсорное состояние как ценное, если и только если оно приводит к еще одно ценное состояние. Это гарантирует, что агенты будут последовательно проходить через состояния, которые приобрели ценность, чтобы получить доступ к состояниям (вознаграждениям) с генетически заданной врожденной ценностью. Короче говоря, мозг максимизирует ценность, что может быть отражено в функционировании систем ценностей (например, дофаминергических систем). Итак, как это связано с оптимизацией свободной энергии? Ответ прост: ценность обратно пропорциональна неожиданности, в том смысле, что вероятность нахождения фенотипа в определенном состоянии возрастает с увеличением значения из этого состояния. Более того, эволюционная ценность фенотипа - это отрицательная неожиданность, усредненная по всем состояниям, которые он переживает, что является просто его отрицательной энтропией.

Мозг использует негативную или позитивную значимость, которая проистекает из состояния жизненных параметров для избегания или следования тому, что ее вызывает. Но далеко не всегда отрицательная ценность является блокирующей, если опыт подсказывает, что затем последует превышающая позитивная значимость. И мозг не занимается самоудовлетворением, максимизируя значимость. И понятие энтропии никаким образом не связано с процессами регуляции по векторам значимости. Ценность — не "отрицательная неожиданность", а биологическая значимость.

Фристон говорит: «Если состояние ожидаемо — оно ценно». Но ожидаемое может быть смертельно опасным. Пример: человек ожидает боли при лечении зуба, но не стремится к ней. Боль — ожидаема, но отрицательно значима. Неожиданное может быть высоко ценно. Неожиданная помощь, подарок, встреча — повышают выживаемость, но не предсказуемы. То есть ценность определяется не вероятностью, а последствиями для гомеостаза и репродукции.

Сделанные замечание серьёзно подрывают претензию на универсальность, биологическую достоверность и онтологическую истинность. концепции Фристона и далее комментариев уже не требуется.

Действительно, весь смысл минимизации свободной энергии (и, неявно, энтропии) заключается в том, чтобы гарантировать, что агенты проводят большую часть своего времени в небольшом количестве полезных состояний. Это означает, что свободная энергия является дополнением к ценности, а ее долгосрочное среднее значение - дополнением к адаптивной пригодности (также известной как свободная пригодность в эволюционной биологии). Но как агенты узнают, что является ценным? Другими словами, как одно поколение может сказать следующему, какие состояния имеют ценность (то есть не вызывают удивления)? ценность или неожиданность определяется формой генеративной модели агента и ее имплицитными приоритетами — они определяют ценность сенсорных состояний и, что особенно важно, передаются по наследству через генетические и эпигенетические механизмы. Это означает, что предварительные ожидания (то есть первичный репертуар) может предписывать небольшое количество привлекательных состояний, обладающих врожденной ценностью. В свою очередь, это позволяет естественному отбору оптимизировать предыдущие ожидания и обеспечить их соответствие с фенотипом агента. Проще говоря, ценностные состояния - это те состояния, которые агент ожидает часто посещать. Эти ожидания ограничены формой его генеративной модели, которая задана генетически и реализуется поведенчески в соответствии с активным логическим выводом. Важно понимать, что предварительные ожидания включают в себя не только то, что будет отобрано из окружающего мира, но и то, как этот мир будет отобран. Это означает, что естественный отбор может дать агентам предварительное представление о том, что они будут исследовать окружающую среду до тех пор, пока не будут достигнуты определенные результаты. встречаются люди, обладающие врожденной ценностью. Мы рассмотрим это более подробно в следующем разделе, где рассматриваются приоритеты движения в пространстве состояний с точки зрения политики обучения с подкреплением. Как нейронный дарвинизм, так и принцип свободной энергии пытаются понять соматические изменения индивидуума в контексте эволюции: нейронный дарвинизм апеллирует к избирательным процессам, в то время как формулировка свободной энергии рассматривает оптимизацию динамики ансамбля или популяции с точки зрения энтропии и неожиданности. Ключевая тема, которая возникает здесь, заключается в том, что (наследуемые) предшествующие ожидания можно обозначать вещи как изначально ценные (что неудивительно); но как простое обозначение состояний может породить адаптивное поведение? В следующем разделе мы вернемся к подкреплению обучению и связанным с ним формулировкам действий, которые пытаются объяснить адаптивное поведение исключительно с точки зрения ярлыков или функций затрат.

Теория оптимального управления и теория игр

Ценность занимает центральное место в теориях функционирования мозга, основанных на обучении с подкреплением и оптимальном контроле. Основная идея, лежащая в основе этих методов лечения, заключается в том, что мозг оптимизирует ценность, которая представляет собой ожидаемое вознаграждение или полезность (или их дополнение — ожидаемые потери или затраты). В поведенческой психологии это рассматривается как подкрепление обучение, в вычислительной нейронауке и машинном обучении как вариантах динамического программирования, таких как изучение временных разниц, и в экономике как теория ожидаемой полезности. Понятие о ожидаемое вознаграждение или затраты здесь имеют решающее значение; это стоимость, ожидаемая в будущих состояниях, с учетом конкретной политики, которая предписывает действие или выбор. Политика определяет состояния, в которые агент будет перемещаться из любого данного состояния ("перемещение в пространстве состояний в непрерывном времени’). Эта политика должна обеспечивать доступ к редким полезным состояниям с помощью функции затрат, которая только помечает состояния как дорогостоящие или нет. Проблема оптимизации политики формализована в теории оптимального управления в виде уравнения Беллмана и его вариантов (см. дополнительную информацию s4 (вставка))., которые выражают ценность как функцию оптимальной политики и функцию затрат. Если можно решить уравнение Беллмана, можно связать каждое сенсорное состояние со значением и оптимизировать политику, гарантируя, что следующее состояние является наиболее ценным из доступных состояний. В общем, невозможно точно решить уравнение Беллмана, но существует несколько приближений, начиная от простых Моделей Рескорлы–Вагнера и заканчивая более сложными формулировками, такими как Q-learning. Стоимость также играет ключевую роль в Байесовская теория принятия решений, в которой оптимальные решения минимизируют ожидаемые затраты в условиях неопределенности результатов; это занимает центральное место в теории оптимальных решений (теории игр) и поведенческой экономике. Итак, что же дает нам свободная энергия? Если предположить, что оптимальная политика выполняет постепенное увеличение значения, то легко показать, что значение обратно пропорционально неожиданности (см. Дополнительную информацию s4 (вставка)). Это означает, что свободная энергия является (верхней границей) ожидаемых затрат, что имеет смысл, поскольку теория оптимального управления предполагает, что действие минимизирует ожидаемые затраты, тогда как принцип свободной энергии утверждает, что оно минимизирует свободную энергию. Это важно, поскольку объясняет, почему агенты должны минимизировать ожидаемые затраты. Кроме того, бесплатная энергия обеспечивает количественную и четкую связь между функциями затрат об обучении с подкреплением и его ценности в эволюционной биологии. Наконец, динамический подход дает механистическое представление о том, как политика определяется мозгом: согласно принципу оптимальности99, стоимость - это скорость изменения ценности (см. дополнительную информацию s4 (вставка)), которая зависит от изменений в сенсорных состояниях. Это говорит о том, что оптимальная политика может быть предписана предварительными ожиданиями о движении сенсорных состояний. Проще говоря, предварительные значения индуцируют аттрактор с фиксированной точкой, и когда состояния достигают фиксированной точки, значение прекращается изменения и затраты будут сведены к минимуму. На рис. 2 показан простой пример, в котором имитируется движение руки по сигналу , используя только предварительные ожидания того, что рука будет направлена в фиксированную точку (цель). Этот рисунок иллюстрирует, как вычислительное моторное управление105–109 может быть сформулировано в терминах предварительных данных и подавления сенсорных ошибок прогнозирования (К.Дж.Ф., Дж. Даунизо, Дж. Килнер и С.Дж. Кибель, неопубликованные наблюдения). В более общем плане это показывает, как вознаграждения и цели можно рассматривать как предварительные ожидания, которым обязано соответствовать действие (см. также ССЫЛКУ 110). Здесь также предлагается, как естественный отбор может оптимизировать поведение посредством генетической спецификации наследуемых или врожденных признаков, которые ограничивают изучение эмпирических признаков (ВСТАВКА 2) и последующее целенаправленное действие. Следует отметить, что простого ожидания того, что вас притянет к некоторым состояниям, может быть недостаточно для достижения этих состояний. Это связано с тем, что человеку, возможно, придется обращаться к аттракторам опосредованно через другие состояния (например, чтобы избежать препятствий) или подчиняться физическим ограничениям на действия. Таковы некоторые из наиболее сложных проблем доступа к отдаленные вознаграждения, с которыми борются обучение с подкреплением и оптимальный контроль. В этих обстоятельствах изучение динамики плотности, на которой основан принцип свободной энергии, показывает, что достаточно продолжать движение до тех пор, пока не встретится априорный аттрактор (см. дополнительную информацию s5 (вставка)). Это влечет за собой разрушение неожиданных (дорогостоящих) фиксированных точек в окружающей среде, делая их нестабильными (например, изменение положения тела при неудобном сидении). Математически это означает принятие политики, обеспечивающей положительный результат. отклонение в дорогостоящих режимах (интуитивно это похоже на движение через жидкость с отрицательной вязкостью или трением). см. рис. 3 для решения классической проблемы с горным автомобилем используется простая схема, которая позволяет использовать такую политику. Это предварительное значение перемещается по пространству состояний (то есть изменяется в состояниях) и обеспечивает поиск до тех пор, пока не будет найдено привлекательное состояние. Предварительные значения такого рода могут обеспечить принципиальный подход к пониманию исследования– компромисс между эксплуатацией и связанные с этим вопросы эволюционной биологии. Скрытое использование предварительных условий для побуждения динамическая нестабильность также обеспечивает ключевую связь с подходами теории динамических систем к мозгу, которые подчеркивают важность изменчивой динамики, метастабильности, самоорганизующейся критичности и конкуренции без побед. Эти динамические явления играют ключевую роль в синергетических и аутопоэтических объяснениях адаптивного поведения.

Итак, оптимальное управление и принятие решений (игра) теория начинается с понятия стоимости или полезности и пытается построить функции значений состояний, которые впоследствии определяют действия. Формулировка свободной энергии начинается с привязки свободной энергии к значению состояний, которое определяется приоритетами движения скрытых состояний окружающей среды. Эти приоритетные значения могут включать любую функцию затрат, чтобы избежать дорогостоящих состояний. состояния с минимальными затратами могут быть установлены (путем обучения или эволюции) с точки зрения предварительных ожиданий относительно движения и возникающие в результате этого факторы притяжения. С этой точки зрения, проблема поиска редких вознаграждений в окружающей среде - это природное решение проблемы минимизации энтропии (средней неожиданности или свободной энергии) состояний агента: путем обеспечения того, чтобы они занимали небольшой набор привлекательных (то есть вознаграждающих) состояний.

Выводы и направления на будущее

Несмотря на то, что это было сделано для того, чтобы подчеркнуть общие черты, это Обзор показывает, что многие глобальные теории функционирования мозга могут быть объединены в рамках концепции Гельмгольца , рассматривающей мозг как генеративную модель мира, в котором он обитает (рис. 4). Примечательные примеры включают интеграцию байесовской теории мозга и теории управления вычислительной моторикой - целевых функций, разделяемых прогнозирующее кодирование и принцип инфомакса, иерархический вывод и теории внимания, включение восприятия в естественный отбор и связь между оптимальным управлением и более экзотическими феномены в теории динамических систем. Постоянной темой всех этих теорий является то, что мозг оптимизирует зависимость (свободной энергии) от неожиданности или ее дополнения, ценности. Это проявляется в виде восприятия (чтобы изменить предсказания) или действия (чтобы изменить предсказанные ощущения). Важно отметить, что эти прогнозы зависят от предварительных ожиданий (которые определяют политику), которые оптимизируются в различных (соматических и эволюционных) временных масштабах и определяют, что является ценным. Что предвещает принцип свободной энергии для будущего? Если его основной вклад заключается в интеграции устоявшихся теории, то ответ, вероятно, будет "не так уж много’. И наоборот, это может послужить основой для разрешения текущих споров, например , о том, кодирует ли допамин ошибку предсказания вознаграждения или неожиданность126,127 — это особенно важно для понимания таких состояний, как зависимость, болезнь Паркинсона и шизофрения. Действительно, формулировка "свободная энергия " уже использовалась для объяснения положительных симптомов шизофрении в терминах ложного умозаключения128. Формулировка "свободная энергия" может также предложить новые подходы к старым проблемам, которые могут потребовать переоценки общепринятые представления, особенно о подкреплении обучение и двигательный контроль. Если аргументы, лежащие в основе принципа свободной энергии , верны, то реальная задача состоит в том, чтобы понять, как это проявляется в мозге. Это говорит о более глубоком понимании иерархической передачи сообщений41, функциональной роли конкретных нейронов и микросхем и динамики, которую они поддерживают (например, какова взаимосвязь между прогностическим кодированием, вниманием и динамической координацией в мозге?129). Помимо нейробиологии, существует множество интересных применений в инженерии, робототехника, телесное познание и эволюционная биология напрашиваются сами собой; хотя это и фантастично, нетрудно представить себе создание маленьких машин на свободной энергии, которые собирают и моделируют сенсорную информацию (как наши дети), чтобы максимально использовать доказательства своего собственного существования.

Сделанные замечания полностью дискредитируют концепцию Фристона как универсальную, биологически достоверную теорию мозга. Она не объясняет, как устроен мозг, она не соответствует данным о развитии, пластичности, мотивации, и заменяет биологию на математическую метафизику. Однако она может сохранить ценность как вычислительная модель — не как истина о природе, а как инструмент для анализа. Теория не может адекватно объяснить сознание, высшие когнитивные функции и психопатологию, сводя их к "ошибкам предсказания".