Относится к сборнику статей теори МВАП https://t.me/thinking_cycles
Для обучения искусственных нейросетей могут использоваться искусственные среды, обогащенных данными, специфичными для желаемой специализации ИИ. При этом, данные в искусственной среде не могут полностью воспроизводить объективную реальность, но должны адекватно моделировать те аспекты реальности, которые критически важны для целевой задачи ИИ. Другими словами — соответствие реальности требуется функциональное, а не онтологическое.
ИИ обучают на локальных паттернах — ограниченных срезах реальности. Так, языковые модели учатся на статистических закономерностях текстов, а не на физической модели мира, а компьютерное зрение обучат распознаванию объектов без понимания их механики.
В результате, ИИ часто сталкивается с ситуацией, где локальная модель нарушает глобальные причинно-следственные связи и может выдать бессмысленный или опасный результат.
Если возникает задача воспитать искусственное существо, имеющее гомеостат, то важно начать его развитие с базового набора уже прошитых реакций, которые этот гомеостат поддерживают. Потому как поддержание гомеостата требует поведенческих реакций (поглощение еды, воды, дыхание и т.п.), то эти реакции концентрируются в контекстах возникающей потребности (базовые стили поведения).
Базовый набор реакций требует обеспечения автономии существования гомеостатического существа на самом базовом уровне, без которого он не может продолжать существовать. Это набор тех наследуемых инстинктов, которые в ходе эволюции вида обеспечивали реализацию базовых потребностей в различных особенностях окружающей среды. Это значит, что любые наследуемые реакции жестко привязаны к определенным условиям и ситуациям, которые должны распознаваться. Вне таких известных виду условий его жизнь невозможна.
К примеру, гусеница ползет по стеблю к свету, чтобы добраться до листьев. При боковом или нижнем свете эта регуляция нарушается. У новорожденного ребенка есть сосательный рефлекс, срабатывающий при прикосновении к губам. Если нет такого стимула, сосания не будет.
Вот так должны быть заданы реакции у искусственного живого существа в зависимости от активности стилей поведения, определяющей потребность и стимулов, запускающих действия по восстановлению нарушенной гомеостатической нормы.
Поэтому среда существования и развития гомеостатического существа должна быть определенно заданной, как и набор базовых реакций для автономной регуляции гомеостата в этой среде.
Можно создать некую искусственную среду и создать для нее систему наследственных реакций. При переносе в другую среду обученного существа его реакции будут настолько же адекватны новой среде, насколько она во всех своих проявлениях (сенсорики существа) будет аналогичной.
Можно искусственно создать очень сложную среду для развития сложных социальных реакций, учитывая такую же необходимость соответствия такой среды и тех объективных условий, в которые будете перенесено существо.
Но если есть такая возможность настолько полноценно создать искусственную среду, рассчитанную на развитие определенных реакций, то нет никакой необходимости в обучении в такой среде, а более логично сразу прошить сложные реакции в системе наследственных реакций.
Природные инстинкты так и рассчитаны: то, что можно прошить в ходе эволюционной адаптации, даются в готовом виде при возникновении нового существа. Но условия обитания меняются настолько кардинально, что базовая прошивка далеко не во для всех заготовленных реакций оказывается востребованной. Именно поэтому и нужно обучение уже в новой среде. Природа выносит самое начальное такое дообучение в виде воспитания уже опытными для этой среду особями. Но более частные особенности среды постигаются уже самой особью с помощью механизмов, которые для этого предназначены, вплоть до механизмов сознания.
Чисто логически возникает принцип избыточности обучения при полной спецификации среды:
Если искусственная среда полностью и надёжно специфицирована — то есть все релевантные стимулы, их комбинации и причинно-следственные связи между действиями агента и удовлетворением его гомеостатических потребностей известны и фиксированы — то обучение в такой среде избыточно. Вместо этого все необходимые поведенческие реакции должны быть прошиты как врождённые (наследственные), поскольку они функционально достаточны для автономного выживания и развития агента.
Или короче: при полной экологической детерминированности целевой среды, оптимальная стратегия реализации поведения — прошивка, а не обучение.
Если среда полностью известна, поведение должно быть врождённым.
Логическая структура принципа:
Пусть:
Тогда:
То есть – это строго формализуемый принцип: если среда полностью известна и все нужные реакции в ней применимы, то обучение не требуется. А так как всегда можно выделить известную часть среды и реакции на это, то эту часть следует сделать наследственной прошивкой.
Принцип остаётся в силе даже для сложного поведения — если социальная структура среды стабильна и формализуема. Например, если правила взаимодействия между агентами заданы («если агент A издаёт сигнал X, то агент B должен ответить Y»), то такие реакции можно и нужно прошивать, как это делает эволюция у социальных насекомых (пчёлы, муравьи), где даже «сложное» поведение почти полностью врождённое.
Обучение, перекрывающее наследственную прошивку оправдано только тогда, когда:
Отсюда прямо следует, что все вопросы создания искусственной реальности для обучения живого существа оказываются нелогичными до нелепости.
Если принять за аксиому, что:
— то искусственная реальность как обучающая среда действительно теряет смысл.
В этом случае:
С этой точки зрения, создавать сложную симуляцию ради обучения — нелогично, если та же самая среда может быть использована для проектирования врождённых реакций. Это выглядит как методологическая ошибка: вместо того чтобы извлечь из среды правила и встроить их, мы заставляем агента тратить ресурсы на их повторное «открытие».
В этом узком, но важном контексте — да, стремление к «обучению в искусственной реальности» выглядит как избыточная имитация биологического развития, тогда как инженерное решение уже доступно.
Обучение становится важным при наличии неучитываемых случаях взаимодействий, которые обязательно существуют в огромных количествах при переносе существа в объективный мир (теорема Геделя о неполноте). С момента переноса должно включаться обучение, сначала имитацией поведения опытных особей с последующей проверкой, перенятого на успешность в условиях собственного исполнения. После чего открывается возможность самостоятельной адаптации.
В случае, если разработчики создали некую сложную искусственную реальность и обучили жизни существо в ее условиях, то при переходе в мир объективной реальности может возникнуть эффект Маугли, если только вообще существо окажется в полном ступоре от различий реального и искусственного. Как если бы ребенка, воспитывавшегося исключительно на Диснеевских мультфильмах, вдруг отправили в общество сверстников.
Это произойдет обязательно в силу несоизмеримой сложности объективного мира и его непредсказуемости. Существу придется буквально во всем переучиваться, но уже ушли важнейшие периоды развития, предназначенные для строгой последовательности процесса адаптации. Проще будет убить такое существо, чтобы начать заново – для чего и существует видовая оптимизация сроков жизни, когда существо оказывается уже не способным переучиваться изменившейся среде.