Navespro.ru

Отходя немного от парадигмы аттрактора системы, и возвращаясь к модели нейронной сети, есть одна идея по поводу того, каким образом реализация искусственного нейрона должна быть в системе с автообучением.

Нейрон, имеющий множество входов с разными весами может быть либо обучен в цикле обучения, и больше никогда не менять веса соответствующих нейронов, либо должен уметь эти веса изменять и корректировать, то есть быть адаптивным элементом сети.

За счет чего может это происходить?

Представим себе, что проводимость синапсов входа зависит от текущего состояния нейрона. Если он расслаблен (свободен, разряжен), то вход нейрона имеет высокую проводимость. Если он напряжен (занят, заряжен), то вход нейрона имеет низкую проводимость. Нейрон разряжается (освобождается, релаксирует, разряжается), когда с его выхода через синапсы заряд снимают другие нейроны. Выходная проводимость определяет востребованность информационного потока, транслируемого нашим нейроном.

В случае, если нейрон не может релаксировать длительное время, он запирает так же и выходы нейронов, с которых получает информационный поток. В этом случае нейрон "переключает канал", выбирая другую весовую схему синапсов.

Для того, чтобы понять, как это поможет нашему нейрону нужно рассмотреть общую картину в нейронной сети в динамике.

Условно говоря, нейронная сеть взаимодействует с некоторым окружением, через рецепторы и эффекторы. Адаптация сети к внешней среде в общем происходит через создание некоторых контуров движения зарядов (включая замкнутые внутри системы и замкнутые через внешнюю среду)

Архитектура нейронной сети должна быть построена таким образом, чтобы удачная адаптация создавала хорошо проводящие контуры, а ошибки адаптации приводили к блокировкам действующих контуров и возникновению новых контуров, определяющих более удачное поведение в новой ситуации.

Как это должно быть реализовано в рамках отдельного нейрона? В случае роста времени релаксации, нейрон может обнаружить изменение напряженности на синапсах. Хитрость в том, что сильный импульс на выходе нейрона будет "рассасываться" по всем синапсам, которые к его выходу подключены. Таким образом, напряжение на входе синапса будет убывать от пикового с разной скоростью, в зависимости от "востребованности" данного конкретного выхода на входах множества нейронов.

Следовательно анализируя скорость убывания напряженности на синапсе нейрон может определять наиболее "модные" входы в своем окружении, и иметь кандидатов на "переключение канала", на случай, если релаксация выход становится существенно дольшей, чем некоторый обобщенный срез по убыванию напряженности на входах.

Иначе говоря, нейрон все время пытается быть "в теме", удерживая самые быстро релаксирующие входы в фаворитах своих весовых коэффициентов.

При этом необходимо отметить три варианта "генетических характеристик" нейрона
1. Негибкий (неадаптивный) нейрон, веса синапсов которых малоизменчивы и заданы "при рождении" внешней ("наследственной") структурой фрагмента сети (специализированные нервные ткани, объединенные в устойчивые схемы)
2. Очень гибкий (адаптивный) нейрон, веса синапсов которого сильно изменчивы и лишь ограничены в определенном коридоре изменчивости значений и скорости переключения весов
3. Нейрон-заготовка, веса синапсов которого малоизменчивы, но задаются при определенной ситуации внешней структурой фрагмента сети (механизм импринтинга) однократно или несколько раз за жизнь нейрона.

Вам это будет интересно!

Последние новости