Navespro.ru

По просьбам читателей :D.
Посмотрел на bpnn.py Найла Шеменауера. Это реализация класса многослойного перцептрона.

Конструктор NN(a1, а2, а3, а4,..., аn)принимает в качестве аргументов список n целых чисел (a1, а2, а3, а4...) и создает нейросеть из n слоев с числом нейронов на i-м слое равном аi. В качестве функции активации на всех слоях, кроме входного используется гиперболический тангенс. При создании веса устанавливаются случайными.

Функция имитации self.test(P) принимает в качестве аргумента список Р, состоящий, в свою очередь, из N списков, первый элемент (т.е. P[0]) каждого из которых берется как входной вектор (и, следовательно, должен представлять собой список действительных чисел размерностью а1), а остальные игнорируются. Из Р сеть имитирует все N списков по очереди. Возвращает значения выходов в виде списка из N списков размерностью аn (размерность выходного слоя).

Функция обучения self.train(P) принимает аргумент, структура которого описана выше. Первый элемент (т.е. P[0]) каждого из списка Р используется в качестве вектора входа, второй элемент (т.е. P[1]) каждого из списка Р используется в качестве целевого выхода размерностью аn, а остальные игнорируются. Обучение проводится по всему массиву из N пар типа вход-выход. Функция обучения по алгоритму обратного распространения ошибки реализована с минимизацией по методу Ньютона и ограничением по числу итераций (1000).

Преимущества: Простая и ясная реализация архитектуры, которая вполне может послужить основой для разработки других типов сетей.

Недостатки: Слабая функция обучения. Единственный тип функции активации (гиперболический тангенс).

Возможные улучшения: Добавить другие функции активации, добавить возможность определения функции активации для каждого слоя по отдельности, добавить алгоритмы обучения. Возможно, стоит сделать интерфейс, где произвольная функция активации может передаваться пользователем в виде аргумента конструктора (в стиле лямбда).

Пример:
pat = [
[[0,0], [0]],
[[0,1], [1]],
[[1,0], [1]],
[[1,1], [0]]
]

# create a network with two input, two hidden, and one output nodes
n = NN(2, 2, 1)
# train it with some patterns
n.train(pat)
# test it
n.test(pat)

Последние новости