Полезное упражнение в R-STDP

Постановка задачи:

Сделать максимально упрощённую, но при этом функциональную модель LIF (Leaky Integrate-and-Fire) нейрона. Арифметика-линейность-бинарность. Никаких дифуров, непрерывных функций (экспонент) и прочего подобного.

Сделать на тех же принципах максимально упрощённую модель STDP (Spike-Time Dependent Plasticity) синапса.

Обогатить получившуюся систему механизмом R-STDP (Reward-Modulated STDP).

Собрать из этих нейронов и синапсов небольшой мозг. Снабдить этим мозгом виртуального "чудика". Сделать ему простой (одномерный) мир с двумя сущностями - пищей и опасностью. Снабдить его сенсорами (опасность слева, еда справа..., отдаляемся/приближаемся к еде/опасности и т.д....), моторами (движение влево/вправо). Запустить симуляцию, и посмотреть, что будет получаться.

Спойлер: что-то получилось.