В общем, я сдаюсь. Перепробовал много вариантов, все время одно и то же. Усредняет и привет.

Кто бы мне помог, возможно платно, разобраться со всем этим. Отталкиваясь от моих исходников (лучше) или от чужих.

Старый стал, времени не хватает :)

То есть на вход в бесконечном цикле подаю очень много случайных бинарных векторов, пока ошибка не перестает уменьшаться. Он перестает уменьшаться, но сеть не обучается должным образом. Большинство слоев "отмирает", последние формируют один и тот же усредненный выход, дающий не слишком большую ошибку для любого входа. 

Пять разных векторов из 8 элементов (нулей или единиц) каждый. Каждый вектор соответствует интервалу, которому принадлежит число на входе.

То есть на входе - 256 разных бинарных векторов, на выходе - 5 шт.

C++, в среде Borland.

А какую функцию посоветуете?

Я сейчас делаю по-другому: генерирую случайные числа 0 ... 255, подаю на вход двоичное представление каждого числа, то есть 8 нулей и единиц. А на выходе ставлю 5 вариантов векторов, в зависимости от того, в каком диапазоне лежит число (0-50, 50-100, 100-150, 150-200, 200-255).

Не хочет правильно работать, все равно возникает "переобученность" сети.

Мне тут подсказали использовать метод Dropout, пока не сделал его. Неужели не получится подобрать пример, который работал бы без дропаута???

Чисто для теста, базовый вариант: f(x1, x2 ... xN) = y - на входе аргументы функции, на выходе результат вычисления. Подаем предварительно рассчитанные сеты - (x1, x2 ... xN, y), обучаем, затем подаем новый входной образец, и сеть должна правильно вычислить значение функции.

Получается, что так. Мне тут подсказали, что это потому, что я даю слишком примитивные наборы данных для обучения. А какие наборы - не примитивные? Второй ждень пытаюсь придумать.