Previous Entry Share Next Entry
2016-01

Нейронные сети, многообразия и топологии

Весьма любопытное псто, рассматривающее работу нейронных сетей с точки зрения топологии.

Очень наглядно показывает, например, откуда растут некоторые ограничения в deep learning.

http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/

This entry was originally posted at http://wizzard.dreamwidth.org/366136.html. It has comment count unavailable comments. Please comment there using OpenID.

  • 1
the_aaa13 April 11th, 2014
А это содержательно хоть сколько-нибудь? Насколько для отрасли важны проблемы, решаемые одним дополнительным нейроном - не ясно.

unknown_orient April 11th, 2014
Слоем же, а не нейроном.

the_aaa13 April 11th, 2014
По моему достаточно одного дополнительного нейрона в каждом слое.

misha_b April 13th, 2014
А что конкретно решается одним дополнительным нейроном?

the_aaa13 April 13th, 2014
Добавляется еще одна размерность к пространству
и соответственно все топологические проблеммы решаются.

misha_b April 13th, 2014

Вы не могли бы сформулировать математически, что значит, что "проблемы решаются"?

the_aaa13 April 13th, 2014
В n мерном линейном пространстве для двух непересекающихся ограниченных подмножеств гомотопия этих подмножеств в линейно разделимые может не существовать - это называется проблема.
В n+1 мерном линейном пространстве для двух непересекающихся ограниченных подмножеств n мерного подпространства гомотопия этих подмножеств в линейно разделимые подмножества этого подпространства с очевидностью существует. - это называется проблема решается.

misha_b April 13th, 2014
Теперь понял, что вы имеете в виду, спасибо за точную формулировку.

Это, безусловно, верное утжерждение с абстрактной точки зрения. Однка, может ли такое отображение быть реализовано нейронной сетью и, что еще более важно, может ли такая сеть буть получена на основе конечного числа точек и ограниченных вычислительных ресурсов, далеко не очевидно.

the_aaa13 April 13th, 2014
Ну это совершенно отдельный вопрос, но он почти наверняка не относится к многообразиям и топологиям, и рассуждения по ссылке совершенно не помогают на него ответить.

misha_b April 14th, 2014
Ну это ведь и есть ключевой вопрос. В противном случае задача была бы тривиальна.

the_aaa13 April 14th, 2014
Ключевой вопрос чего? Отрасли? Возможно. Статьи? Нет.

misha_b April 15th, 2014
Я, честно говоря, ключевого момента статьи не совсем понял, но в частности там говорится о том, что такие отображения трудно реализовать нейронными сетями.

unknown_orient April 14th, 2014
Ну подожди. У тебя есть пространство фичей, ака R^n. Я не совсем понимаю как ты предлагаешь добавлением нейронов сделать из него R^(n+1). Это эквивалентно придумыванию нового признака, который не был бы линейной комбинацией существующих.

the_aaa13 April 14th, 2014
Эм, ты статью-то читал? R^n - это пространство сигналов нейронов.

unknown_orient April 11th, 2014
БТВ, вот эта штука мне нравится: http://en.wikipedia.org/wiki/Manifold_learning#Manifold_learning_algorithms

misha_b April 11th, 2014
Хорошо, что люди начинают понимать, что deep learning не является универсальным решением всех задач.

juan_gandhi April 11th, 2014
И все? Эти кривые преобразования, конечно, классно; можно порастягивать и посильнее; и понятно, что топология... но как-то это выглядит очень тривиально.

С другой стороны, можно вообще подумать, а не сводится ли это к классификации топологий Гротендика или к алфавитной сортировке, или как там ее; ну типа если есть циклы, так и опаньки.

Интересно, впрочем. Спасибо.

  • 1
?

Log in

No account? Create an account