А кто-то работал с нейронными сетями? Коллега спрашивает: "Anyone familiar with neural nets? I'm wondering how something like https://twitter.com/deepdrumpf would work. Since those neural nets usually need a vector as an input, I'm having a hard time understanding how you would even feed text into it. First there's words, which I guess you could map to a vector that has a 1 somewhere at the index of the word in a dictionary. But then per word you'd already have the entire size of the english dictionary as an input. And it wouldn't even encode the sequence of words that way but just one. Could of course also map the entire dictionary to the range [0,1], then you could represent multiple words. But somehow I also don't see how that makes any sense."
Нейросеть, натренированная угадывать следующее слово в предложении (например, заканчивать поисковый запрос за человека) выдает результат, результат скармливается ей же на вход, rinse, repeat. Тот же случайный процесс, только посложнее марковского генератора (смотря как настраивать, конечно). ‎- 18 боевых дирижаблей
"Map the entire dictionary to the range [0,1]" - не обязательно именно range [0,1], можно сопоставить каждому слову целочисленное значение или n-мерный вектор. Также можно брать не слова, а последовательности из двух или более слов (bigrams, n-grams). ‎- 18 боевых дирижаблей
В приведенном в статье алгоритме брали именно отдельные слова и каждому присваивали числовой вектор (не сказано в какой системе координат. я бы хотела посмотреть. могли опираться, например, на семантическую близость к заранее заданному набору слов. upd: или, как видно из статьи ниже, чисто по набору букв). "The hope is that having a continuous rather than discrete representation for words will allow the network to make better mistakes, as long as similar words get similar vectors." ‎- 18 боевых дирижаблей
Совсем научная статья с gory details: http://www.cs.utoronto.ca/~ilya/pubs/2011/LANG-RNN.pdf upd: если я не схожу с ума и не разучилась читать текст, то эти ребята вообще зажгли и работали на уровне _символов_. даже не морфем. все остальное их детище сделало за них. возможно я таки схожу с ума. ‎- 18 боевых дирижаблей
^ чёрт. я не схожу с ума. ‎- 18 боевых дирижаблей
да, теперь под "нейронной сетью" в индустриечке и академиечке понимается по умолчанию recurrent структура, а не классическое определение, имеющееся в виду в посте. ‎- middle out-of-sight
^ да черт с ней с recurrent структурой, к этому давно шло. они брали _буквы_ как базовый элемент. не морфемы! *ощутила себя динозавром* ‎- 18 боевых дирижаблей
а. ну да. ‎- middle out-of-sight
фига себе что в мире происходит. спасибо за ссылки, буду читать ‎- wisdom of wombats