Хочу поговорить вот про это: http://ailev.livejournal.com/1232960.html
TL;DR: наука застряла, нужны новые методы; такие новые методы — deep learning; надо не «копаться в земле знаниевой лопатой», а «строить знаниевый экскаватор»; как раз сейчас накопилось процессорных мощностей + подходов, чтобы deep learning работал ‎- сумка с бродским
1) с одной стороны, ужасно я этот ваш deep learning не люблю и не уважаю (см. предыдущие серии: https://mokum.place/zverok/13579). с другой — ну, он же работает на куче задач? и приносит пользу, которую не смогли принести «традиционные» методы ‎- сумка с бродским
2) действительно ли наука «застряла»? с профанской (моей) точки зрения кажется, что таки да; я конешно не очень-то читатель научных новостей, но кажется, что за последние (десятилетия?) всё новое в наших теоретических знаниях о мире (физика-космос-химия, биология-физиология, что там ещё) это открытия/подтверждения/исследования каких-то частностей, не появление новых теорий и раскрытие новых областей? ‎- сумка с бродским
3) может, мы «всё уже знаем»? опять же, с моей профанской точки зрения, так не кажется (иначе где мой сверхсветовой космолёт и таблетка от старости?) вообще, кажется, весь довольно бурный прогресс XXI века чисто количественный (те же аккумуляторы, но компактнее и ёмче, те же процессоры, но компактнее и быстрее, те же каналы связи, но шире и надёжнее и т.д.) ‎- сумка с бродским
4) теперь: может быть действительно «наука застряла» именно потому, что сложность новых рубежей превзошла человеческие возможности и просто _никто_ уже не в силах охватить достаточную часть мира, чтобы заметить новую закономерность и сделать прорывной вывод из тончайшего изменения экспериментальных данных? может, раз так, то и правда нужны какие-то «совершенно новые» методы научного исследования? ‎- сумка с бродским
5) теперь: мне кажется, что наука (особенно фундаментальная) — это про Увеличение Понимания, то есть про выведение закономерности, _почему_ из A и B получается C; а вот deep learning — это пропускание этапа понимания, это корректное предсказание что из A и B получится C, без возможности объяснить, почему ‎- сумка с бродским
мне кажется, что тнз deep learning - это типичная реализация obscurum per obscura. "Успешность" того или иного метода здесь и сейчас - ничего не доказывает, потому что все шарлатаны с экстрасенсами тоже успешны - до первого факапа, я хочу сказать. ‎- лицо не владеющее языком
извините, я кажется, поторопился ‎- лицо не владеющее языком
6) но может (5) — это и ничего страшного? в конце концов, для всех практических применений, «A, B (страшная формула на пять страниц) → C» ничем почти неотличимо от «A, B (чёрный ящик с нейросетью) → C». то есть если таблетка лечит рак, а звездолёт перемещается быстрее скорости света — может и не важно, что мы в деталях не понимаем, _как_ это происходит? типа, обидно для философов но приятно для обывателей, всё ок ‎- сумка с бродским
7) мне правда кажется, что без понимания некому будет задать _следующий вопрос_. но может можно нейросетку натренировать на «выдачу осмысленных следующих вопросов», м? и раз уж на то пошло, может можно нейросетку натренировать на «выдачу объяснений имеющимся закономерностям», м? очень странная мысль. ‎- сумка с бродским
короче, «я замечаю что озадачен»© ‎- сумка с бродским
в общем, я скорее всего направильно (как минимум сильно упрощённо) понимаю и науку и deep learning. но пока что мне всё это нравится, но не очень. Поговорите со мной! ‎- сумка с бродским
тж. я не могу не процитировать тут Александра Жолковского: "Одно время М., приняв важный вид, говорил, что у него много хлопот в связи с организацией некого научного объединения фантастов, под председательством, кажется, самого Ефремова. Задача — спасение современной науки от грозящего ей застоя. Я спрашиваю, каким же образом писатели и журналисты могут помочь ученым, не обладая соответствующими знаниями. — Понимаешь, старик, все ученые зарылись в свои специальные отрасли, а сейчас нужны большие идеи. Так что сами физики обращаются за помощью к фантастам. В течение некоторого времени М. ходил озабоченный, спасал науку." ‎- лицо не владеющее языком
тж., опуская уже завязшую в зубах цитату лорда Кельвина, тем не менее, замечу, что идея, что все уже открыто - постоянная ‎- лицо не владеющее языком
конкретно про deep learning мне вот очень интересно узнать, что именно такого с его помощью было сделано, чего бы не могла тнз "традиционная" наука ‎- лицо не владеющее языком
↑ ну там есть на одном из слайдов: «или вы двадцать лет строите модель естественного языка и fail, или неделю тренируете нейросетку и win» ‎- сумка с бродским
вот конкретно в области обработки естественного языка - ЧТО? ‎- лицо не владеющее языком
да хз «что», и как это назвать. но Проблемы Делаются Решёнными же. ‎- сумка с бродским
возможно, во мне говорит естественнонаучный сноб, но мне кажется, что есть области знания, где, вероятно, можно "срезать угол" (и получить, скажем, великолепно работающий переводчик естественных языков, про который никто не будет знать, как _именно_ он работает), а есть та же задача "разработки космолета", где этот угол отсутствует начисто (ну вот чисто технически — что здесь может послужить сырым массивом данных для сети, и на какой результат её натаскивать в процессе дрессировки?). И объединять их все под общим названием "наука" и предполагать, что deep learning будет одинаково эффективно работать везде — столь же обоснованно, как ожидать, что успешно копающий песок экскаватор справится с базальтом и заодно является оптимальным решением для перекачки воды. ‎- як орбитального выпаса
ну какие проблемы-то? ‎- лицо не владеющее языком
@aldragon да нельзя его получить, посмотрите вы на google translate, который из статистического перевода выжимает вообще все, что можно - и с технической точки зрения это очень впечатляет, и все равно он переводит хуже, чем выпускник советской английской школы ‎- лицо не владеющее языком
@artemandreev но лучше, чем любой другой _компьютерный_ переводчик (внутри которого десятилетия работы профессоинальных лингвистов, модель языка и т.п.), не?.. ‎- сумка с бродским
См. так же Norvig vs Chomsky: http://norvig.com/chomsky.html ‎- туктуктук наноробот
Не методы собственно нужны, по-моему, нужны новые репрезентации, как Левенчук и говорит, компактные и доступные описания. Чтобы в бошку среднестатистическому будущему ученому влезали. Ну условно как использование позиционной системы исчисления vs операции в римских цифрах. Нужны новые программы обучения детей, использующие большее количество модальностей восприятия : 3д плюс время динамические модели, с кинестетикой и аудио. Нужно наглядное преподавание математики, аналогично тому, что betterexplained делает. ‎- гавс
т.е. я не хочу сказать, что нейронные сети - плохо, что это тупик, что этим не надо заниматься. Я только не вижу здесь противопоставления с классической наукой. ‎- лицо не владеющее языком
чуваки, давайте поиграем в адвокатов дьявола, а? мне кажется эта тема очень интересной. сказать «это чушь» и привести очевидные контр-аргументы мы всегда успеем, но мне кажется, что это вообще говоря повод о чём-то подумать дальше Первого Уровня Очевидности™ ‎- сумка с бродским
@zverok это, на самом деле, сложный вопрос, потому что внутри гуглопереводчика тоже десятилетия работы, это, конечно, не совсем пример про deep learning. Кроме того, напрямую сравнивать качество статистического и rule-based перевода вообще довольно сложно, потому что они делают качественно разные ошибки ‎- лицо не владеющее языком
@aldragon ну вот у меня папа радиоастроном. он мне много раз объяснял, чем занимается, но я это всё равно понимаю с трудом, поэтому сейчас буду в очередной раз профанировать всё что только можно! вот он допустим получает какие-то данные про то, что квазар N при условиях X и Y даёт радиокартину μ. 20 лет думает, собирает данные, и делает вывод — это потому что в энтом квазаре происходят такие-то химические реакции. делает предсказания на основе этой теории — и ты гляди-ка, предсказания подтверждаются, теория верна. можно ли папу заменить нейросеткой?.. а вдруг она сделает те же предсказания? да, у нас не будет теории, но если предсказания её всегда верны, то чем папина теория (подтверждаемая только предсказаниями, полететь к квазару и посмотреть глазами мы не можем) «лучше» чем «теория» под условным названием Нейросеть Говорит? ‎- сумка с бродским
потому что экспериментальная проверка - это только половина корректности теории ‎- лицо не владеющее языком
мы, очевидно, не можем сказать, дает ли оракул (чем бы он ни был) _всегда_ правильные ответы ‎- лицо не владеющее языком
скажем, наша уверенность в том, что львиная доля, допустим: физики "верна" связана не только с экспериментальной проверкой, но и с пониманием того, как теория устроена ‎- лицо не владеющее языком
@zverok @artemandreev Прочитайте линк, потом возвращайтесь. Ключевые абзацы про newton's model of gravitational attravtion и после ‎- туктуктук наноробот
не, я не хочу обсуждать статистические модели языка, серьезно, не хочу. ‎- лицо не владеющее языком
^(6) тем, что в случае перевода результат без теории — собственно, результат, и who cares, откуда он взялся, если он хорош, а в случае вот конкретно квазара предсказание без теории — тупик. Потому что сам по себе нам этот квазар нафиг не сдался. А чтобы от квазара или еще чего-то дойти до практичного сверхсветового космолета, или хотя бы до тешащей самолюбие человечества Общей теории всего, нужно в множестве таких тупиков прошибить стену (создать теорию), потому что только пройдя один, мы попадем в следующий. С другой стороны, если мы копаем теорию горения углеводородов, например, то вполне есть простор для получения результата-без-теории — скажем, нейросеть может придумать хитрую завитушку в камере сгорания, которая непонят[н]ым снизит выброс оксидов азота на 15%, в такое вполне верится. // Upd: т.е., видимо, стоит внести правку: угол, который можно срезать, в задаче разработки космолета есть, но он в самом конце, когда надо будет двигатель не изобретать, а оптимизировать. А из нашей текущей позиции туда еще пилить и пилить. ‎- як орбитального выпаса
@artemandreev я не ради этого закинул линк. там есть кючевые инсайты, которые к языку имеют очень опосредованное отношение ‎- туктуктук наноробот
@ayoshi нехуёво! «а потом возвращаться» в моём собственном треде мне ещё никто не говорил. achievment unlocked. ‎- сумка с бродским
^ очень странно, что ты воспринимаешь это болезненно. но я готов извиниться. прошу прощения. ‎- туктуктук наноробот
↑ ну я так себе понимаю по твоим словам, что я чего-то по ссылке не так понял (и много раз в исходных своих пунктах сказал, что это вполне вероятно). больше я ничего не понял! newton's по ссылке найти не могу! UPD: ааааа блин, сорри. я думал «прочитайте линк» это всё ещё о моей же исходной ссылке. ‎- сумка с бродским
@ayoshi Ну как-то так, да. Значение гравитационной постоянной действительно вычислено не без помощи статистики. Это значение, безусловно, имеет большое прикладеное значение. Теоретического значения оно не имеет, в "естественной системе единиц" приравниваем ее к 1 и все, важно то, что это именно константа, и что она не равна 0. (Это, конечно, грубое упрощение, @aldragon может меня поправить). Вообще читать критику Хомского всерьез невозможно, конечно. ‎- лицо не владеющее языком
Ещё вот, интересно и странно (с последнего слайда): «Ключ сегодня — распределённое (несимвольное, неонтологическое, некатегориальное) представление знаний и работа с ним. Работа с таким знанием формально не будет признаваться наукой, а „классическая наука“ быстро скатится к статусу схоластической (и не слишком уважаемой) деятельности.» У меня не очень хватает воображения представить описываемую ситуацию, может у кого-то его (воображения) больше?.. ‎- сумка с бродским
нет, серьезно, чтобы это обсуждать, нужно иметь свидетельства каких-то удивительных достижений ‎- лицо не владеющее языком
потому что просто сам факт, что кому-то что-то где-то удалось удачно предсказать, ни о чем не говорит. ("но каждый раз пифии казались такими удивленными и напуганными своим успехом, что весь эффект пропадал даром.") ‎- лицо не владеющее языком
^^^^^ пример про G чудовищно неудачен, как мне кажется. Естественно, "изобретение" формулы тяготения сопровождалось "обработкой статистических данных", но главное-то в ней — не измерить G до неебического знака после запятой, а увидеть, проанализировав данные, что массы входят в первой степени, а расстояние — в минус второй! Этот процесс определенно поддастся автоматизации, но нейросеть тут скорее оверкилл, метод наименьших квадратов отлично справляется.. ‎- як орбитального выпаса
вот, скажем, на рубеже 90-х годов был хипеж (существенно более ограниченный в отношении аудитории, правда) по поводу тнз индуктивного программирование (оно же синтез программ по примерам). Это также выдавалось за окончательное решение проблем machine learning и ключ к новой науке. (И это безусловно не бессмысленная и небезынтересная область, и даже кое-какие результаты были получены) ‎- лицо не владеющее языком
@aldragon ВОТ, про что я и говорю ‎- лицо не владеющее языком
еще были генетические алгоритмы, помнится ‎- лицо не владеющее языком
нет, ну серьёзно! интересное-то что-нибудь есть по ссылке? или зря я её приволок? опровергать я её сам могу до следующего утра! ‎- сумка с бродским
^ к сожалению это довольно сумбурное эссе, он писал коротко, но там видно несколько ключевых инсайтов на мой взгляд: отличие параметрических моделей с небольшим количеством переменных от моделей с запредельно большим. категориальные дискретные модели vs некатегориальные непрерывные. я бы с удовольствием все это обсудил устно, у меня есть что сказать но мне трудно писать длинные тексты... вкратце, только одна мысль: у нас есть некий порог понимания: очень простые модели мы считаем понятными, а очень сложные, такие как в МЛ непонятными, но разница между ними небольшая: кластеризация по 10000 параметров часто отличается от стройной системы в минимум категорий доступной человеку, просто ее описательная точность выше. но описательная часть и категоризация это только один аспект деятельности. Также нам нужна предсказательная модель: иными словами эвристическая абстракция над категоризованными данными. Тут тоже у моделей доступных человеку и построенных МЛ разница количественная. Уровень абстракции моделей построенных человеком пока намного выше, но если представить что мы могли бы вытащить из черного ящика МЛ доступную систему правил, она могла бы представляться понятной на каком то уровне абстрагирования. Последний тезис спорный: я например не представляю процесса которым мы могли бы получить квантовую механику из наблюдаемых данных при помощи МЛ как мы его имеем сегодня, но возможна так же ситуация когда дальнешее изучение мира не будет приносить простых моделей, они все будут очень сложными и недоступными человеку. Про построение онтологий: их можно рассматривать как упрощенную и доступную человеку кластеризацию исходных данных. ‎- туктуктук наноробот
Это просто на подумать, естественно в моих тезисах несколько крупных дыр и упрощений. Нет времени расписывать, к тому же я там о многом еще не успел подумать ‎- туктуктук наноробот
^^^ ну мгм, "интересных ссылок" про __возможные__ перспективы нейросетей и ИИ я эээ не буду врать, что сам напишу пять штук за полчаса, но из трудов Юдковского притащу. Мы же, как уже отметили, даже не знаем — это мы дундуки или и правда "наука вся кончилась" (мечта о космолете, увы, не есть аргумент в пользу существования нужных физических законов) — так как же тогда развернуто обсуждать, поможет ли конкретный рецепт пробиться через этот затык? Пробовать-то надо, конечно. "Что тут обсуждать, прыгать надо" © ‎- як орбитального выпаса
о, а Юдковский про это пишет? (я только HPMoR читал, *смущённо водит ножкой*) как раз когда обдумывал это всё думал что вот его бы мне интересно было заслушать на эти темы. ‎- сумка с бродским
^ ну про ИИ он много писал на уровне эссе; но мой пойнт именно в том, что пока мы не начнем хотя бы немного лежать в этом направлении, всё это изрядно напоминает не то надписи "here be dragons" на старых картах, не то напряженные размышления подростка о том, что же именно он купит, _когда_ выиграет в лотерею 17M$. Тема не располагает к _продуктивному_ теоретизированию. ‎- як орбитального выпаса
а телега про «наука вся кончилась» — это тоже уже какое-то общее место, про которое все писали и рассуждали, да? ‎- сумка с бродским
^ и «наука вся кончилась» затерто до дыр, и тезис «"наука вся кончилась" говорят с конца XIX века, а она все развивается» — тоже. ‎- як орбитального выпаса
//всё-таки не удержусь на почве "космолёта" от личного-больного: что характерно, rocket science таки с конца XIX века не сдвинулась практически никак, а уж за последние полвека — никак совсем. Великая релятивистско-квантовая революция звёзды не приблизила никак, напротив — воткнула еще один барьер. Правда, там, докуда и так не добраться. ‎- як орбитального выпаса
Блядь блядь сука как же меня бесит все это левенчуковство, пиздец. "Синестезия!!!" ‎- былин
про rocket science у меня есть такая странная мысль. Что вот с конца 18 века и весь 19 век люди пытались летать на воздушных шарах, и никуда они, в целом, не улетели, несмотря на общий прогрессистский дух и минимальный порог вхождения. А потом братья Райт изобрели самолёт, в реальность созданич которого вообще-то не все верили. ‎- лицо не владеющее языком
по сути же дела я еще раз скажу. Мне самому не нравится ни принцип "критерий истины практика", ни принцип " экстраординарные заявления требуют экстраординарных доказательств", но поскольку здесь упор делается именно на практику, то, пожалуйста, предьявите нам экстраординарные результаты, гг адепты deep learning ‎- лицо не владеющее языком
потому что результат в стиле "на тщательно отобранный выборке нейронная сеть научилась отличать хуй от кактуса со второй попытки" меня не убеждает ‎- лицо не владеющее языком
^ похоже на выстраданный итог личной жизни #извините ‎- як орбитального выпаса
например, пусть нейронная сеть подскажет, что в русском языке нет слова "знаниевый" ‎- лицо не владеющее языком
@aldragon в личной жизни попытка только одна ‎- лицо не владеющее языком
^^ интересно, какая теория из придуманных человеком может дать этот результат. ‎- туктуктук наноробот
теория заглядывания в словарь, например (а если чуть более серьёзно - теория русского словообразования, которая утверждает, что к абстрактным существительным среднего рода суффикс -ев не присоединяется) ‎- лицо не владеющее языком
^ и то и то решается заглядыванием в словарь МЛ алгоритма и кластеризацией. ‎- туктуктук наноробот
показал тредик папе. говорит, что у них как раз (в радиоастрономии) за последние год огромное количество всего нового произошло (и двинуло вообще понимание устр-ва вселенной). про исходный текст Левенчука говорит «вообще про обсуждение - очень сложно. Я согласен со всеми ораторами. особенно согласен с последним комментом от "былин" :-)» ‎- сумка с бродским
Вообще, мне кажется есть некая путаница со словом "понимание". Под ним понимается несколько сущностей сразу. ‎- туктуктук наноробот
@ayoshi разумеется. собственно, сарказм мой на этом и основывается ‎- лицо не владеющее языком
непонимание понимания понятия "понимание" ‎- лицо не владеющее языком
^ NON-TAIL RECURSIVE PUN INTENDED ‎- туктуктук наноробот

2015-2016 Mokum.place