Avatar for zverok
Хочу поговорить вот про это: http://ailev.livejournal.com/1232960.html
Comment
TL;DR: наука застряла, нужны новые методы; такие новые методы — deep learning; надо не «копаться в земле знаниевой лопатой», а «строить знаниевый экскаватор»; как раз сейчас накопилось процессорных мощностей + подходов, чтобы deep learning работал ‎· в сгущающейся тьме
Comment
1) с одной стороны, ужасно я этот ваш deep learning не люблю и не уважаю (см. предыдущие серии: https://mokum.place/zverok/13579). с другой — ну, он же работает на куче задач? и приносит пользу, которую не смогли принести «традиционные» методы ‎· в сгущающейся тьме
Comment
2) действительно ли наука «застряла»? с профанской (моей) точки зрения кажется, что таки да; я конешно не очень-то читатель научных новостей, но кажется, что за последние (десятилетия?) всё новое в наших теоретических знаниях о мире (физика-космос-химия, биология-физиология, что там ещё) это открытия/подтверждения/исследования каких-то частностей, не появление новых теорий и раскрытие новых областей? ‎· в сгущающейся тьме
Comment
3) может, мы «всё уже знаем»? опять же, с моей профанской точки зрения, так не кажется (иначе где мой сверхсветовой космолёт и таблетка от старости?) вообще, кажется, весь довольно бурный прогресс XXI века чисто количественный (те же аккумуляторы, но компактнее и ёмче, те же процессоры, но компактнее и быстрее, те же каналы связи, но шире и надёжнее и т.д.) ‎· в сгущающейся тьме
Comment
4) теперь: может быть действительно «наука застряла» именно потому, что сложность новых рубежей превзошла человеческие возможности и просто _никто_ уже не в силах охватить достаточную часть мира, чтобы заметить новую закономерность и сделать прорывной вывод из тончайшего изменения экспериментальных данных? может, раз так, то и правда нужны какие-то «совершенно новые» методы научного исследования? ‎· в сгущающейся тьме
Comment
5) теперь: мне кажется, что наука (особенно фундаментальная) — это про Увеличение Понимания, то есть про выведение закономерности, _почему_ из A и B получается C; а вот deep learning — это пропускание этапа понимания, это корректное предсказание что из A и B получится C, без возможности объяснить, почему ‎· в сгущающейся тьме
Comment
мне кажется, что тнз deep learning - это типичная реализация obscurum per obscura. "Успешность" того или иного метода здесь и сейчас - ничего не доказывает, потому что все шарлатаны с экстрасенсами тоже успешны - до первого факапа, я хочу сказать. ‎· Ленин с куличами и яйцами
Comment
извините, я кажется, поторопился ‎· Ленин с куличами и яйцами
Comment
6) но может (5) — это и ничего страшного? в конце концов, для всех практических применений, «A, B (страшная формула на пять страниц) → C» ничем почти неотличимо от «A, B (чёрный ящик с нейросетью) → C». то есть если таблетка лечит рак, а звездолёт перемещается быстрее скорости света — может и не важно, что мы в деталях не понимаем, _как_ это происходит? типа, обидно для философов но приятно для обывателей, всё ок ‎· в сгущающейся тьме
Comment
7) мне правда кажется, что без понимания некому будет задать _следующий вопрос_. но может можно нейросетку натренировать на «выдачу осмысленных следующих вопросов», м? и раз уж на то пошло, может можно нейросетку натренировать на «выдачу объяснений имеющимся закономерностям», м? очень странная мысль. ‎· в сгущающейся тьме
Comment
короче, «я замечаю что озадачен»© ‎· в сгущающейся тьме
Comment
в общем, я скорее всего направильно (как минимум сильно упрощённо) понимаю и науку и deep learning. но пока что мне всё это нравится, но не очень. Поговорите со мной! ‎· в сгущающейся тьме
Comment
тж. я не могу не процитировать тут Александра Жолковского: "Одно время М., приняв важный вид, говорил, что у него много хлопот в связи с организацией некого научного объединения фантастов, под председательством, кажется, самого Ефремова. Задача — спасение современной науки от грозящего ей застоя. Я спрашиваю, каким же образом писатели и журналисты могут помочь ученым, не обладая соответствующими знаниями. — Понимаешь, старик, все ученые зарылись в свои специальные отрасли, а сейчас нужны большие идеи. Так что сами физики обращаются за помощью к фантастам. В течение некоторого времени М. ходил озабоченный, спасал науку." ‎· Ленин с куличами и яйцами
Comment
тж., опуская уже завязшую в зубах цитату лорда Кельвина, тем не менее, замечу, что идея, что все уже открыто - постоянная ‎· Ленин с куличами и яйцами
Comment
конкретно про deep learning мне вот очень интересно узнать, что именно такого с его помощью было сделано, чего бы не могла тнз "традиционная" наука ‎· Ленин с куличами и яйцами
Comment
ну там есть на одном из слайдов: «или вы двадцать лет строите модель естественного языка и fail, или неделю тренируете нейросетку и win» ‎· в сгущающейся тьме
Comment
вот конкретно в области обработки естественного языка - ЧТО? ‎· Ленин с куличами и яйцами
Comment
да хз «что», и как это назвать. но Проблемы Делаются Решёнными же. ‎· в сгущающейся тьме
Comment
возможно, во мне говорит естественнонаучный сноб, но мне кажется, что есть области знания, где, вероятно, можно "срезать угол" (и получить, скажем, великолепно работающий переводчик естественных языков, про который никто не будет знать, как _именно_ он работает), а есть та же задача "разработки космолета", где этот угол отсутствует начисто (ну вот чисто технически — что здесь может послужить сырым массивом данных для сети, и на какой результат её натаскивать в процессе дрессировки?). И объединять их все под общим названием "наука" и предполагать, что deep learning будет одинаково эффективно работать везде — столь же обоснованно, как ожидать, что успешно копающий песок экскаватор справится с базальтом и заодно является оптимальным решением для перекачки воды. ‎· як орбитального выпаса
Comment
ну какие проблемы-то? ‎· Ленин с куличами и яйцами
Comment
@aldragon да нельзя его получить, посмотрите вы на google translate, который из статистического перевода выжимает вообще все, что можно - и с технической точки зрения это очень впечатляет, и все равно он переводит хуже, чем выпускник советской английской школы ‎· Ленин с куличами и яйцами
Comment
@artemandreev но лучше, чем любой другой _компьютерный_ переводчик (внутри которого десятилетия работы профессоинальных лингвистов, модель языка и т.п.), не?.. ‎· в сгущающейся тьме
Comment
См. так же Norvig vs Chomsky: http://norvig.com/chomsky.html ‎· 50% ash
Comment
Не методы собственно нужны, по-моему, нужны новые репрезентации, как Левенчук и говорит, компактные и доступные описания. Чтобы в бошку среднестатистическому будущему ученому влезали. Ну условно как использование позиционной системы исчисления vs операции в римских цифрах. Нужны новые программы обучения детей, использующие большее количество модальностей восприятия : 3д плюс время динамические модели, с кинестетикой и аудио. Нужно наглядное преподавание математики, аналогично тому, что betterexplained делает. ‎· nazer
Comment
т.е. я не хочу сказать, что нейронные сети - плохо, что это тупик, что этим не надо заниматься. Я только не вижу здесь противопоставления с классической наукой. ‎· Ленин с куличами и яйцами
Comment
чуваки, давайте поиграем в адвокатов дьявола, а? мне кажется эта тема очень интересной. сказать «это чушь» и привести очевидные контр-аргументы мы всегда успеем, но мне кажется, что это вообще говоря повод о чём-то подумать дальше Первого Уровня Очевидности™ ‎· в сгущающейся тьме
Comment
@zverok это, на самом деле, сложный вопрос, потому что внутри гуглопереводчика тоже десятилетия работы, это, конечно, не совсем пример про deep learning. Кроме того, напрямую сравнивать качество статистического и rule-based перевода вообще довольно сложно, потому что они делают качественно разные ошибки ‎· Ленин с куличами и яйцами
Comment
@aldragon ну вот у меня папа радиоастроном. он мне много раз объяснял, чем занимается, но я это всё равно понимаю с трудом, поэтому сейчас буду в очередной раз профанировать всё что только можно! вот он допустим получает какие-то данные про то, что квазар N при условиях X и Y даёт радиокартину μ. 20 лет думает, собирает данные, и делает вывод — это потому что в энтом квазаре происходят такие-то химические реакции. делает предсказания на основе этой теории — и ты гляди-ка, предсказания подтверждаются, теория верна. можно ли папу заменить нейросеткой?.. а вдруг она сделает те же предсказания? да, у нас не будет теории, но если предсказания её всегда верны, то чем папина теория (подтверждаемая только предсказаниями, полететь к квазару и посмотреть глазами мы не можем) «лучше» чем «теория» под условным названием Нейросеть Говорит? ‎· в сгущающейся тьме
Comment
потому что экспериментальная проверка - это только половина корректности теории ‎· Ленин с куличами и яйцами
Comment
мы, очевидно, не можем сказать, дает ли оракул (чем бы он ни был) _всегда_ правильные ответы ‎· Ленин с куличами и яйцами
Comment
скажем, наша уверенность в том, что львиная доля, допустим: физики "верна" связана не только с экспериментальной проверкой, но и с пониманием того, как теория устроена ‎· Ленин с куличами и яйцами
Comment
@zverok @artemandreev Прочитайте линк, потом возвращайтесь. Ключевые абзацы про newton's model of gravitational attravtion и после ‎· 50% ash
Comment
не, я не хочу обсуждать статистические модели языка, серьезно, не хочу. ‎· Ленин с куличами и яйцами
Comment
^(6) тем, что в случае перевода результат без теории — собственно, результат, и who cares, откуда он взялся, если он хорош, а в случае вот конкретно квазара предсказание без теории — тупик. Потому что сам по себе нам этот квазар нафиг не сдался. А чтобы от квазара или еще чего-то дойти до практичного сверхсветового космолета, или хотя бы до тешащей самолюбие человечества Общей теории всего, нужно в множестве таких тупиков прошибить стену (создать теорию), потому что только пройдя один, мы попадем в следующий. С другой стороны, если мы копаем теорию горения углеводородов, например, то вполне есть простор для получения результата-без-теории — скажем, нейросеть может придумать хитрую завитушку в камере сгорания, которая непонят[н]ым снизит выброс оксидов азота на 15%, в такое вполне верится. // Upd: т.е., видимо, стоит внести правку: угол, который можно срезать, в задаче разработки космолета есть, но он в самом конце, когда надо будет двигатель не изобретать, а оптимизировать. А из нашей текущей позиции туда еще пилить и пилить. ‎· як орбитального выпаса
Comment
@artemandreev я не ради этого закинул линк. там есть кючевые инсайты, которые к языку имеют очень опосредованное отношение ‎· 50% ash
Comment
@ayoshi нехуёво! «а потом возвращаться» в моём собственном треде мне ещё никто не говорил. achievment unlocked. ‎· в сгущающейся тьме
Comment
^ очень странно, что ты воспринимаешь это болезненно. но я готов извиниться. прошу прощения. ‎· 50% ash
Comment
ну я так себе понимаю по твоим словам, что я чего-то по ссылке не так понял (и много раз в исходных своих пунктах сказал, что это вполне вероятно). больше я ничего не понял! newton's по ссылке найти не могу! UPD: ааааа блин, сорри. я думал «прочитайте линк» это всё ещё о моей же исходной ссылке. ‎· в сгущающейся тьме
Comment
@ayoshi Ну как-то так, да. Значение гравитационной постоянной действительно вычислено не без помощи статистики. Это значение, безусловно, имеет большое прикладеное значение. Теоретического значения оно не имеет, в "естественной системе единиц" приравниваем ее к 1 и все, важно то, что это именно константа, и что она не равна 0. (Это, конечно, грубое упрощение, @aldragon может меня поправить). Вообще читать критику Хомского всерьез невозможно, конечно. ‎· Ленин с куличами и яйцами
Comment
Ещё вот, интересно и странно (с последнего слайда): «Ключ сегодня — распределённое (несимвольное, неонтологическое, некатегориальное) представление знаний и работа с ним. Работа с таким знанием формально не будет признаваться наукой, а „классическая наука“ быстро скатится к статусу схоластической (и не слишком уважаемой) деятельности.» У меня не очень хватает воображения представить описываемую ситуацию, может у кого-то его (воображения) больше?.. ‎· в сгущающейся тьме
Comment
нет, серьезно, чтобы это обсуждать, нужно иметь свидетельства каких-то удивительных достижений ‎· Ленин с куличами и яйцами
Comment
потому что просто сам факт, что кому-то что-то где-то удалось удачно предсказать, ни о чем не говорит. ("но каждый раз пифии казались такими удивленными и напуганными своим успехом, что весь эффект пропадал даром.") ‎· Ленин с куличами и яйцами
Comment
^^^^^ пример про G чудовищно неудачен, как мне кажется. Естественно, "изобретение" формулы тяготения сопровождалось "обработкой статистических данных", но главное-то в ней — не измерить G до неебического знака после запятой, а увидеть, проанализировав данные, что массы входят в первой степени, а расстояние — в минус второй! Этот процесс определенно поддастся автоматизации, но нейросеть тут скорее оверкилл, метод наименьших квадратов отлично справляется.. ‎· як орбитального выпаса
Comment
вот, скажем, на рубеже 90-х годов был хипеж (существенно более ограниченный в отношении аудитории, правда) по поводу тнз индуктивного программирование (оно же синтез программ по примерам). Это также выдавалось за окончательное решение проблем machine learning и ключ к новой науке. (И это безусловно не бессмысленная и небезынтересная область, и даже кое-какие результаты были получены) ‎· Ленин с куличами и яйцами
Comment
@aldragon ВОТ, про что я и говорю ‎· Ленин с куличами и яйцами
Comment
еще были генетические алгоритмы, помнится ‎· Ленин с куличами и яйцами
Comment
нет, ну серьёзно! интересное-то что-нибудь есть по ссылке? или зря я её приволок? опровергать я её сам могу до следующего утра! ‎· в сгущающейся тьме
Comment
^ к сожалению это довольно сумбурное эссе, он писал коротко, но там видно несколько ключевых инсайтов на мой взгляд: отличие параметрических моделей с небольшим количеством переменных от моделей с запредельно большим. категориальные дискретные модели vs некатегориальные непрерывные. я бы с удовольствием все это обсудил устно, у меня есть что сказать но мне трудно писать длинные тексты... вкратце, только одна мысль: у нас есть некий порог понимания: очень простые модели мы считаем понятными, а очень сложные, такие как в МЛ непонятными, но разница между ними небольшая: кластеризация по 10000 параметров часто отличается от стройной системы в минимум категорий доступной человеку, просто ее описательная точность выше. но описательная часть и категоризация это только один аспект деятельности. Также нам нужна предсказательная модель: иными словами эвристическая абстракция над категоризованными данными. Тут тоже у моделей доступных человеку и построенных МЛ разница количественная. Уровень абстракции моделей построенных человеком пока намного выше, но если представить что мы могли бы вытащить из черного ящика МЛ доступную систему правил, она могла бы представляться понятной на каком то уровне абстрагирования. Последний тезис спорный: я например не представляю процесса которым мы могли бы получить квантовую механику из наблюдаемых данных при помощи МЛ как мы его имеем сегодня, но возможна так же ситуация когда дальнешее изучение мира не будет приносить простых моделей, они все будут очень сложными и недоступными человеку. Про построение онтологий: их можно рассматривать как упрощенную и доступную человеку кластеризацию исходных данных. ‎· 50% ash
Comment
Это просто на подумать, естественно в моих тезисах несколько крупных дыр и упрощений. Нет времени расписывать, к тому же я там о многом еще не успел подумать ‎· 50% ash
Comment
^^^ ну мгм, "интересных ссылок" про __возможные__ перспективы нейросетей и ИИ я эээ не буду врать, что сам напишу пять штук за полчаса, но из трудов Юдковского притащу. Мы же, как уже отметили, даже не знаем — это мы дундуки или и правда "наука вся кончилась" (мечта о космолете, увы, не есть аргумент в пользу существования нужных физических законов) — так как же тогда развернуто обсуждать, поможет ли конкретный рецепт пробиться через этот затык? Пробовать-то надо, конечно. "Что тут обсуждать, прыгать надо" © ‎· як орбитального выпаса
Comment
о, а Юдковский про это пишет? (я только HPMoR читал, *смущённо водит ножкой*) как раз когда обдумывал это всё думал что вот его бы мне интересно было заслушать на эти темы. ‎· в сгущающейся тьме
Comment
^ ну про ИИ он много писал на уровне эссе; но мой пойнт именно в том, что пока мы не начнем хотя бы немного лежать в этом направлении, всё это изрядно напоминает не то надписи "here be dragons" на старых картах, не то напряженные размышления подростка о том, что же именно он купит, _когда_ выиграет в лотерею 17M$. Тема не располагает к _продуктивному_ теоретизированию. ‎· як орбитального выпаса
Comment
а телега про «наука вся кончилась» — это тоже уже какое-то общее место, про которое все писали и рассуждали, да? ‎· в сгущающейся тьме
Comment
^ и «наука вся кончилась» затерто до дыр, и тезис «"наука вся кончилась" говорят с конца XIX века, а она все развивается» — тоже. ‎· як орбитального выпаса
Comment
//всё-таки не удержусь на почве "космолёта" от личного-больного: что характерно, rocket science таки с конца XIX века не сдвинулась практически никак, а уж за последние полвека — никак совсем. Великая релятивистско-квантовая революция звёзды не приблизила никак, напротив — воткнула еще один барьер. Правда, там, докуда и так не добраться. ‎· як орбитального выпаса
Comment
Блядь блядь сука как же меня бесит все это левенчуковство, пиздец. "Синестезия!!!" ‎· былин
Comment
про rocket science у меня есть такая странная мысль. Что вот с конца 18 века и весь 19 век люди пытались летать на воздушных шарах, и никуда они, в целом, не улетели, несмотря на общий прогрессистский дух и минимальный порог вхождения. А потом братья Райт изобрели самолёт, в реальность созданич которого вообще-то не все верили. ‎· Ленин с куличами и яйцами
Comment
по сути же дела я еще раз скажу. Мне самому не нравится ни принцип "критерий истины практика", ни принцип " экстраординарные заявления требуют экстраординарных доказательств", но поскольку здесь упор делается именно на практику, то, пожалуйста, предьявите нам экстраординарные результаты, гг адепты deep learning ‎· Ленин с куличами и яйцами
Comment
потому что результат в стиле "на тщательно отобранный выборке нейронная сеть научилась отличать хуй от кактуса со второй попытки" меня не убеждает ‎· Ленин с куличами и яйцами
Comment
^ похоже на выстраданный итог личной жизни #извините ‎· як орбитального выпаса
Comment
например, пусть нейронная сеть подскажет, что в русском языке нет слова "знаниевый" ‎· Ленин с куличами и яйцами
Comment
@aldragon в личной жизни попытка только одна ‎· Ленин с куличами и яйцами
Comment
^^ интересно, какая теория из придуманных человеком может дать этот результат. ‎· 50% ash
Comment
теория заглядывания в словарь, например (а если чуть более серьёзно - теория русского словообразования, которая утверждает, что к абстрактным существительным среднего рода суффикс -ев не присоединяется) ‎· Ленин с куличами и яйцами
Comment
^ и то и то решается заглядыванием в словарь МЛ алгоритма и кластеризацией. ‎· 50% ash
Comment
показал тредик папе. говорит, что у них как раз (в радиоастрономии) за последние год огромное количество всего нового произошло (и двинуло вообще понимание устр-ва вселенной). про исходный текст Левенчука говорит «вообще про обсуждение - очень сложно. Я согласен со всеми ораторами. особенно согласен с последним комментом от "былин" :-)» ‎· в сгущающейся тьме
Comment
Вообще, мне кажется есть некая путаница со словом "понимание". Под ним понимается несколько сущностей сразу. ‎· 50% ash
Comment
@ayoshi разумеется. собственно, сарказм мой на этом и основывается ‎· Ленин с куличами и яйцами
Comment
непонимание понимания понятия "понимание" ‎· Ленин с куличами и яйцами
Comment
^ NON-TAIL RECURSIVE PUN INTENDED ‎· 50% ash
1 2 3 4 5 6 7 8 9 10

2015-2018 Mokum.place