Хочу поговорить вот про это: http://ailev.livejournal.com/1232960.html
TL;DR: наука застряла, нужны новые методы; такие новые методы — deep learning; надо не «копаться в земле знаниевой лопатой», а «строить знаниевый экскаватор»; как раз сейчас накопилось процессорных мощностей + подходов, чтобы deep learning работал ‎· новое страшное имя её
1) с одной стороны, ужасно я этот ваш deep learning не люблю и не уважаю (см. предыдущие серии: https://mokum.place/zverok/13579). с другой — ну, он же работает на куче задач? и приносит пользу, которую не смогли принести «традиционные» методы ‎· новое страшное имя её
2) действительно ли наука «застряла»? с профанской (моей) точки зрения кажется, что таки да; я конешно не очень-то читатель научных новостей, но кажется, что за последние (десятилетия?) всё новое в наших теоретических знаниях о мире (физика-космос-химия, биология-физиология, что там ещё) это открытия/подтверждения/исследования каких-то частностей, не появление новых теорий и раскрытие новых областей? ‎· новое страшное имя её
3) может, мы «всё уже знаем»? опять же, с моей профанской точки зрения, так не кажется (иначе где мой сверхсветовой космолёт и таблетка от старости?) вообще, кажется, весь довольно бурный прогресс XXI века чисто количественный (те же аккумуляторы, но компактнее и ёмче, те же процессоры, но компактнее и быстрее, те же каналы связи, но шире и надёжнее и т.д.) ‎· новое страшное имя её
4) теперь: может быть действительно «наука застряла» именно потому, что сложность новых рубежей превзошла человеческие возможности и просто _никто_ уже не в силах охватить достаточную часть мира, чтобы заметить новую закономерность и сделать прорывной вывод из тончайшего изменения экспериментальных данных? может, раз так, то и правда нужны какие-то «совершенно новые» методы научного исследования? ‎· новое страшное имя её
5) теперь: мне кажется, что наука (особенно фундаментальная) — это про Увеличение Понимания, то есть про выведение закономерности, _почему_ из A и B получается C; а вот deep learning — это пропускание этапа понимания, это корректное предсказание что из A и B получится C, без возможности объяснить, почему ‎· новое страшное имя её
мне кажется, что тнз deep learning - это типичная реализация obscurum per obscura. "Успешность" того или иного метода здесь и сейчас - ничего не доказывает, потому что все шарлатаны с экстрасенсами тоже успешны - до первого факапа, я хочу сказать. ‎· полновесный ушат матерщины
извините, я кажется, поторопился ‎· полновесный ушат матерщины
6) но может (5) — это и ничего страшного? в конце концов, для всех практических применений, «A, B (страшная формула на пять страниц) → C» ничем почти неотличимо от «A, B (чёрный ящик с нейросетью) → C». то есть если таблетка лечит рак, а звездолёт перемещается быстрее скорости света — может и не важно, что мы в деталях не понимаем, _как_ это происходит? типа, обидно для философов но приятно для обывателей, всё ок ‎· новое страшное имя её
7) мне правда кажется, что без понимания некому будет задать _следующий вопрос_. но может можно нейросетку натренировать на «выдачу осмысленных следующих вопросов», м? и раз уж на то пошло, может можно нейросетку натренировать на «выдачу объяснений имеющимся закономерностям», м? очень странная мысль. ‎· новое страшное имя её
короче, «я замечаю что озадачен»© ‎· новое страшное имя её
в общем, я скорее всего направильно (как минимум сильно упрощённо) понимаю и науку и deep learning. но пока что мне всё это нравится, но не очень. Поговорите со мной! ‎· новое страшное имя её
тж. я не могу не процитировать тут Александра Жолковского: "Одно время М., приняв важный вид, говорил, что у него много хлопот в связи с организацией некого научного объединения фантастов, под председательством, кажется, самого Ефремова. Задача — спасение современной науки от грозящего ей застоя. Я спрашиваю, каким же образом писатели и журналисты могут помочь ученым, не обладая соответствующими знаниями. — Понимаешь, старик, все ученые зарылись в свои специальные отрасли, а сейчас нужны большие идеи. Так что сами физики обращаются за помощью к фантастам. В течение некоторого времени М. ходил озабоченный, спасал науку." ‎· полновесный ушат матерщины
тж., опуская уже завязшую в зубах цитату лорда Кельвина, тем не менее, замечу, что идея, что все уже открыто - постоянная ‎· полновесный ушат матерщины
конкретно про deep learning мне вот очень интересно узнать, что именно такого с его помощью было сделано, чего бы не могла тнз "традиционная" наука ‎· полновесный ушат матерщины
↑ ну там есть на одном из слайдов: «или вы двадцать лет строите модель естественного языка и fail, или неделю тренируете нейросетку и win» ‎· новое страшное имя её
вот конкретно в области обработки естественного языка - ЧТО? ‎· полновесный ушат матерщины
да хз «что», и как это назвать. но Проблемы Делаются Решёнными же. ‎· новое страшное имя её
возможно, во мне говорит естественнонаучный сноб, но мне кажется, что есть области знания, где, вероятно, можно "срезать угол" (и получить, скажем, великолепно работающий переводчик естественных языков, про который никто не будет знать, как _именно_ он работает), а есть та же задача "разработки космолета", где этот угол отсутствует начисто (ну вот чисто технически — что здесь может послужить сырым массивом данных для сети, и на какой результат её натаскивать в процессе дрессировки?). И объединять их все под общим названием "наука" и предполагать, что deep learning будет одинаково эффективно работать везде — столь же обоснованно, как ожидать, что успешно копающий песок экскаватор справится с базальтом и заодно является оптимальным решением для перекачки воды. ‎· як орбитального выпаса
ну какие проблемы-то? ‎· полновесный ушат матерщины
@aldragon да нельзя его получить, посмотрите вы на google translate, который из статистического перевода выжимает вообще все, что можно - и с технической точки зрения это очень впечатляет, и все равно он переводит хуже, чем выпускник советской английской школы ‎· полновесный ушат матерщины
@artemandreev но лучше, чем любой другой _компьютерный_ переводчик (внутри которого десятилетия работы профессоинальных лингвистов, модель языка и т.п.), не?.. ‎· новое страшное имя её
См. так же Norvig vs Chomsky: http://norvig.com/chomsky.html ‎· 50% ash
Не методы собственно нужны, по-моему, нужны новые репрезентации, как Левенчук и говорит, компактные и доступные описания. Чтобы в бошку среднестатистическому будущему ученому влезали. Ну условно как использование позиционной системы исчисления vs операции в римских цифрах. Нужны новые программы обучения детей, использующие большее количество модальностей восприятия : 3д плюс время динамические модели, с кинестетикой и аудио. Нужно наглядное преподавание математики, аналогично тому, что betterexplained делает. ‎· подызделие
т.е. я не хочу сказать, что нейронные сети - плохо, что это тупик, что этим не надо заниматься. Я только не вижу здесь противопоставления с классической наукой. ‎· полновесный ушат матерщины
чуваки, давайте поиграем в адвокатов дьявола, а? мне кажется эта тема очень интересной. сказать «это чушь» и привести очевидные контр-аргументы мы всегда успеем, но мне кажется, что это вообще говоря повод о чём-то подумать дальше Первого Уровня Очевидности™ ‎· новое страшное имя её
@zverok это, на самом деле, сложный вопрос, потому что внутри гуглопереводчика тоже десятилетия работы, это, конечно, не совсем пример про deep learning. Кроме того, напрямую сравнивать качество статистического и rule-based перевода вообще довольно сложно, потому что они делают качественно разные ошибки ‎· полновесный ушат матерщины
@aldragon ну вот у меня папа радиоастроном. он мне много раз объяснял, чем занимается, но я это всё равно понимаю с трудом, поэтому сейчас буду в очередной раз профанировать всё что только можно! вот он допустим получает какие-то данные про то, что квазар N при условиях X и Y даёт радиокартину μ. 20 лет думает, собирает данные, и делает вывод — это потому что в энтом квазаре происходят такие-то химические реакции. делает предсказания на основе этой теории — и ты гляди-ка, предсказания подтверждаются, теория верна. можно ли папу заменить нейросеткой?.. а вдруг она сделает те же предсказания? да, у нас не будет теории, но если предсказания её всегда верны, то чем папина теория (подтверждаемая только предсказаниями, полететь к квазару и посмотреть глазами мы не можем) «лучше» чем «теория» под условным названием Нейросеть Говорит? ‎· новое страшное имя её
потому что экспериментальная проверка - это только половина корректности теории ‎· полновесный ушат матерщины
мы, очевидно, не можем сказать, дает ли оракул (чем бы он ни был) _всегда_ правильные ответы ‎· полновесный ушат матерщины
скажем, наша уверенность в том, что львиная доля, допустим: физики "верна" связана не только с экспериментальной проверкой, но и с пониманием того, как теория устроена ‎· полновесный ушат матерщины
@zverok @artemandreev Прочитайте линк, потом возвращайтесь. Ключевые абзацы про newton's model of gravitational attravtion и после ‎· 50% ash
не, я не хочу обсуждать статистические модели языка, серьезно, не хочу. ‎· полновесный ушат матерщины
^(6) тем, что в случае перевода результат без теории — собственно, результат, и who cares, откуда он взялся, если он хорош, а в случае вот конкретно квазара предсказание без теории — тупик. Потому что сам по себе нам этот квазар нафиг не сдался. А чтобы от квазара или еще чего-то дойти до практичного сверхсветового космолета, или хотя бы до тешащей самолюбие человечества Общей теории всего, нужно в множестве таких тупиков прошибить стену (создать теорию), потому что только пройдя один, мы попадем в следующий. С другой стороны, если мы копаем теорию горения углеводородов, например, то вполне есть простор для получения результата-без-теории — скажем, нейросеть может придумать хитрую завитушку в камере сгорания, которая непонят[н]ым снизит выброс оксидов азота на 15%, в такое вполне верится. // Upd: т.е., видимо, стоит внести правку: угол, который можно срезать, в задаче разработки космолета есть, но он в самом конце, когда надо будет двигатель не изобретать, а оптимизировать. А из нашей текущей позиции туда еще пилить и пилить. ‎· як орбитального выпаса
@artemandreev я не ради этого закинул линк. там есть кючевые инсайты, которые к языку имеют очень опосредованное отношение ‎· 50% ash
@ayoshi нехуёво! «а потом возвращаться» в моём собственном треде мне ещё никто не говорил. achievment unlocked. ‎· новое страшное имя её
^ очень странно, что ты воспринимаешь это болезненно. но я готов извиниться. прошу прощения. ‎· 50% ash
↑ ну я так себе понимаю по твоим словам, что я чего-то по ссылке не так понял (и много раз в исходных своих пунктах сказал, что это вполне вероятно). больше я ничего не понял! newton's по ссылке найти не могу! UPD: ааааа блин, сорри. я думал «прочитайте линк» это всё ещё о моей же исходной ссылке. ‎· новое страшное имя её
@ayoshi Ну как-то так, да. Значение гравитационной постоянной действительно вычислено не без помощи статистики. Это значение, безусловно, имеет большое прикладеное значение. Теоретического значения оно не имеет, в "естественной системе единиц" приравниваем ее к 1 и все, важно то, что это именно константа, и что она не равна 0. (Это, конечно, грубое упрощение, @aldragon может меня поправить). Вообще читать критику Хомского всерьез невозможно, конечно. ‎· полновесный ушат матерщины
Ещё вот, интересно и странно (с последнего слайда): «Ключ сегодня — распределённое (несимвольное, неонтологическое, некатегориальное) представление знаний и работа с ним. Работа с таким знанием формально не будет признаваться наукой, а „классическая наука“ быстро скатится к статусу схоластической (и не слишком уважаемой) деятельности.» У меня не очень хватает воображения представить описываемую ситуацию, может у кого-то его (воображения) больше?.. ‎· новое страшное имя её
нет, серьезно, чтобы это обсуждать, нужно иметь свидетельства каких-то удивительных достижений ‎· полновесный ушат матерщины
потому что просто сам факт, что кому-то что-то где-то удалось удачно предсказать, ни о чем не говорит. ("но каждый раз пифии казались такими удивленными и напуганными своим успехом, что весь эффект пропадал даром.") ‎· полновесный ушат матерщины
^^^^^ пример про G чудовищно неудачен, как мне кажется. Естественно, "изобретение" формулы тяготения сопровождалось "обработкой статистических данных", но главное-то в ней — не измерить G до неебического знака после запятой, а увидеть, проанализировав данные, что массы входят в первой степени, а расстояние — в минус второй! Этот процесс определенно поддастся автоматизации, но нейросеть тут скорее оверкилл, метод наименьших квадратов отлично справляется.. ‎· як орбитального выпаса
вот, скажем, на рубеже 90-х годов был хипеж (существенно более ограниченный в отношении аудитории, правда) по поводу тнз индуктивного программирование (оно же синтез программ по примерам). Это также выдавалось за окончательное решение проблем machine learning и ключ к новой науке. (И это безусловно не бессмысленная и небезынтересная область, и даже кое-какие результаты были получены) ‎· полновесный ушат матерщины
@aldragon ВОТ, про что я и говорю ‎· полновесный ушат матерщины
еще были генетические алгоритмы, помнится ‎· полновесный ушат матерщины
нет, ну серьёзно! интересное-то что-нибудь есть по ссылке? или зря я её приволок? опровергать я её сам могу до следующего утра! ‎· новое страшное имя её
^ к сожалению это довольно сумбурное эссе, он писал коротко, но там видно несколько ключевых инсайтов на мой взгляд: отличие параметрических моделей с небольшим количеством переменных от моделей с запредельно большим. категориальные дискретные модели vs некатегориальные непрерывные. я бы с удовольствием все это обсудил устно, у меня есть что сказать но мне трудно писать длинные тексты... вкратце, только одна мысль: у нас есть некий порог понимания: очень простые модели мы считаем понятными, а очень сложные, такие как в МЛ непонятными, но разница между ними небольшая: кластеризация по 10000 параметров часто отличается от стройной системы в минимум категорий доступной человеку, просто ее описательная точность выше. но описательная часть и категоризация это только один аспект деятельности. Также нам нужна предсказательная модель: иными словами эвристическая абстракция над категоризованными данными. Тут тоже у моделей доступных человеку и построенных МЛ разница количественная. Уровень абстракции моделей построенных человеком пока намного выше, но если представить что мы могли бы вытащить из черного ящика МЛ доступную систему правил, она могла бы представляться понятной на каком то уровне абстрагирования. Последний тезис спорный: я например не представляю процесса которым мы могли бы получить квантовую механику из наблюдаемых данных при помощи МЛ как мы его имеем сегодня, но возможна так же ситуация когда дальнешее изучение мира не будет приносить простых моделей, они все будут очень сложными и недоступными человеку. Про построение онтологий: их можно рассматривать как упрощенную и доступную человеку кластеризацию исходных данных. ‎· 50% ash
Это просто на подумать, естественно в моих тезисах несколько крупных дыр и упрощений. Нет времени расписывать, к тому же я там о многом еще не успел подумать ‎· 50% ash
^^^ ну мгм, "интересных ссылок" про __возможные__ перспективы нейросетей и ИИ я эээ не буду врать, что сам напишу пять штук за полчаса, но из трудов Юдковского притащу. Мы же, как уже отметили, даже не знаем — это мы дундуки или и правда "наука вся кончилась" (мечта о космолете, увы, не есть аргумент в пользу существования нужных физических законов) — так как же тогда развернуто обсуждать, поможет ли конкретный рецепт пробиться через этот затык? Пробовать-то надо, конечно. "Что тут обсуждать, прыгать надо" © ‎· як орбитального выпаса
о, а Юдковский про это пишет? (я только HPMoR читал, *смущённо водит ножкой*) как раз когда обдумывал это всё думал что вот его бы мне интересно было заслушать на эти темы. ‎· новое страшное имя её
^ ну про ИИ он много писал на уровне эссе; но мой пойнт именно в том, что пока мы не начнем хотя бы немного лежать в этом направлении, всё это изрядно напоминает не то надписи "here be dragons" на старых картах, не то напряженные размышления подростка о том, что же именно он купит, _когда_ выиграет в лотерею 17M$. Тема не располагает к _продуктивному_ теоретизированию. ‎· як орбитального выпаса
а телега про «наука вся кончилась» — это тоже уже какое-то общее место, про которое все писали и рассуждали, да? ‎· новое страшное имя её
^ и «наука вся кончилась» затерто до дыр, и тезис «"наука вся кончилась" говорят с конца XIX века, а она все развивается» — тоже. ‎· як орбитального выпаса
//всё-таки не удержусь на почве "космолёта" от личного-больного: что характерно, rocket science таки с конца XIX века не сдвинулась практически никак, а уж за последние полвека — никак совсем. Великая релятивистско-квантовая революция звёзды не приблизила никак, напротив — воткнула еще один барьер. Правда, там, докуда и так не добраться. ‎· як орбитального выпаса
Блядь блядь сука как же меня бесит все это левенчуковство, пиздец. "Синестезия!!!" ‎· былин
про rocket science у меня есть такая странная мысль. Что вот с конца 18 века и весь 19 век люди пытались летать на воздушных шарах, и никуда они, в целом, не улетели, несмотря на общий прогрессистский дух и минимальный порог вхождения. А потом братья Райт изобрели самолёт, в реальность созданич которого вообще-то не все верили. ‎· полновесный ушат матерщины
по сути же дела я еще раз скажу. Мне самому не нравится ни принцип "критерий истины практика", ни принцип " экстраординарные заявления требуют экстраординарных доказательств", но поскольку здесь упор делается именно на практику, то, пожалуйста, предьявите нам экстраординарные результаты, гг адепты deep learning ‎· полновесный ушат матерщины
потому что результат в стиле "на тщательно отобранный выборке нейронная сеть научилась отличать хуй от кактуса со второй попытки" меня не убеждает ‎· полновесный ушат матерщины
^ похоже на выстраданный итог личной жизни #извините ‎· як орбитального выпаса
например, пусть нейронная сеть подскажет, что в русском языке нет слова "знаниевый" ‎· полновесный ушат матерщины
@aldragon в личной жизни попытка только одна ‎· полновесный ушат матерщины
^^ интересно, какая теория из придуманных человеком может дать этот результат. ‎· 50% ash
теория заглядывания в словарь, например (а если чуть более серьёзно - теория русского словообразования, которая утверждает, что к абстрактным существительным среднего рода суффикс -ев не присоединяется) ‎· полновесный ушат матерщины
^ и то и то решается заглядыванием в словарь МЛ алгоритма и кластеризацией. ‎· 50% ash
показал тредик папе. говорит, что у них как раз (в радиоастрономии) за последние год огромное количество всего нового произошло (и двинуло вообще понимание устр-ва вселенной). про исходный текст Левенчука говорит «вообще про обсуждение - очень сложно. Я согласен со всеми ораторами. особенно согласен с последним комментом от "былин" :-)» ‎· новое страшное имя её
Вообще, мне кажется есть некая путаница со словом "понимание". Под ним понимается несколько сущностей сразу. ‎· 50% ash
@ayoshi разумеется. собственно, сарказм мой на этом и основывается ‎· полновесный ушат матерщины
непонимание понимания понятия "понимание" ‎· полновесный ушат матерщины
^ NON-TAIL RECURSIVE PUN INTENDED ‎· 50% ash