Сооснователь и бывший главный научный сотрудник OpenAI, Илья Суцкевер, попал в заголовки новостей в начале этого года после того, как он покинул компанию, чтобы основать собственную лабораторию ИИ под названием Safe Superintelligence Inc. После ухода он избегал публичности, но в пятницу совершил редкое публичное выступление в Ванкувере на конференции по нейронным информационным системам (NeurIPS).
«Предобучение в том виде, в каком мы его знаем, несомненно, прекратится», — заявил Суцкевер на сцене. Это касается первой фазы разработки моделей ИИ, когда крупная языковая модель изучает шаблоны из огромных объемов неразметных данных — в основном текстов из интернета, книг и других источников.
«Мы достигли пика данных, и больше их не будет».
Во время своего выступления на NeurIPS Суцкевер отметил, что, хотя он считает, что существующие данные всё ещё могут продвинуть развитие ИИ, индустрия исчерпывает новые данные для обучения. Эта динамика, по его словам, со временем вынудит перейти от нынешних методов обучения моделей. Он сравнил ситуацию с ископаемым топливом: так же, как нефть является конечным ресурсом, в интернете ограниченное количество контента, созданного человеком.
«Мы достигли пика данных, и больше их не будет», — согласно словам Суцкевера. «Мы должны работать с теми данными, которые у нас есть. Есть только один интернет».
Он предположил, что модели следующего поколения «будут действовать агентно на самом деле». Агенты становятся настоящим модным словечком в области ИИ. Хотя Суцкевер не дал им определения во время своего выступления, их обычно понимают как автономную систему ИИ, которая выполняет задачи, принимает решения и взаимодействует с программным обеспечением самостоятельно.
Помимо того, что они будут «агентными», Суцкевер заявил, что будущие системы смогут также рассуждать. В отличие от сегодняшнего ИИ, который в основном сопоставляет шаблоны на основе того, что модель уже видела, будущие системы ИИ смогут решать задачи шаг за шагом, что будет более сопоставимо с мышлением.
«Чем больше система рассуждает, тем более непредсказуемой она становится», — по словам Суцкевера. Он сравнил непредсказуемость «по-настоящему рассуждающих систем» с тем, как продвинутые ИИ, играющие в шахматы, остаются непредсказуемыми для лучших человеческих шахматистов.
«Они будут понимать вещи, опираясь на ограниченные данные», — сказал он. «Они не будут путаться».
На сцене он провел аналогию между масштабированием систем ИИ и эволюционной биологией, ссылаясь на исследования, показывающие связь между массой мозга и тела у различных видов. Он отметил, что, хотя большинство млекопитающих следуют одной модели масштабирования, человекообразные (предки человека) демонстрируют явно иную крутизну в соотношении массы мозга к телу на логарифмических шкалах.
Он предположил, что, так же как эволюция нашла новый паттерн масштабирования для мозга человекообразных, ИИ может аналогично открыть новые подходы к масштабированию, выходящие за рамки того, как предобучение работает сегодня.
После завершения своего выступления, один из членов аудитории спросил Суцкевера, как исследователи могут создать правильные стимулы для человечества, чтобы позволить ИИ иметь «те же свободы, что у нас, как у Homo sapiens».
«Мне кажется, что в некотором смысле это те вопросы, над которыми люди должны размышлять больше», — ответил Суцкевер. Он сделал паузу, прежде чем сказать, что он не «чувствует уверенности, отвечая на такие вопросы», потому что для этого потребуется «государственная структура сверху вниз». Один из членов аудитории предложил криптовалюту, что вызвало смешки в зале.
«Я не чувствую, что я подходящий человек, чтобы комментировать криптовалюту, но есть вероятность того, что то, что вы описываете, произойдет», — сказал Суцкевер. «Знаете, в каком-то смысле это не плохой конечный результат, если у вас есть ИИ, и всё, что они хотят, это сосуществовать с нами и иметь права. Может быть, это будет нормально… Я думаю, вещи настолько невероятно непредсказуемы. Я не решаюсь комментировать, но призываю к спекуляциям».
Источник: The Verge
