Эра трансформеров, отличие человека от LLM и будущее AI — Михаил Бурцев | Мыслить как ученый #55

Обсуждаем устройство трансформеров и механизм внимания. Как появилась архитектура, на которой построены ChatGPT, Claude и Gemini? Почему предсказание следующего слова оказалось настолько мощной идеей и как оно изменило развитие AI? Говорим о природе интеллекта, различиях между человеком и LLM, а также о том, почему способность предсказывать следующее слово приводит к поведению, которое выглядит разумным. Разбираем, как трансформеры помогают анализировать ДНК и как такие системы могут использоваться для персонализированной медицины. Говорим о будущем ИИ: почему эпоха масштабирования может подходить к концу, какие ограничения есть у современных моделей и каким может стать следующий этап развития искусственного интеллекта. ▶︎Naukka Talents – платформа для поиска талантов и найма STEM-специалистов в deep-tech и biotech проекты. Подать заявку кандидата: https://postnauka.org/link/nt_scast ▶︎Следите за ПостНаукой на других площадках: https://postnauka.org/link/linktr_scast ▶Курсы от создателей ПостНауки: https://postnauka.org/link/academy_scast ▶Поддержать ПостНауку: https://postnauka.org/link/donate_scast ▶По вопросам партнерства — коммуникационное агентство ПостНаука.Specials: https://postnauka.org/link/letsdance_scast Тайминги выпуска: 00:00 О чем этот выпуск? 06:16 Как появились современные большие языковые модели 13:20 Тройственный союз: нейросети, символы и эволюция 17:31 Предыстория Attention Is All You Need 22:36 Проблема памяти до появления трансформеров 26:00 Что такое self-attention 32:46 Почему диалог сложнее машинного перевода 38:24 Как появились BERT и GPT 49:11 Создали ли мы искусственный интеллект? 59:11 Могут ли LLM навредить человечеству? 01:06:43 Почему AI делает контент вместо научных прорывов 01:11:58 Главная проблема трансформеров — длинный контекст 01:19:55 Как работает Recurrent Memory Transformer 01:25:29 Зачем LLM контекст на 50 миллионов токенов 01:29:53 Как превратить ДНК в язык для ИИ 01:35:56 Зачем изучать ДНК? 01:40:43 Зачем ИИ читать геном целиком? 01:47:57 Может ли ИИ прочитать весь геном человека? 01:52:26 ИИ против устойчивых бактерий 01:56:04 Без науки нет будущего 02:00:00 Заключение