GPU и акселераторы для нейросетей / Тензорные компиляторы / Инференс LLM

В новом выпуске «Битовых масок» главной темой стали нейросети — и, конечно же, системное программирование и аппаратная разработка в этой области. К Елене Лепилкиной и Антону Афанасьеву присоединился Андрей Камаев. Андрей стартовал в ИИ-разработке с популярнейшей библиотеки компьютерного зрения OpenCV еще в те времена, когда этим занималась независимая компания Itseez. Затем он продолжил карьеру в Intel, а сейчас является экспертом по разработке ПО искусственного интеллекта YADRO. В ходе выпуска Андрей рассказал об истории развития современных нейросетей и осветил текущий рынок «железа» для ИИ. После этого разговор перешел к специфике разработки LLM «изнутри» и завершился полезными советами для тех, кто только начинает искать место разработчика и боится конкуренции с нейросетями. Основные темы подкаста: как сфера искусственного интеллекта пришла к LLM и другим современным концепциям; как устроены гонки на рынке больших языковых моделей сегодня; как поделен рынок «железа» для тренировки LLM; почему в лидеры ИИ-железа не вышла AMD; почему сложно сделать специальный аппаратный акселератор для LLM, как для криптовалюты; что особенного в компиляторах для нейросетей; почему любая нейросеть — это вредный джинн; что важно разработчикам-джунам для успешной конкуренции с LLM.