Эффективность ИИ повысилась: новый прорыв в умножении матриц

Мир искусственного интеллекта только что получил толчок к прогрессу благодаря прорыву в матричном умножении — фундаментальной операции, на которой основано все: от распознавания образов до чат-ботов. Исследователи обнаружили новый способ выполнять эти вычисления значительно быстрее, что потенциально может привести к ускорению обучения, повышению эффективности моделей ИИ и даже уменьшению воздействия на окружающую среду.

Матричное умножение предполагает перебор больших чисел, и его эффективность напрямую влияет на производительность ИИ. Традиционно для умножения двух матриц n на n требовалось n³ умножений. Однако новая техника, основанная на «лазерном методе», значительно снижает сложность.

Представьте себе сетку 3×3, представляющую матрицу. Традиционно перемножение двух таких сеток могло потребовать до 27 отдельных вычислений. Новый подход упрощает процесс, сводя к минимуму количество операций, необходимых для чуть более чем двукратного увеличения размера одной стороны квадрата сетки с поправкой на коэффициент 2,371 552. Это значительный скачок к теоретически минимальному количеству необходимых операций.

Заслуга в этом достижении принадлежит исследователям из Университета Цинхуа, Калифорнийского университета в Беркли и Массачусетского технологического института. Они обнаружили «скрытую неэффективность» в существующем лазерном методе, когда важные данные отбрасывались во время вычислений. Усовершенствовав технику маркировки блоков (сегментирование больших матриц для обработки), они значительно сократили эти потери, что привело к более быстрому и эффективному умножению.

Хотя улучшение константы омега (показатель сложности) может показаться небольшим — снижение на 0,0013 по сравнению с 2020 годом, — совокупный эффект будет значительным. Эксперты считают, что это самый большой скачок в эффективности умножения матриц за последнее десятилетие.

Важно отметить, что данное достижение является лишь ступенькой. Ожидается, что дальнейшие исследования позволят усовершенствовать подход и потенциально привести к созданию еще более совершенных алгоритмов.