Обучение нейросетей как алхимия

Современное машинное обучение — это алхимия: есть рабочие рецепты, но нет строгой теории. Мы знаем, что dropout помогает, batch norm стабилизирует, а learning rate = 3e-4 часто работает лучше всего — но почему? Разбираемся, что происходит в обучении нейросетей, и почему путь от алхимии к науке лежит через эксперименты

С каждым месяцем нейросети становятся всё умнее, но каждый шаг, такое ощущение, даётся всё сложнее и сложнее. Попробуем посмотреть со стороны, что происходит в обучении нейросетей.

Сегодня даже школьники легко оперируют такими понятиями как pretrain, fine-tuning, gradient descent, loss function. Забавно, что для практических опытов им, да и многим другим, необязательно понимать теоретическую суть процессов, происходящих в нейросетях. Достаточно примерного понимания того, что обычно происходит, какие риски и возможности. 

По этому поводу, кстати очень ёмко высказался Али Рахими ещё в 2017 году, назвав современное машинное обучение алхимией. Думаю, это определение до сих пор справедливо. Что это значит?