Зачем нам нужна эксплуатация в RL(Q-Learning) для конвергенции?

Эксплуатация действительно не нужна для конвергенции теоретически. На практике это часто оказывается важным/необходимым по одной или по обеим из следующих двух причин:

1. Иногда мы учимся не только ради обучения, но и заботимся о своей работе уже в процессе обучения/тренировки. Это означает, что нам нужен баланс между эксплуатацией (хорошая работа) и исследованием (продолжение учиться).

2. Что еще более важно, если мы будем просто исследовать и вообще не использовать, это также может ограничить нашу способность учиться на практике, потому что есть много состояний, которых мы можем просто не достичь, если всегда будем действовать случайным образом.

Чтобы прояснить второй момент, представьте, например, что мы находимся в одном углу большой двумерной сетки, а наша целевая позиция находится в противоположном углу. Предположим, что мы уже получаем небольшое вознаграждение всякий раз, когда приближаемся к цели, и небольшое отрицательное вознаграждение всякий раз, когда отдаляемся. Если у нас есть баланс между исследованием и эксплуатацией, вполне вероятно, что мы быстро научимся идти по пути от начала к цели, но также и немного хаотично прыгать по этому пути из-за исследования. Другими словами, мы начнем изучать, что делать во всех состояниях на этом пути.

Теперь предположим, что вы пытаетесь учиться в той же ситуации, только действуя случайным образом (например, без эксплуатации). Если мы будем действовать случайным образом только в достаточно большой двумерной сетке и всегда начнем с одного угла, маловероятно, что нам когда-нибудь удастся достичь другой стороны сетки. Мы просто случайным образом будем двигаться в области вокруг начальной позиции и никогда не узнаем, что делать в состояниях, далеких от этой начальной позиции. На практике маловероятно, что когда-либо удастся достичь их чисто случайным поведением. Очевидно, что мы достигнем каждого состояния за бесконечное количество времени, но на практике мы редко имеем бесконечное количество времени.

Как вы уже сказали, с теоретической точки зрения методы RL всегда требуют, чтобы все пары (s,a) посещались бесконечно часто. Однако этап эксплуатации необходим только в зависимости от типа алгоритма RL. Ключевой концепцией, относящейся к вашему вопросу, является различие между алгоритмами on-policy и off-policy.

В алгоритмах on-policy (например, SARSA) агент должен взаимодействовать со средой, используя ту же политику, которую он изучает. Таким образом, этот вид методов требует использования изученной политики (также известной как эксплуатация) для достижения конвергенции.

Напротив, в алгоритмах вне политики (например, Q-learning) агент может следовать любой политике, сходясь к оптимальной политике.

Неполитические методы могут быть очень полезны в задачах, где данные о взаимодействиях между агентом и средой собираются заранее. Например, в медицинской проблеме, в которой вы сохранили взаимодействие между ответами врача на лечение и пациентом, вы можете применить нестандартный алгоритм для изучения оптимального лечения. В этом случае, очевидно, вы не используете эксплуатацию, потому что агент не взаимодействует со средой после начала обучения.

Тем не менее, обратите внимание, что нестандартные методы также могут использоваться с использованием эксплуатации, хотя должно быть ясно, что это не является обязательным требованием. В большинстве типичных проблем RL цель состоит в том, чтобы агент как можно скорее выбрал правильные действия. В таком случае имеет смысл начать балансировать между исследованием и эксплуатацией сразу после начала обучения, независимо от того, соответствует алгоритм политике или нет.