RLlib: Промышленный уровень обучения с подкреплением
Введение
RLlib — это библиотека с открытым исходным кодом для обучения с подкреплением (RL), предлагающая поддержку производственных нагрузок RL с высокой степенью распределенности, сохраняя при этом унифицированные и простые API для множества отраслевых приложений. Независимо от того, хотите ли вы обучить своих агентов в многопользовательской среде, исключительно на основе оффлайн (исторических) наборов данных или с использованием внешне подключенных симуляторов, RLlib предлагает простое решение для каждой вашей задачи принятия решений.
Основные функции RLlib
- Высокая распределенность: Алгоритмы RLlib позволяют запускать нагрузки на сотнях ЦП/узлов, тем самым ускоряя обучение.
- Многопользовательское обучение с подкреплением (MARL): Преобразуйте свои (пользовательские) gym.Env в многопользовательские с помощью нескольких простых шагов.
- Поддержка внешних симуляторов: RLlib поддерживает API внешней среды и поставляется с настраиваемым клиентом/сервером, позволяющим запускать независимые симуляторы.
- Оффлайн RL и имитационное обучение: RLlib предлагает несколько алгоритмов оффлайн RL, позволяя вам либо просто имитировать вашу существующую систему, либо учиться, как ее улучшить.
Установка
Чтобы начать работу с RLlib, выполните следующие команды:
pip install "ray[rllib]" tensorflow torch
Для установки на компьютерах с Apple Silicon (например, M1) следуйте инструкциям на официальном сайте.
Пример использования
Вот пример запуска алгоритма PPO в среде Taxi:
from ray.rllib.algorithms.ppo import PPOConfig
config = (
PPOConfig()
.environment("Taxi-v3")
.env_runners(num_env_runners=2)
.framework("torch")
.training(model={"fcnet_hiddens": [64, 64]})
.evaluation(evaluation_num_env_runners=1)
)
algo = config.build()
for _ in range(5):
print(algo.train())
algo.evaluate()
Заключение
RLlib уже используется в производстве лидерами отрасли в таких областях, как управление климатом, промышленный контроль, финансы и многие другие. Если вы хотите узнать больше о библиотеке RLlib и ее возможностях, обязательно посетите .
Призыв к действию
Попробуйте RLlib сегодня и узнайте, как он может помочь вам в ваших проектах по обучению с подкреплением!
