RLlib

RLlib to naprawdę kozacka biblioteka do uczenia wzmacniającego. Wersja 2.10.0 wprowadza fazę alfa nowego stosu API RLlib. Zespół Ray chce przejść algorytmy, przykładowe skrypty i dokumentację do nowej bazy kodu, stopniowo zastępując stary stos API w kolejnych wydaniach aż do Ray 3.0. RLlib wspiera produkcyjne, wysoko rozproszone obciążenia RL i ma proste i zunifikowane interfejsy API dla różnych aplikacji przemysłowych. Czy chcesz szkolić swoje agenty w konfiguracji wieloagentowej, korzystać z danych historycznych offline czy używać zewnętrznych symulatorów - RLlib ma dla ciebie proste rozwiązania. Jeśli masz swój problem zakodowany (w Pythonie) jako środowisko RL albo masz dużo danych behawioralnych do nauki, to z RLlib zaczniesz działać w kilka dni. RLlib jest już używane w produkcji przez liderów branży w różnych sektorach, jak kontrola klimatu, przemysłowa, produkcja i logistyka, finanse, gry, motoryzacja, robotyka, projektowanie łodzi i wiele innych. Żeby zacząć korzystać z RLlib, trzeba zainstalować odpowiednie biblioteki. Nie instaluje ona automatycznie ramki do głębokiego uczenia, ale wspiera TensorFlow (zarówno 1.x z statycznym grafem, jak i 2.x z trybem eager) oraz PyTorch. W zależności od potrzeb trzeba zainstalować TensorFlow albo PyTorch (lub obie). Do tego, żeby uruchomić środowiska Atari, trzeba też zainstalować dodatkowe biblioteki. RLlib pozwala łatwo zacząć przygodę z uczeniem wzmacniającym. Można używać dowolnego środowiska Farama-Foundation Gymnasium. W rolloutach można określić liczbę równoległych pracowników do zbierania próbek ze środowiska. Konfiguracja ramki pozwala wybrać między „tf2”, „tf” i „torch”. Można też dostosować domyślną konfigurację modelu RLlib i ustawić osobną konfigurację do oceny. RLlib ma wiele ciekawych funkcji, jak wysoko rozproszone uczenie, uczenie wieloagentowe, wsparcie dla zewnętrznych symulatorów, uczenie offline i imitacyjne oraz możliwość dostosowywania. Jego interfejs API oparty jest na Ray i oferuje gotowe, wysoko rozproszone algorytmy, polityki, funkcje straty i domyślne modele. Użytkownicy mogą robić swoje własne dostosowania przez podklasyfikowanie istniejących abstrakcji i definiowanie własnego zachowania.