Metaflow

Metaflow to framework przeznaczony dla rzeczywistych projektów z zakresu uczenia maszynowego (ML), sztucznej inteligencji (AI) i data science. Ułatwia on tworzenie i zarządzanie tymi projektami, automatycznie śledząc i przechowując zmienne wewnątrz przepływu. Jest używany przez wiele firm i setki innych. Jest przeznaczony dla inżynierów ML/AI i naukowców zajmujących się danymi, a nie tylko dla maszyn. Można z nim eksplorować przy użyciu notebooków, rozwijać i testować oraz debugować lokalnie. Wyniki są automatycznie przechowywane i śledzone dla łatwej analizy. Można łatwo skalować do chmury, wykorzystując GPU, wiele rdzeni i wiele instancji równolegle. Metaflow organizuje pracę dla łatwej współpracy. Można z łatwością wdrożyć eksperymenty do produkcji bez zmiany kodu. Przepływy mogą reagować na aktualizację danych i inne zdarzenia automatycznie. Można zacząć łatwo na laptopie, a gdy jest potrzeba skalowania, wdrożyć stos Metaflow na koncie w chmurze lub lokalnym klastrze Kubernetes. Integruje się bezproblemowo z istniejącą infrastrukturą, polityką bezpieczeństwa i zarządzania danymi. Metaflow został pierwotnie opracowany w Netflix i obecnie jest używany przez wiele firm z różnych branż. Oferuje wiele funkcji, takich jak konfigurowanie przepływów za pomocą nowego obiektu Config, uruchamianie i wdrażanie przepływów programowo za pomocą nowych API, naukę o różnych wzorcach skalowalnego obliczenia, wsparcie dla AWS Trainium, budowanie obserwowalnych systemów ML/AI z kartami aktualizującymi się w czasie rzeczywistym, instalowanie zależności z PyPI, bezpieczne łączenie się z usługami zewnętrznymi za pomocą nowego dekoratora @secrets, tworzenie reaktywnych systemów produkcyjnych, szybkie ładowanie i przetwarzanie danych tabelarycznych z wykorzystaniem Apache Arrow i Metaflow.S3, uczenie dużych modeli językowych oraz wsparcie dla Apache Airflow.