Featherless.ai

Featherless.ai ist eine herausragende Lösung für diejenigen, die nach einem effizienten und kosteneffektiven LLM-Hosting suchen. Mit der Möglichkeit, sofort und unbegrenzt jedes Llama-Modell auf HuggingFace zu hosten, ohne eigene Server zu benötigen, bietet es eine große Auswahl an über 2800 kompatiblen Modellen. Die Preise beginnen bei günstigen 10 US-Dollar pro Monat. Die Plattform bietet verschiedene Modelle, die in den letzten zwei Wochen besonders beliebt waren oder gerade im Trend liegen. Zudem gibt es eine ständig wachsende Liste an Community-Modellen, die regelmäßig aktualisiert wird. Featherless.ai bietet einfache Preispläne, darunter den Basic-Plan für maximal 15B mit 10 US-Dollar pro Monat, den Premium-Plan für maximal 72B mit 25 US-Dollar pro Monat und den Scale-Plan für maximale Skalierbarkeit. Die Nutzer können zwischen diesen Optionen wählen, je nach ihren Anforderungen an die Anzahl der gleichzeitigen Anfragen. Ein weiterer Vorteil ist, dass die Nutzung unbegrenzt ist, solange man abonniert ist, wobei die Anzahl der gleichzeitigen Anfragen je nach gewähltem Plan begrenzt ist. Die Ausgabe erfolgt mit einer Geschwindigkeit von 10 - 40 Tokens pro Sekunde, abhängig vom Modell und der Promptgröße. Featherless.ai unterstützt derzeit LLaMA-3-basierte Modelle und plant, weitere Architekturen hinzuzufügen. Die Plattform verwendet FP8-Quantisierung, um die Inferenzgeschwindigkeit zu verbessern, ohne die Ausgabequalität zu beeinträchtigen. Die Recursal AI-Team hat das Ziel, Open Source AI für alle zugänglich zu machen, und der Umsatz aus Featherless.ai unterstützt diese Arbeit.