Featherless.ai è un servizio di hosting per modelli linguistici LLM:
- Offre hosting istantaneo e senza limiti per modelli Llama di HuggingFace, con oltre 2800 modelli compatibili.
- Tra i modelli popolari ci sono mistral-nemo-12b-lc e llama31-70b-16k.
- Ha diversi piani di prezzo: Feather Basic a $10/mese fino a 15B, Feather Premium a $25/mese fino a 72B e Feather Scale a $75/mese fino a 72B.
- Non registra i log delle chiacchierate, garantendo la privacy.
- Supporta diverse architetture di modelli e aggiunge nuovi modelli settimanalmente. È possibile richiedere l'aggiunta di nuovi modelli su Discord.
- Usa la quantizzazione FP8 per migliorare la velocità senza perdere la qualità dell'output.
- È possibile contattare il servizio su Discord o r/SillyTavernAI e c'è un programma di referral per risparmiare.