LMQL: Un Linguaggio di Programmazione per l'Interazione con i Modelli di Linguaggio (LLM)
LMQL è un innovativo linguaggio di programmazione progettato specificamente per interagire con i modelli di linguaggio (LLM). Questo strumento permette una gestione robusta e modulare delle richieste (prompting) ai LLM, utilizzando tipi, modelli, vincoli e un runtime ottimizzante.
Caratteristiche Principali
- Tipi e Modelli: LMQL supporta l'uso di tipi e modelli per garantire che l'output sia nel formato desiderato.
- Vincoli: È possibile impostare vincoli per controllare la lunghezza e la formattazione dell'output.
- Runtime Ottimizzante: Il runtime di LMQL è progettato per ottimizzare le prestazioni delle query ai LLM.
Esempio di Uso
LMQL permette di scrivere programmi di query in modo semplice e diretto. Ad esempio, è possibile interrogare un LLM per ottenere la risposta alla domanda classica: "Qual è la risposta alla vita, l'universo e tutto quanto?"
@lmql.query
def meaning_of_life():
'''lmql
# top-level strings are prompts
"Q: What is the answer to life, the universe and everything?"
# generation via (constrained) variables
"A: [ANSWER]" where len(ANSWER) < 120 and STOPS_AT(ANSWER, ".")
# results are directly accessible
print("LLM returned", ANSWER)
# use typed variables for guaranteed output format
"The answer is [NUM: int]"
# query programs are just functions
return NUM
'''
# so from Python, you can just do this
meaning_of_life() # 42
Supporto per Backend Multipli
LMQL supporta automaticamente la portabilità del codice LLM su diversi backend. È possibile passare da un backend all'altro con una sola riga di codice, rendendo il processo di sviluppo e test molto più flessibile.
Conclusione
LMQL rappresenta un passo avanti nell'interazione con i modelli di linguaggio, offrendo strumenti potenti e flessibili per gestire le richieste e ottimizzare le prestazioni. Se lavori con LLM, LMQL è uno strumento che non puoi permetterti di non conoscere.
