Comprimere i prompt nei LLM | Bing ai | Generatore di Immagini Gratis | Crea Immagini ai | Turtles AI

  In un nuovo paper scientifico, i ricercatori hanno proposto una struttura per la #compressione dei #prompt nei modelli linguistici di grandi dimensioni (#LLM) chiamata "#gisting". Sebbene i prompt siano un modo efficiente per utilizzare le capacità #multitask dei LM, essi occupano spazio prezioso nella finestra del contesto di input e la ricodifica dello stesso prompt è computazionalmente inefficiente. I metodi di #Finetuning e di distillazione possono specializzare le LM senza prompt, ma richiedono una riqualificazione per ogni compito. Gisting, invece, addestra un LM a comprimere i prompt in insiemi più piccoli di token "gist", che possono essere riutilizzati per ottenere efficienza di calcolo. Questo metodo consente di comprimere fino a 26 volte i prompt, con una riduzione del 40% dei FLOP, una velocizzazione del 4,2% del tempo di parete, un risparmio di memoria e una perdita minima della qualità dell’output. Il gisting può essere visto come una forma modificata di finetuning delle istruzioni o come un metodo di (meta-)distillazione del contesto di un LM. I ricercatori ritengono che il gisting apra diverse direzioni promettenti per il lavoro successivo, tra cui il gisting efficiente dal punto di vista dei parametri e l’esplorazione della compressione dei prompt più lunghi.