Il modello XGen 8K batte i modelli di riferimento nei compiti di testo lunghi | Chatgpt Login | Intelligenza Artificiale Chat | Reti Neurali Cosa Sono | Turtles AI

XGen, un nuovo modello linguistico di grandi dimensioni (LLM) di #Salesforce, ha ottenuto risultati all’avanguardia su compiti di lunga durata grazie alla sua capacità di elaborare fino a 8.192 #token di testo. Tuttavia, i ricercatori avvertono che, come altri modelli di grandi dimensioni, #XGen corre il rischio potenziale di amplificare i pregiudizi e generare contenuti imprecisi o dannosi. I ricercatori hanno addestrato una serie di modelli da 7 miliardi di parametri, chiamati XGen-7B, con un’attenzione densa standard. Si sono concentrati sulla massimizzazione della lunghezza della sequenza fino a 8K tokens, allenandosi su un massimo di 1,5 trilioni di tokens di dati. Sui benchmark standard, XGen ottiene risultati comparabili o migliori rispetto ad altri modelli linguistici open-source di dimensioni simili. Tuttavia, dove XGen brilla veramente è nei compiti di forma lunga che richiedono la comprensione e la generazione di lunghe sequenze di testo. I ricercatori hanno scoperto che XGen ha ottenuto risultati migliori nella sintesi di lunghi dialoghi e sceneggiature con oltre 6.000 token. Inoltre, ha ottenuto una maggiore coerenza e rilevanza quando ha risposto a domande su testi di Wikipedia di oltre 4.000 token. Le sue capacità di generazione di codice sono risultate più elevate anche nei compiti con istruzioni lunghe. Nonostante questi risultati promettenti, i ricercatori avvertono che, come tutti i modelli linguistici di grandi dimensioni, XGen corre ancora il rischio di amplificare i pregiudizi sociali, di generare contenuti tossici o imprecisi e di mancare di diversità nei suoi dati di addestramento. I ricercatori sperano che la loro base di codice open-sourced contribuisca a mitigare questi problemi e a garantire che l’IA porti benefici alla società nel suo complesso. Date un’occhiata alle nostre guide sugli LLM, per capire meglio le basi.