AI Bot Search

Chat GPT ti consente di chattare con un trasformatore generativo pre-addestrato

Chat Generative Pre-Trained Transformer, comunemente chiamato ChatGPT, è un chatbot lanciato da OpenAI nel novembre 2022. Si basa sulla famiglia GPT-3 di OpenAI di modelli linguistici di grandi dimensioni ed è messo a punto (un approccio per trasferire l'apprendimento) con tecniche di apprendimento supervisionato e di rinforzo.

ChatGPT è stato lanciato come prototipo il 30 novembre 2022 e ha rapidamente attirato l'attenzione per le sue risposte dettagliate e articolate in molti domini della conoscenza. La sua accuratezza fattuale irregolare è stata identificata come un inconveniente significativo. Dopo il rilascio di ChatGPT, OpenAI è stato valutato 29 miliardi di dollari

Formazione

ChatGPT è stato messo a punto in aggiunta a GPT-3.5 utilizzando l'apprendimento supervisionato e l'apprendimento per rinforzo. Entrambi gli approcci hanno utilizzato trainer umani per migliorare le prestazioni del modello. Nel caso dell'apprendimento supervisionato, il modello è stato fornito con conversazioni in cui i formatori interpretavano entrambe le parti: l'utente e l'assistente AI. Nella fase di rinforzo, i formatori umani hanno prima classificato le risposte che il modello aveva creato in una conversazione precedente. Queste classifiche sono state utilizzate per creare "modelli di ricompensa" su cui il modello è stato ulteriormente perfezionato utilizzando diverse iterazioni di Proximal Policy Optimization (PPO). Gli algoritmi di ottimizzazione delle politiche prossimali presentano un vantaggio economico per fidarsi degli algoritmi di ottimizzazione delle politiche regionali; annullano molte delle operazioni computazionalmente costose con prestazioni più veloci. I modelli sono stati addestrati in collaborazione con Microsoft sulla loro infrastruttura di supercalcolo Azure.

Inoltre, OpenAI continua a raccogliere dati dagli utenti di ChatGPT che potrebbero essere utilizzati per addestrare ulteriormente e perfezionare ChatGPT. Gli utenti possono votare positivamente o negativamente le risposte che ricevono da ChatGPT; in caso di voto positivo o negativo, possono anche compilare un campo di testo con un feedback aggiuntivo.