La piattaforma di benchmarking AI LM Arena affronta accuse di pregiudizi verso i principali laboratori tecnologici, sollevando preoccupazioni sulla trasparenza

Chatbot Arena, istituita dai ricercatori della UC Berkeley nel 2023 e ora commercializzata come Arena Intelligence Inc., è stata recentemente oggetto di scrutinio a seguito di una nuova ricerca che coinvolge Cohere, Stanford, MIT e Ai2. Lo studio sostiene che LM Arena, la piattaforma alla base di Chatbot Arena, offra vantaggi sleali a laboratori tecnologici dominanti come Meta, OpenAI, Google e Amazon. Le accuse si concentrano su pratiche come consentire l'accesso selettivo ai test privati, permettere la pubblicizzazione solo dei punteggi più alti dei modelli e assegnare più confronti diretti ai modelli di IA dei laboratori leader. Si dice che queste presunte tattiche, descritte dai ricercatori come "gamification", distorcano le classifiche dei modelli di IA e minino la trasparenza. LM Arena contesta questi risultati, affermando inesattezze nella ricerca e riaffermando il proprio impegno per un benchmarking equo. In risposta, lo studio suggerisce di aumentare la trasparenza limitando i test privati pre-rilascio, rendendo pubblici tutti i punteggi dei modelli e rivedendo gli algoritmi di campionamento per garantire un'esposizione equa per tutti i partecipanti. La controversia in corso sottolinea la necessità critica di fiducia, trasparenza e neutralità nel benchmarking dell'IA, in particolare mentre LM Arena passa a un modello di business commerciale e il settore diventa sempre più rilevante per le comunità tecnologiche e degli investimenti.