Evaluarea comparativă a performanței: OpenSearch vs Elasticsearch

Trail of Bits a efectuat un studiu de referință de patru luni, comparând OpenSearch și Elasticsearch, concentrându-se pe performanța motorului de căutare în scenarii realiste, folosind OpenSearch Benchmark (OSB). Studiul a constatat că OpenSearch versiunea 2.17.1 a funcționat de 1,6 ori mai rapid pe volumul de lucru Big5 și cu 11% mai rapid pe volumul de lucru Vectorsearch decât Elasticsearch versiunea 8.15.4. Valori cheie, cum ar fi latențele interogărilor, au fost măsurate folosind timpii de serviciu p90 pentru diverse operații, evidențiind disparități semnificative de performanță. Testarea a arătat că ambele motoare de căutare lansează frecvent versiuni noi, ceea ce afectează benchmarking-ul ca o țintă în continuă mișcare. Deși OpenSearch a arătat o performanță mai rapidă în mai multe domenii, ambele motoare de căutare au avut inconsecvențe de performanță și valori aberante. Recomandările pentru benchmarking fiabil au inclus rularea volumelor de lucru pe instanțe nou create și asigurarea fiabilității statistice. Studiul a avut ca scop să ofere o bază pentru eforturile viitoare de benchmarking, cu accent pe crearea de comparații obiective ale performanței între OpenSearch și Elasticsearch.