Ocena wydajności dogłębnych badań w rzeczywistych warunkach

Dzisiaj udostępniamy DRACO Benchmark (Deep Research Accuracy, Completeness, and Objectivity), otwarty wzorzec do oceny agentów prowadzących dogłębne badania, oparty na tym, jak użytkownicy faktycznie wykorzystują sztuczną inteligencję do złożonych zadań badawczych. Udostępniając DRACO jako open source, dążymy do wsparcia szerszej społeczności AI w tworzeniu narzędzi badawczych, które lepiej odpowiadają rzeczywistym potrzebom użytkowników.

DRACO ukazuje różnicę między rozwiązywaniem zadań syntetycznych a zaspokajaniem autentycznych potrzeb badawczych. Mechanizm oceny jest niezależny od modelu: w miarę pojawiania się potężniejszych modeli LLM, będziemy powtarzać ewaluacje i publikować zaktualizowane wyniki. Wraz z wprowadzaniem ulepszeń w narzędziu do dogłębnych badań w Perplexity.ai, użytkownicy zauważą te postępy zarówno w wydajności produktu, jak i w wynikach testów porównawczych.

Perplexity Deep Research osiąga najnowocześniejszą wydajność w wiodących zewnętrznych testach porównawczych, w tym DeepSearchQA od Google DeepMind oraz ResearchRubrics od Scale AI.

Wyniki systemów dogłębnych badań w benchmarku DeepSearchQA firmy Google DeepMind.

Wyniki systemów dogłębnych badań w benchmarku ResearchRubrics firmy Scale AI.

Wyniki te wynikają z połączenia najlepszych dostępnych modeli z dedykowanymi możliwościami agentowymi Perplexity: autorskimi narzędziami wyszukiwania, infrastrukturą przeglądarki i wykonywaniem kodu. Razem tworzą one system zoptymalizowany pod kątem kompleksowego pozyskiwania, syntezy i wnioskowania na podstawie rzeczywistych informacji.

W procesie tworzenia tego produktu zdaliśmy sobie sprawę, że zewnętrzne testy porównawcze, choć przydatne do porównywania modeli, często nie odzwierciedlają wieloaspektowych zapytań i potrzeb w zakresie syntezy danych, z którymi codziennie zwracają się rzeczywistych użytkownicy. Dzisiaj udostępniamy DRACO Benchmark, wzorzec oparty na tym, jak ludzie faktycznie wykorzystują dogłębne badania, motywowany milionami zadań produkcyjnych w dziesięciu domenach.

Ogólne wyniki benchmarku DRACO dla czterech systemów dogłębnych badań.

Istniejące testy porównawcze często sprawdzają wąskie umiejętności w izolacji: odzyskiwanie pojedynczego faktu, odpowiadanie na pytania ciekawostkowe lub rozwiązywanie dobrze zdefiniowanego problemu. Jednak rzeczywiste zapytania badawcze wymagają syntezy źródeł, szczegółowej analizy i praktycznych wskazówek, przy jednoczesnym zachowaniu dokładności faktograficznej i odpowiednich cytowań.

DRACO Benchmark składa się ze 100 starannie dobranych zadań obejmujących dziedziny: akademicką, finansową, prawną, medyczną, technologiczną, wiedzę ogólną, projektowanie UX, spersonalizowanego asystenta, porównywanie zakupów/produktów oraz wyszukiwanie informacji w dużej bazie danych („igła w stogu siana”). Każde zadanie jest powiązane z opracowanymi przez ekspertów rubrykami zawierającymi średnio około 40 kryteriów oceny. Zadania te pochodzą z rzeczywistych zapytań użytkowników Perplexity Deep Research, pobranych z milionów zapytań produkcyjnych, a następnie systematycznie reformułowanych, rozszerzanych i filtrowanych przez pięcioetapowy proces: usuwamy dane osobowe, dodajemy kontekst i zakres, filtrujemy pod kątem obiektywizmu i stopnia trudności oraz przeprowadzamy ostateczną weryfikację przez ekspertów w danej dziedzinie. W rezultacie otrzymujemy wzorzec, który odzwierciedla autentyczne potrzeby użytkowników, a nie syntetyczne ćwiczenia czy zadania stworzone przez ekspertów.

Projekt i proces przeglądu czterostopniowej rubryki — od utworzenia początkowej rubryki po końcową kontrolę jakości.

Każde zadanie w ramach wzorca przeszło rygorystyczny proces opracowywania rubryk. Perplexity współpracowało z partnerem w zakresie generowania danych, The LLM Data Company, aby opracować i przetestować rubryki oceny dla tego zestawu. Eksperci merytoryczni sporządzili wstępne rubryki przy wsparciu narzędzi LLM, a następnie iteracyjnie poddali je recenzji i kalibracji. Niezbyt precyzyjne lub zbyt łagodne rubryki były zwracane do poprawy, przy czym około 45% rubryk zostało udoskonalonych przynajmniej raz w trakcie tego procesu. W rezultacie powstały kryteria oceny, które rzetelnie rozróżniają możliwości systemów.

Rubryki oceniają cztery wymiary: dokładność faktograficzną (mniej więcej połowa wszystkich kryteriów), szerokość i głębokość analizy, jakość prezentacji oraz cytowanie źródeł pierwotnych. Każde kryterium otrzymuje wagę odzwierciedlającą jego znaczenie, a niektóre kryteria są negatywne, co pozwala karać za błędy takie jak halucynacje lub niepoparte dowodami twierdzenia.

Odpowiedzi są oceniane przy użyciu protokołu „LLM-as-judge”, gdzie każde kryterium otrzymuje binarny werdykt. Podejście to doskonale sprawdza się w ocenie dokładności faktograficznej, ponieważ rubryki opierają ocenę sędziego na rzeczywistych danych pochodzących z wyników wyszukiwania, przekształcając subiektywną ocenę w weryfikowalne sprawdzanie faktów. Zweryfikowaliśmy niezawodność w oparciu o trzy modele sędziowskie i stwierdziliśmy, że chociaż wyniki bezwzględne mogą się różnić, względne rankingi systemów pozostają spójne.

Ramowy system ewaluacji DRACO: zadania i rubryki, agenci dogłębnych badań, sędziowie LLM oraz wyniki.

Wzorzec został zaprojektowany do oceny agentów mających dostęp do pełnego zestawu narzędzi badawczych, w tym piaskownicy do wykonywania kodu i możliwości przeglądarki.

Wydajność według dziedzin. Oceniliśmy cztery systemy prowadzące dogłębne badania w 10 domenach wiedzy, mierząc wskaźniki pomyślności (procent spełnionych kryteriów oceny). Dogłębne badania osiągnęły najwyższe wskaźniki pomyślności we wszystkich dziedzinach, ze szczególnie silnymi wynikami w prawie (89,4%) i dziedzinach akademickich (82,4%).

Rozkład zadań benchmarku DRACO w dziesięciu domenach.

Dla użytkowników oznacza to bardziej wiarygodne odpowiedzi, niezależnie od tego, czy przygotowują opinię prawną, przeprowadzają przegląd literatury, czy porównują opcje leczenia medycznego. Różnice w wydajności znacząco zwiększyły się w zadaniach wymagających złożonego rozumowania: w scenariuszach „Spersonalizowanego Asystenta” oraz „igły w stogu siana”, Perplexity przewyższyło system o najniższych wynikach o ponad 20 punktów procentowych. Dziedziny te odzwierciedlają rzeczywiste potrzeby użytkowników, takie jak spersonalizowane rekomendacje i znajdowanie konkretnych faktów ukrytych w dużych dokumentach.

Wskaźniki zaliczenia kryteriów według domeny dla czterech systemów dogłębnych badań.

Wydajność według aspektu oceny. W czterech kluczowych wymiarach oceny, dogłębne badania przodowały w trzech: dokładność faktograficzna, szerokość i głębokość analizy oraz jakość cytowań. Są to wymiary, które mają największe znaczenie, gdy użytkownik musi polegać na badaniach przy podejmowaniu rzeczywistych decyzji – niezależnie od tego, czy doradza klientowi, dokonuje inwestycji, czy pisze raport pod własnym nazwiskiem. Tylko jeden inny system wykazał wydajność porównywalną do Perplexity Deep Research w zakresie jakości prezentacji, co wskazuje, że najtrudniejsze problemy w dogłębnych badaniach nie dotyczą formatowania, lecz rzetelności faktów i kompletności analizy.

Wskaźniki zaliczenia kryteriów według aspektu ewaluacji dla czterech systemów dogłębnych badań.

Jakość i wydajność. Co istotne, system o najwyższej wydajności osiągnął również najniższe opóźnienia (459,6 sekundy w porównaniu do 592–1808 sekund dla konkurencji). Dla użytkowników oznacza to brak konieczności wyboru między dokładnymi badaniami a szybkością uzyskania odpowiedzi. Odzwierciedla to przewagę pionowo zintegrowanej infrastruktury end-to-end: lepsze wyszukiwanie oraz integracja z przeglądarką przy zoptymalizowanych środowiskach wykonawczych bezpośrednio przekładają się na szybsze i dokładniejsze badania.

Zestaw narzędzi Perplexity do dogłębnych badań jest niezależny od modelu: w miarę pojawiania się potężniejszych agentowych modeli LLM, będziemy powtarzać ewaluacje i publikować zaktualizowane wyniki. Wraz z wprowadzaniem ulepszeń w dogłębnych badaniach w Perplexity.ai, użytkownicy zobaczą te zyski odzwierciedlone zarówno w wydajności produktu, jak i w wynikach benchmarku.

Obecnie benchmark ocenia wyłącznie interakcje w języku angielskim, jednokierunkowe (single-turn), w dziesięciu domenach. Przyszłe iteracje rozszerzą różnorodność językową, dodadzą ocenę wielokierunkową (multi-turn) oraz poszerzą zakres dziedzinowy.

DRACO Benchmark jest teraz w pełni open source. Każdy zespół tworzący systemy do dogłębnych badań może oceniać swoje modele w oparciu o rzeczywiste zadania badawcze, zamiast syntetycznych zagadek akademickich. Udostępniamy kompletny benchmark, wszystkie rubryki oraz prompt sędziowski.

Aby dowiedzieć się więcej o metodologii i szczegółowych wynikach, przeczytaj pełny raport techniczny: DRACO benchmark i zapoznaj się z zestawem danych na Hugging Face.

BibTeX

@online{perplexity2026EvaluatingDeepResearchPerformanceInTheWildWithTheDracoBenchmark,
  author = {{Perplexity} and Joey Zhong and Hao Zhang and Clare Southern and Jeremy Yang and Thomas Wang and Kate Jung and Shu Zhang and Denis Yarats and Johnny Ho and Jerry Ma and Bex Brooker and Phi Hoang and Jesse Dwyer},
  title = {{Evaluating Deep Research performance in the wild with the DRACO benchmark}},
  date = {2026-02-04},
  url = {https://www.perplexity.ai/hub/blog/evaluating-deep-research-performance-in-the-wild-with-the-draco-benchmark}
}

Najnowocześniejsze dogłębne badania

Dlaczego ocena oparta na rzeczywistych zastosowaniach ma znaczenie

Jak działa DRACO Benchmark

Zestaw narzędzi i środowisko ewaluacji

Nasze wnioski

Co dalej

Twórz lepsze agenty badawcze z DRACO Benchmark

Cytowanie