Banc d'essai WANDR : évaluation des agents de recherche

Un banc d'essai pour le travail intellectuel à fort volume.

AuteursPerplexity Research

Aujourd'hui, nous lançons WANDR (Wide ANd Deep Research), un banc d'essai et un harnais d'évaluation ouverts, structurés autour de 500 tâches de collecte de données réalistes et exigeantes destinées au travail intellectuel. WANDR est le pendant "large" de notre banc d'essai DRACO pour la recherche approfondie. DRACO évalue si un agent est capable de produire un rapport long, précis, complet et objectif ; WANDR détermine s'il peut constituer une vaste collection et étayer chaque élément par des preuves spécifiques.

Il s'agit du type de missions que les utilisateurs confient déjà à des agents de recherche : cartographie concurrentielle, diligence raisonnable, revue de littérature, analyse de marché, comparaison de produits, recherche de talents, et bien plus encore. Les tâches portent sur des dizaines à des milliers d'enregistrements vérifiables indépendamment. Même avec un niveau d'effort élevé, le système le plus performant de notre évaluation atteint seulement 0,363 en F1 souple et 0,133 en F1 rigide. La recherche large et approfondie est encore loin d'être résolue.

Échelle de référence WANDR et meilleurs scores de F1 souple et de F1 stricte rapportés dans cette évaluation.

Pourquoi la recherche large et approfondie est importante

De nombreuses missions de recherche utiles ne se terminent pas lorsqu'un agent trouve une réponse unique. Un analyste de marché peut avoir besoin de tous les concurrents admissibles, avec des preuves identiques pour chacun. Une équipe de diligence raisonnable peut avoir besoin d'analyser des dizaines d'entreprises, puis d'identifier leur propriété, leurs dirigeants, leur financement et leur statut réglementaire pour chacune d'entre elles. Cela crée deux exigences distinctes :

Large : découvrir un ensemble vaste et souvent ouvert d'entités admissibles.

Approfondi : enquêter sur chaque entité suffisamment pour étayer chaque demande de précision avec des preuves.

Combiner les deux modifie la nature du problème. Quelques exemples convaincants ne suffisent pas, tout comme un récit soigné fondé sur une recherche incomplète. L'agent doit maintenir une découverte large sans sacrifier la qualité factuelle d'un enregistrement à l'autre.

WANDR capture cette structure grâce à une hiérarchie de clés de qualification flexible et composable. Une tâche peut demander :

entreprise(n) → employé(m) → url(k)

Cela signifie trouver n entreprises admissibles, m employés admissibles dans chaque entreprise, et k pages justificatives pour chaque employé. Chaque chemin complet dans l'arborescence peut être validé indépendamment. Cette même structure de base peut représenter une liste plate, une recherche imbriquée, une matrice, ou une tâche avec de multiples branches de preuves. Ces modèles peuvent également être combinés, permettant à une seule représentation de couvrir un large éventail de cas d'utilisation réels.

Six modèles de hiérarchie courants. Les cercles pleins sont des entités, les cercles en pointillés sont des étiquettes fixes et les carrés sont des feuilles URL. Dans la matrice, des étiquettes enfants répétées désignent les mêmes valeurs enfants sous des parents différents.

Une tâche publiée illustre cette structure en pratique.

ceo_cfo_appointments

Tâche principale. Trouver au moins 70 entreprises basées aux États-Unis ayant annoncé une nomination de PDG ou de directeur financier entre le 1er mars et le 30 avril 2026. Pour chaque entreprise, fournir une page de nomination officielle identifiant l'entreprise et la personne nommée, établissant la fonction et la date d'annonce, issue de l'émetteur, d'un dépôt, d'un fil de presse ou directement attribuée au journalisme d'affaires de première main.

Hiérarchie principale. entreprise(70) → personne_nommée(1) → url(1).

Sous-tâche de liste d'entreprises. Pour ces mêmes entreprises, fournir une page d'autorité de cotation reconnue montrant soit une cotation sur une bourse nationale américaine, soit le statut d'émetteur déclarant selon le SEC Exchange Act et domicilié aux États-Unis.

Hiérarchie de sous-tâche. entreprise(70) → url(1).

Enregistrements requis. 140 : 70 enregistrements de nomination et 70 enregistrements de cotation.

Chaque chemin se termine par une page et des extraits que l'évaluateur peut revérifier. La clé d'entreprise partagée aligne les branches de nomination et de cotation ; ainsi, une nomination sans preuve distincte du statut de cotation rend l'enregistrement de cette entreprise incomplet.

Des tâches réalistes, générées à grande échelle

WANDR repose sur des modèles désidentifiés observés dans l'utilisation réelle plutôt que sur des invites synthétiques. Cela permet de maintenir le banc d'essai proche du travail réellement délégué par les utilisateurs : découverte ouverte, enrichissement répété, vérifications croisées entre sources et comparaisons structurées à une échelle professionnelle. Un pipeline semi-automatisé transforme ces modèles en tâches, réservant l'effort humain au contrôle qualité plutôt qu'à l'annotation exhaustive des réponses.

Le pipeline comporte quatre étapes. La préparation extrait des demandes de produits désidentifiées pour obtenir un modèle de recherche large réutilisable. La conception exécute une boucle alternée auteur-critique : les agents esquissent et testent la conception, rédigent la spécification de la tâche et l'évaluateur, créent des enregistrements de référence et utilisent un vérificateur mécanique pour assurer la cohérence. L' admission vérifie que le volume cible est atteignable en fusionnant 10 à 12 déploiements de conception, audite l'évaluateur spécifique à la tâche et ajoute éventuellement une validation humaine. La curation étiquette les tâches admises et sélectionne un ensemble final équilibré selon les sujets, l'échelle, la topologie et la difficulté.

Le pipeline de construction des tâches comporte quatre étapes. Le seeding identifie une demande réaliste ; la rédaction la transforme en une tâche autonome grâce à une boucle auteur-critique et à des vérifications mécaniques ; l’admission teste la faisabilité et la qualité de l’évaluation ; et la curation sélectionne une version de diffusion équilibrée. Le résultat est constitué de 500 ensembles de tâches publics.

La tâche médiane demande 50 membres, quatre enregistrements par membre et 245 enregistrements au total. Au total, les 500 tâches nécessitent 170 495 enregistrements étayés par des sources. Nous calibrons la difficulté à partir des déploiements historiques en phase de conception, puis divisons les tâches par rang en 167 exemples de difficulté inférieure, 166 moyenne et 167 supérieure. Le graphique ci-dessous montre que la difficulté n'est pas déterminée uniquement par l'échelle ; elle dépend également du travail requis pour chaque enregistrement.

Difficulté globale des tâches sur le plan étendue-profondeur (log-log ; 500 tâches de test). L'étendue est le nombre de membres requis ; la profondeur est le nombre d'enregistrements requis divisé par ce nombre de membres. La couleur des points indique le niveau de difficulté global. Les guides en pointillés marquent l'étendue médiane (50 membres) et la profondeur médiane (4,00 enregistrements par membre).

Évaluation sans référence, vérifiée par des preuves

Une clé de réponse fixe est inadaptée à la recherche ouverte. Elle est coûteuse à élaborer, devient rapidement obsolète et représente mal les questions dont les réponses évoluent dans le temps. WANDR évalue plutôt chaque affirmation soumise en fonction des preuves citées par l'agent.

Chaque enregistrement contient un élément, une URL, des extraits sélectionnés et une réponse. L'évaluateur récupère la page et vérifie si elle est utilisable, si l'affirmation est claire et pertinente, si les extraits figurent fidèlement sur la page, et si la page ainsi que les extraits soutiennent chaque exigence.

Ces verdicts binaires par enregistrement se cumulent à travers la hiérarchie. La précision mesure la qualité de ce que le système a soumis. Le rappel mesure l'achèvement ajusté selon la qualité par rapport au volume demandé, en complétant tout manque avec des zéros. Le F1 équilibre les deux. Les scores souples accordent des crédits partiels aux membres incomplets ; les scores rigides comptent uniquement les membres dont l'arborescence complète requise est correcte. Pour le diagnostic, WANDR rapporte également un verdict basé uniquement sur la récupération, qui demande si la page récupérée satisfait la tâche avant d'ajouter les contrôles plus stricts sur la validité et les extraits soumis.

Cela rend les échecs interprétables et localisables. Une précision élevée avec un rappel faible signifie généralement que le système a trouvé quelques bons membres, mais pas en nombre suffisant. Une baisse importante entre le score souple et rigide indique des progrès partiels, mais rarement l'achèvement de toutes les branches nécessaires pour obtenir des crédits complets. L'arbre de score peut localiser la perte au niveau de la découverte, de l'enrichissement, de la gestion des identités, de la qualification de page ou de l'extraction de preuves.

Le pipeline d'évaluation. La résolution normalise la sortie de chaque système ; la récupération récupère chaque page citée et retente les récupérations échouées dans un navigateur ; le jugement résout les identités et évalue chaque enregistrement ; et la notation cumule les verdicts en précision, rappel et F1 au niveau de la tâche.

Ce que nous avons découvert

Nous avons comparé six systèmes de production : API de tâches et de recherche hébergées, API d'agents web généraux, un produit de recherche approfondie et notre système de recherche par orchestration programmatique, Search as Code (SaC). Chacun a été programmé sur l'ensemble des 500 tâches sous une configuration épinglée, puis a suivi le même pipeline de récupération, de jugement, de résolution d'identité et de notation.

Perplexity Search as Code est en tête avec 0,363 en F1 souple et 0,133 en F1 rigide. Anthropic est deuxième avec 0,249 et 0,072 ; tous les autres systèmes plafonnent à 0,121 en F1 souple et 0,035 en F1 rigide. Aucun système ne domine à la fois la qualité et l'efficacité. Perplexity se situe au milieu de la fourchette de coût à 5,20 $ par tâche, avec un temps de résolution médian de 14,9 minutes et 3,82 millions de jetons rapportés par tâche. OpenAI et Exa sont plus rapides et moins chers, mais obtiennent des scores nettement inférieurs. Anthropic s'approche le plus en termes de qualité, mais utilise beaucoup plus de temps, d'argent et de jetons.

Précision et rappel souples et stricts par rapport au coût, à la latence médiane et à l’utilisation de jetons déclarée sur WANDR.
Précision et rappel souples et rigides (en haut), et F1 souple et rigide (en bas), par rapport au coût, à la latence de résolution médiane et à l'utilisation des jetons rapportés. Plus haut et plus à gauche est préférable. Exa et Parallel sont absents des vues sur les jetons car ils ne fournissent pas le nombre de jetons.

Nous avons également évalué chaque paramètre d'effort disponible sur le même sous-ensemble de 45 tâches. Un effort accru améliore les résultats de Perplexity, Gemini et Exa à chaque étape ; Perplexity atteint 0,447 en F1 souple et 0,224 en F1 rigide à xhigh. Un effort plus élevé n'est cependant pas uniformément meilleur : OpenAI culmine à high, et le F1 rigide de Parallel diminue légèrement entre ultra2x et ultra4x. Le coût couvre plus de quatre ordres de grandeur, allant de 0,03 $ par tâche pour Exa low à 324,83 $ pour Gemini max.

F1 souple par rapport au coût, à la latence médiane et à l’utilisation de jetons déclarée selon les réglages d’effort sur le sous-ensemble WANDR de 45 tâches.
F1 souple (en haut) et F1 rigide (en bas) à travers tous les paramètres d'effort disponibles sur le sous-ensemble de 45 tâches appariées. Les trajectoires plus sombres indiquent un effort plus élevé.

Quatre constatations se distinguent.

Les progrès partiels sont courants ; la couverture complète ne l'est pas. Le rappel souple est inférieur à la précision souple pour chaque système, ce qui signifie que la performance diminue une fois que le volume total demandé entre dans le dénominateur. Perplexity conserve un rappel de 0,357 pour une précision de 0,389, soit l'écart le plus faible ; Anthropic chute de 0,354 à 0,222. La conversion du souple vers le rigide est encore plus sévère. Perplexity passe de 0,363 en F1 souple à 0,133 en F1 rigide, et Anthropic de 0,249 à 0,072. La meilleure précision rigide est de 0,150 et le meilleur rappel rigide est de 0,134 : même le leader obtient tous les crédits pour seulement environ un membre sur sept qu'il soumet et un membre sur sept que la tâche demande.

L'échelle aggrave le problème. Du plus petit au plus grand volume cible, la précision rigide de Perplexity chute de 0,235 à 0,096 et son rappel rigide de 0,219 à 0,079. Anthropic chute de 0,205 à 0,113 et de 0,127 à 0,042 ; OpenAI chute de 0,109 à 0,034 et de 0,102 à 0,016. Le rappel chute généralement plus vite que la précision : un système peut conserver une petite poche de membres complets tout en couvrant de moins en moins l'ensemble demandé.

Les hiérarchies plus profondes sont encore plus exigeantes. En passant de l'absence de clé intermédiaire à trois clés ou plus, la précision rigide de Perplexity chute de 0,392 à 0,019 et le rappel rigide de 0,378 à 0,017 ; Anthropic chute de 0,311 à 0,049 et de 0,229 à 0,022 ; OpenAI chute de 0,136 à 0,012 et de 0,120 à 0,011. Chaque branche ajoutée crée un point supplémentaire où un membre peut manquer le score rigide "tout ou rien". Le coût et la latence ne suivent pas de schéma monotone commun.

Précision rigide, rappel rigide, latence de résolution médiane et coût moyen selon le volume d'enregistrement cible (en haut) et la profondeur hiérarchique intermédiaire (en bas). Chaque ligne représente une configuration fixe. Les lignes relient les agrégats de tâches pour la lisibilité et n'impliquent pas d'effet causal de l'échelle ou de la structure.

Avant même de juger la qualité, la découverte est le premier goulot d'étranglement structurel. En regardant uniquement les nombres bruts, avant effondrement, l'achèvement moyen de la découverte au niveau supérieur varie de 0,611 à 0,951. L'enrichissement conditionnel est plus fort, entre 0,767 et 0,967, et l'achèvement des emplacements de preuves terminaux atteint 0,979 à 0,994 une fois qu'un membre et son chemin d'enrichissement existent. Perplexity mène la découverte à 0,951 et l'enrichissement à 0,967, mais OpenAI est légèrement supérieur sur les emplacements de preuves terminaux à 0,994 contre 0,991. L'effondrement des doublons ne représente que 0,017 à 0,205 point de pourcentage de perte de comptage sur les six exécutions complètes, donc le sous-délivrance, et non la fusion d'identité, est l'explication globale principale. Les plus grandes pertes structurelles brutes se produisent avant que l'URL finale ne soit attachée.

Achèvement structurel brut moyen au niveau de la tâche à partir des arbres de vérification. La découverte est la clé supérieure, l'enrichissement couvre les clés intermédiaires et la preuve est la clé terminale. Les valeurs utilisent les comptages fournis avant effondrement, donc la figure isole où le volume soumis fait défaut avant que la qualité de l'enregistrement ne soit jugée.

Trouver une page utilisable est généralement facile ; trouver des preuves complètes est difficile. Pour cinq systèmes, seuls 3,2 % à 8,9 % des pages soumises sont inutilisables ; OpenAI est l'exception avec 23,1 %. Les enregistrements invalides ou de mauvais type sont également relativement rares, entre 4,2 % et 17,4 %. Les pertes dominantes surviennent ensuite : 33,6 % à 68,3 % des pages soumises échouent à au moins une exigence substantielle de la tâche, et 57,5 % à 86,6 % des extraits soumis ne parviennent pas à soutenir tout ce que l'enregistrement prétend. Les taux de Perplexity sont de 41,4 % et 57,5 %. Son F1 souple chute de 0,531 selon le contrôle basé sur la récupération uniquement, qui demande seulement si la page répond à toutes les exigences substantielles, à 0,363 selon le verdict complet, qui exige également les contrôles universels, la validité spécifique à la tâche et un support complet par des extraits. Le F1 rigide chute de manière similaire de 0,245 à 0,133. La difficulté ne réside pas seulement dans l'accès à une page plausible ; elle consiste à transformer cette page en preuves suffisantes pour l'ensemble de l'affirmation.

Sondes d'échec au niveau de l'enregistrement mesurées à partir des détails de vérification disponibles, en pourcentage ; plus bas est préférable. Les échecs sur les exigences de page et d'extrait sont nettement plus courants que les échecs liés aux pages inutilisables ou aux enregistrements invalides. Parallel dispose de détails de diagnostic pour 350 tâches, tandis que les autres lignes couvrent 490 à 500 tâches.

Search as Code est bien adapté à la forme de cette tâche. Un modèle peut exprimer la récupération, le filtrage, la distribution, le rendu, les jointures, la déduplication et la logique d'arrêt en tant que programme, tandis que le calcul déterministe gère les opérations répétées en dehors du contexte du modèle. Ce profil est cohérent avec la meilleure rétention d'étendue et la construction d'extraits de Perplexity, bien qu'il ne soit pas en tête à chaque couche : Anthropic présente le taux d'échec aux exigences de page le plus bas.

Et ensuite ?

WANDR fournit plus qu'un simple score de classement. Sa structure de tâche commune et son pipeline semi-automatisé soutiennent une génération de tâches variées et à fort volume, tandis que les verdicts par enregistrement et les scores au niveau de la hiérarchie montrent où une exécution échoue : découverte, enrichissement, gestion des identités, qualification sémantique ou construction de preuves. Les tâches publiées, l'outil de vérification et les diagnostics structurels fournissent une base pour améliorer les systèmes de recherche complets et tester si ces gains se maintiennent à grande échelle.

La même structure peut également rendre WANDR utile pour l'apprentissage par renforcement. Plutôt que de dépendre d'une seule récompense terminale éparse, un formateur peut utiliser des jugements au niveau de l'enregistrement et de la branche, attribuer des crédits partiels pour les progrès de découverte et d'enrichissement, et construire un cursus en augmentant les nombres requis au fil du temps. Le pipeline peut générer des tâches frères retenues à travers les domaines, les formes de hiérarchie, les règles de preuve et les paramètres d'étendue-profondeur sans énumérer les réponses idéales. Cela crée un chemin vers l'entraînement d'agents non seulement pour trouver des faits corrects, mais aussi pour planifier la couverture, détecter les branches manquantes et récupérer avant de s'arrêter.

Les tâches de référence, le harnais d'évaluation et le rapport technique complet sont disponibles sur GitHub.

Citation

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}