Banc d'essai WANDR : évaluation des agents de recherche à grand spectre

Un banc d'essai pour le travail de la connaissance à grand volume et riche en preuves.

AuteursPerplexity Research

Aujourd'hui, nous lançons WANDR (Wide ANd Deep Research), un banc d'essai ouvert et un outil d'évaluation fondé sur 500 tâches de collecte de données réalistes et complexes pour le travail de la connaissance. WANDR est le pendant étendu de notre banc d'essai DRACO pour la recherche approfondie. DRACO cherche à déterminer si un agent peut produire un rapport détaillé précis, complet et objectif ; WANDR cherche à savoir s'il peut constituer une vaste collection et étayer chaque membre à l'aide de preuves spécifiques.

Ce sont là les types de tâches que les gens confient déjà aux agents de recherche : cartographie concurrentielle, diligence raisonnable, revue de littérature, analyse de marché, comparaison de produits, recherche de talents, etc. Les tâches vont de dizaines à des milliers de dossiers vérifiables de manière indépendante. Même avec un paramètre d'effort élevé, le système le plus performant de notre évaluation n'atteint que 0,363 pour le F1 souple et 0,133 pour le F1 strict. La recherche vaste et approfondie est encore loin d'être résolue.

Échelle de référence WANDR et meilleurs scores de F1 souple et de F1 stricte rapportés dans cette évaluation.

Pourquoi la recherche vaste et approfondie est importante

De nombreuses tâches de recherche utiles ne se terminent pas lorsqu'un agent trouve une seule réponse. Un analyste de marché peut avoir besoin de tous les concurrents admissibles, avec les mêmes preuves pour chacun. Une équipe de diligence raisonnable peut avoir besoin de dizaines d'entreprises, puis de l'actionnariat, des dirigeants, du financement et du statut réglementaire pour chacune d'entre elles. Cela crée deux exigences distinctes :

Vaste : découvrir un ensemble vaste et souvent ouvert d'entités admissibles.

Approfondie : enquêter sur chaque entité suffisamment pour étayer chaque affirmation demandée par des preuves.

La combinaison des deux change le problème. Une poignée d'exemples convaincants ne suffit pas, pas plus qu'un récit soigné bâti sur une recherche incomplète. L'agent doit maintenir une découverte large sans sacrifier la qualité factuelle d'un dossier à l'autre.

WANDR saisit cette structure au moyen d'une hiérarchie de clés de qualification flexible et composable. Une tâche peut demander

company(n) → employee(m) → url(k)

Cela signifie qu'il faut trouver n entreprises admissibles, m employés admissibles dans chaque entreprise et k pages justificatives pour chaque employé. Chaque chemin complet dans l'arborescence peut être validé indépendamment. La même structure de base peut représenter une liste plate, une recherche imbriquée, une matrice ou une tâche comportant plusieurs branches de preuves. Ces modèles peuvent également être combinés, ce qui permet à une seule représentation de couvrir un large éventail de cas d'utilisation réels.

Six modèles hiérarchiques courants. Les cercles pleins sont des entités, les cercles en pointillés sont des étiquettes fixes et les carrés sont des feuilles d'URL. Dans la matrice, des étiquettes d'enfants répétées désignent les mêmes valeurs d'enfants sous des parents différents.

Une tâche publiée illustre cette structure en pratique.

ceo_cfo_appointments

Tâche principale. Trouver au moins 70 entreprises basées aux États-Unis ayant annoncé une nomination de PDG ou de directeur financier pour la première fois entre le 1er mars et le 30 avril 2026. Pour chaque entreprise, fournir une page de nomination officielle qui identifie l'entreprise et la personne nommée, établit le rôle et la date de l'annonce, et provient de l'émetteur, d'un dépôt, d'une agence de presse ou d'un journalisme d'affaires de première main directement attribué.

Hiérarchie principale. company(70) → company_appointee(1) → url(1).

Sous-tâche de cotation d'entreprise. Pour les mêmes entreprises, fournir une page d'une autorité de cotation reconnue indiquant soit une cotation sur un marché boursier national américain, soit le statut d'émetteur déclarant auprès de la SEC en vertu du Securities Exchange Act des États-Unis.

Hiérarchie de la sous-tâche. company(70) → url(1).

Dossiers requis. 140 : 70 dossiers de nomination plus 70 dossiers de cotation.

Chaque chemin se termine par une page et des extraits que l'évaluateur peut revérifier. La clé d'entreprise partagée aligne les branches de nomination et de cotation, de sorte qu'une nomination sans preuve distincte du statut de cotation laisse tout de même cette entreprise incomplète.

Tâches réalistes, générées à grande échelle

WANDR part de modèles anonymisés observés en production plutôt que de requêtes synthétiques. Cela permet de maintenir le banc d'essai proche du travail que les gens délèguent réellement : découverte ouverte, enrichissement répété, vérifications croisées entre sources et comparaisons structurées à l'échelle professionnelle. Un pipeline semi-automatisé transforme ces modèles en tâches, réservant l'effort humain au contrôle de la qualité plutôt qu'à l'annotation exhaustive des réponses.

Le pipeline comporte quatre étapes. Le seeding exploite des demandes de produits désidentifiées pour extraire un modèle réutilisable de recherche large. La rédaction exécute une boucle entrelacée auteur-critique : les agents esquissent et mettent à l’épreuve la conception, rédigent la spécification de la tâche et le juge, créent des enregistrements de référence et utilisent un linter mécanique pour garder le tout aligné. L’admission vérifie que le volume cible est atteignable en fusionnant 10 à 12 exécutions de rédaction, audite le juge propre à la tâche et ajoute au besoin une validation humaine. La curation étiquette les tâches admises et sélectionne un ensemble final équilibré selon les sujets, l’échelle, la topologie et la difficulté.

Le pipeline de construction des tâches comporte quatre étapes. Le semis identifie une demande réaliste; la rédaction la transforme en une tâche autonome grâce à une boucle auteur-critique et à des vérifications mécaniques; l’admission évalue la faisabilité et la qualité du juge; et la curation sélectionne une version équilibrée. Le résultat comprend 500 ensembles de tâches publics.

La tâche médiane demande 50 membres, quatre dossiers par membre et 245 dossiers au total. Globalement, les 500 tâches nécessitent 170 495 dossiers étayés par des sources. Nous étalonnons la difficulté à partir des déploiements historiques de la phase de conception, puis nous divisons les tâches par rang en 167 exemples de difficulté faible, 166 de difficulté moyenne et 167 de difficulté élevée. Le graphique ci-dessous montre que la difficulté n'est pas déterminée par la seule échelle ; elle dépend également du travail requis pour chaque dossier.

Difficulté globale des tâches sur le plan amplitude-profondeur (log-log ; 500 tâches du banc d'essai). L'amplitude correspond au nombre de membres requis ; la profondeur correspond au nombre de dossiers requis divisé par ce nombre de membres. La couleur des points désigne l'étiquette de difficulté globale. Les guides en pointillés marquent l'amplitude médiane (50 membres) et la profondeur médiane (4,00 dossiers par membre).

Évaluation sans référence et vérifiée par les preuves

Une clé de réponse fixe est mal adaptée à la recherche ouverte. Son élaboration est coûteuse, elle devient rapidement obsolète et elle représente mal les questions dont les réponses changent au fil du temps. WANDR évalue plutôt chaque affirmation soumise par rapport aux preuves citées par l'agent.

Chaque dossier contient un élément, une URL, des extraits sélectionnés et une réponse. L'évaluateur récupère à nouveau la page et vérifie si elle est utilisable, si l'affirmation est claire et pertinente, si les extraits figurent fidèlement sur la page et si la page et les extraits étayent toutes les exigences.

Ces verdicts binaires sur les dossiers se propagent dans la hiérarchie. La précision mesure la qualité de ce que le système a soumis. Le rappel mesure l'exhaustivité ajustée à la qualité par rapport au volume demandé, en comblant tout déficit par des zéros. Le F1 équilibre les deux. Les scores souples accordent des crédits partiels aux membres incomplets ; les scores stricts ne comptent que les membres dont la sous-arborescence requise complète est correcte. Pour le diagnostic, WANDR produit également un verdict de recherche seule qui demande si la page récupérée satisfait à la tâche avant d'ajouter les vérifications plus strictes de validité et des extraits soumis.

Cela rend les échecs interprétables et localisables. Une précision élevée avec un faible rappel signifie généralement que le système a trouvé de bons éléments, mais pas assez. Une forte chute du soft au hard signifie qu’il a progressé partiellement, mais a rarement terminé chaque branche nécessaire pour obtenir le plein crédit. L’arbre de scores peut localiser la perte à la découverte, à l’enrichissement, à la gestion de l’identité, à la qualification de la page ou à l’extraction des éléments probants.

Le pipeline d'évaluation. La résolution normalise la sortie de chaque système ; la récupération extrait chaque page citée et réessaie les échecs de récupération dans un navigateur ; le jugement résout les identités et évalue chaque dossier ; et la notation convertit les verdicts en précision, en rappel et en F1 au niveau de la tâche.

Ce que nous avons découvert

Nous avons comparé six systèmes de production : des API hébergées de tâches et de recherche, des API générales d'agents Web, un produit de recherche approfondie et notre système programmatique d'orchestration de recherche, Search as Code (SaC). Chacun a été exécuté sur l'ensemble des 500 tâches selon une configuration épinglée, puis est passé par le même pipeline de récupération, de jugement, de résolution d'identités et de notation.

Perplexity Search as Code est en tête avec 0,363 de F1 souple et 0,133 de F1 strict. Anthropic est deuxième avec 0,249 et 0,072 ; tous les autres systèmes plafonnent à 0,121 pour le F1 souple et 0,035 pour le F1 strict. Aucun système ne domine à la fois la qualité et l'efficacité. Perplexity se situe au milieu de la fourchette de coûts avec 5,20 $ par tâche, un temps de résolution médian de 14,9 minutes et 3,82 millions de jetons signalés par tâche. OpenAI et Exa sont plus rapides et moins chers, mais obtiennent des scores nettement inférieurs. Anthropic se rapproche le plus en termes de qualité, mais utilise beaucoup plus de temps, d'argent et de jetons.

Précision et rappel souples et stricts en fonction du coût, de la latence médiane et de l’utilisation de jetons déclarée sur WANDR.
Précision et rappel souples et stricts (en haut), et F1 souple et strict (en bas), en fonction du coût, de la latence médiane de résolution et de l'utilisation signalée des jetons. Plus c'est haut et vers la gauche, mieux c'est. Exa et Parallel sont absents des vues sur les jetons car ils n'exposent pas les comptes de jetons.

Nous avons également évalué tous les paramètres d'effort disponibles sur le même sous-ensemble de 45 tâches. Un effort accru améliore Perplexity, Gemini et Exa à chaque étape ; Perplexity atteint 0,447 de F1 souple et 0,224 de F1 strict à xhigh. Un effort supérieur n'est cependant pas uniformément meilleur : OpenAI atteint son maximum à high, et le F1 strict de Parallel glisse légèrement entre ultra2x et ultra4x. Le coût s'étale sur plus de quatre ordres de grandeur, allant de 0,03 $ par tâche pour Exa low à 324,83 $ pour Gemini max.

F1 souple en fonction du coût, de la latence médiane et de l’utilisation de jetons déclarée selon les réglages d’effort sur le sous-ensemble WANDR de 45 tâches.
F1 souple (en haut) et F1 strict (en bas) pour tous les paramètres d'effort disponibles sur le sous-ensemble apparié de 45 tâches. Les chemins plus sombres indiquent un effort plus important.

Quatre conclusions se démarquent.

La progression partielle est courante; la couverture complète ne l’est pas. Le rappel soft est inférieur à la précision soft pour tous les systèmes, ce qui signifie que la performance chute une fois que le volume total demandé entre dans le dénominateur. Perplexity conserve un rappel de 0,357 pour une précision de 0,389, l’écart le plus faible; Anthropic passe de 0,354 à 0,222. La conversion du soft au hard est encore plus sévère. Perplexity passe d’un F1 soft de 0,363 à un F1 hard de 0,133, et Anthropic de 0,249 à 0,072. La meilleure précision hard est de 0,150 et le meilleur rappel hard est de 0,134 : même le leader n’obtient le plein crédit que pour environ un membre sur sept qu’il soumet et un membre sur sept que la tâche demande.

L'échelle aggrave le problème. Du plus petit au plus grand bac de volume cible, la précision stricte de Perplexity chute de 0,235 à 0,096 et son rappel strict de 0,219 à 0,079. Anthropic chute de 0,205 à 0,113 et de 0,127 à 0,042 ; OpenAI chute de 0,109 à 0,034 et de 0,102 à 0,016. Le rappel chute généralement plus vite que la précision : un système peut conserver un petit groupe de membres complets tout en couvrant une portion de plus en plus réduite de l'ensemble demandé.

Les hiérarchies plus profondes sont encore plus impitoyables. En passant de zéro clé intermédiaire à trois clés ou plus, la précision stricte de Perplexity chute de 0,392 à 0,019 et le rappel strict de 0,378 à 0,017 ; Anthropic chute de 0,311 à 0,049 et de 0,229 à 0,022 ; OpenAI chute de 0,136 à 0,012 et de 0,120 à 0,011. Chaque branche ajoutée crée un nouvel endroit où un membre peut rater le score strict « tout ou rien ». Le coût et la latence ne suivent pas de modèle monotonique commun.

Précision stricte, rappel strict, latence médiane de résolution et coût moyen en fonction du volume de dossiers cibles (en haut) et de la profondeur de la hiérarchie intermédiaire (en bas). Chaque ligne représente une configuration fixe d'exécution principale. Les lignes relient les agrégats de bacs de tâches pour en faciliter la lecture et n'impliquent aucun effet causal de l'échelle ou de la structure.

Avant même de juger de la qualité, la découverte constitue le premier goulet d'étranglement structurel. Si l'on ne considère que les comptes bruts avant effondrement, l'achèvement moyen de la découverte au niveau supérieur varie de 0,611 à 0,951. L'enrichissement conditionnel est plus fort, se situant entre 0,767 et 0,967, et l'achèvement des emplacements de preuves terminaux atteint 0,979 à 0,994 dès qu'un membre et son chemin d'enrichissement existent. Perplexity est en tête pour la découverte à 0,951 et l'enrichissement à 0,967, mais OpenAI est légèrement supérieur sur les emplacements de preuves terminaux avec 0,994 contre 0,991. L'effondrement des doublons ne représente que 0,017 à 0,205 points de pourcentage de perte de compte sur les six exécutions complètes, ce qui signifie que c'est la sous-livraison, et non la fusion d'identités, qui constitue la principale explication globale. Les pertes structurelles brutes les plus importantes se produisent avant que l'URL finale ne soit attachée.

Achèvement structurel brut moyen au niveau des tâches à partir des arborescences de vérification. La découverte est la clé supérieure, l'enrichissement couvre les clés intermédiaires et la preuve est la clé terminale. Les valeurs utilisent les comptes fournis avant effondrement, de sorte que la figure isole l'endroit où le volume soumis fait défaut avant que la qualité du dossier ne soit jugée.

Trouver une page utilisable est généralement facile ; trouver des preuves complètes est difficile. Pour cinq systèmes, seuls 3,2 % à 8,9 % des pages soumises sont inutilisables ; OpenAI constitue une exception notable avec 23,1 %. Les dossiers invalides ou de type incorrect sont également relativement rares (4,2 % à 17,4 %). Les pertes principales surviennent ensuite : 33,6 % à 68,3 % des pages soumises échouent à au moins une exigence essentielle de la tâche, et 57,5 % à 86,6 % des extraits soumis ne parviennent pas à étayer tout ce que le dossier prétend. Les taux de Perplexity sont de 41,4 % et 57,5 %. Son F1 souple chute de 0,531 selon la vérification de recherche seule — qui demande uniquement si la page satisfait à chaque exigence essentielle — à 0,363 selon le verdict complet, qui exige également les vérifications universelles, la validité spécifique à la tâche et un support d'extraits complet. Le F1 strict chute de manière similaire de 0,245 à 0,133. La difficulté ne réside pas seulement dans l'obtention d'une page plausible, mais dans la capacité à transformer cette page en preuves suffisantes pour l'ensemble de l'affirmation.

Sondes d'échec mesurées au niveau des dossiers à partir des détails disponibles du vérificateur, en pourcentage ; plus c'est bas, mieux c'est. Les échecs sur les exigences de page et d'extrait sont nettement plus fréquents que les échecs de pages inutilisables ou de dossiers invalides. Parallel dispose de détails de diagnostic pour 350 tâches, tandis que les autres lignes couvrent 490 à 500 tâches.

Search as Code est bien adapté à cette structure de tâche. Un modèle peut exprimer la récupération, le filtrage, la diffusion, le rendu, les jointures, la déduplication et la logique d'arrêt sous forme de programme, tandis que le calcul déterministe gère les opérations répétées en dehors du contexte du modèle. Ce profil est cohérent avec la meilleure rétention d'amplitude et la meilleure construction d'extraits de Perplexity, bien qu'il ne soit pas en tête à tous les niveaux : Anthropic présente le taux d'échec le plus bas en matière d'exigences de page.

Prochaines étapes

WANDR offre bien plus qu'un simple score de classement. Sa structure de tâche commune et son pipeline semi-automatisé prennent en charge la génération de tâches variées et à grand volume, tandis que les verdicts par dossier et les scores au niveau de la hiérarchie montrent où une exécution échoue : découverte, enrichissement, gestion des identités, qualification sémantique ou construction de preuves. Les tâches publiées, le vérificateur et les diagnostics structurels constituent une base pour améliorer les systèmes de recherche complets et tester si ces gains se maintiennent à grande échelle.

La même structure peut aussi rendre WANDR utile pour l’apprentissage par renforcement. Plutôt que de s’appuyer sur une seule récompense terminale clairsemée, un entraîneur peut utiliser des jugements au niveau des enregistrements et des branches, accorder un crédit partiel pour les progrès de découverte et d’enrichissement, et élaborer un programme en augmentant les décomptes requis au fil du temps. Le pipeline peut générer des tâches jumelles réservées à l’évaluation, dans divers domaines, formes de hiérarchie, règles de preuve et réglages de largeur et de profondeur, sans énumérer les réponses de référence. Cela crée une voie pour entraîner des agents non seulement à trouver les faits exacts, mais aussi à planifier la couverture, à détecter les branches manquantes et à se reprendre avant de s’arrêter.

Les tâches du banc d'essai, l'outil d'évaluation et le rapport technique complet sont disponibles sur GitHub.

Citation

BibTeX
@online{perplexity2026WandrBenchmarkEvaluatingResearchAgentsThatMustSearchWideAndDeep,
  author = {{Perplexity} and Vitaliy Polshkov and Marcin Pitera and Jeremy Yang and Kirill Priemko and Maksim Gaiduk and Aleksandr Nikolenko and Denis Bykov and Clare Southern and Phi Hoang and Denis Yarats and Jerry Ma},
  title = {{WANDR benchmark: Evaluating research agents that must search wide and deep}},
  date = {2026-07-14},
  url = {https://www.perplexity.ai/hub/blog/wandr-benchmark-evaluating-research-agents-that-must-search-wide-and-deep}
}