Diseño y evaluación de una API de búsqueda orientada a la IA

La creación de una API de búsqueda escalable y orientada a la IA presenta desafíos de investigación únicos en la intersección de la recuperación de información, la IA y el diseño de sistemas. A diferencia de los servicios tradicionales que operan con datos circunscritos, una API de búsqueda debe indexar continuamente miles de millones de documentos, comprender la intención de las consultas en diferentes idiomas y dominios, y ofrecer resultados relevantes en cuestión de milisegundos. En un mundo de agentes de IA, una API de búsqueda también debe curar cuidadosamente el contexto proporcionado a los modelos de los desarrolladores para garantizar que dichos modelos funcionen de manera óptima e incorporen información con la máxima precisión. Una ingeniería de contexto eficaz requiere que la API no solo capture la relevancia a nivel de documento, sino que trate las secciones individuales y los fragmentos de los documentos como unidades de primer orden por derecho propio.

En este artículo, presentamos el diseño y la evaluación de la API de búsqueda de Perplexity. Primero exploramos la arquitectura y las decisiones técnicas clave detrás de nuestra infraestructura de búsqueda de producción que procesa 200 millones de consultas diarias. Nuestra arquitectura combina mecanismos de recuperación híbridos, canales de clasificación de múltiples etapas, indexación distribuida y análisis dinámico a través de un módulo de comprensión de contenido que se automejora.

A continuación, describimos nuestro enfoque para evaluar empíricamente el rendimiento de la API de búsqueda mediante un marco de evaluación de código abierto recientemente lanzado. A través de evaluaciones comparativas exhaustivas junto con las API comerciales existentes, demostramos un rendimiento de vanguardia tanto en calidad como en latencia. La API de búsqueda de Perplexity está disponible para desarrolladores de todo el mundo a partir de hoy.

[Buscar search_evals en GitHub]

Construcción de un sistema de búsqueda optimizado para modelos de IA

Desde nuestra fundación, entendimos que unas capacidades de búsqueda sólidas serían fundamentales para permitir los productos de IA definitorios de categoría que queríamos lanzar. Originalmente, esperábamos que estas capacidades ya existieran de forma pública. Experimentamos con la cartera de API de búsqueda disponibles a finales de 2022, y la primera versión del motor de respuestas de Perplexity en realidad incorporaba algunas de estas ofertas. Específicamente, analizábamos las consultas de los usuarios, formulábamos y enviábamos solicitudes a estas API, y recopilábamos los resultados como contexto para nuestro canal de generación posterior.

Sin embargo, a medida que los usuarios acudían en masa a Perplexity, nos dimos cuenta rápidamente de que estas API no iban a escalar con nuestro crecimiento. Los precios que encontramos eran exorbitantes, y un proveedor de API líder cobraba 200 dólares por cada mil consultas. Pero lo que es más fatal, estas API heredadas simplemente no fueron diseñadas para los nuevos paradigmas de recuperación introducidos por los sistemas de IA de vanguardia.

Ampliar

Para empezar, los formatos de solicitud y respuesta de estas API heredadas fueron diseñados para un mundo en el que los humanos serían los consumidores exclusivos de los resultados de búsqueda. Como resultado, estas API priorizaron los resultados a nivel de documento, excluyendo información más detallada revelada por unidades subdocumentales. El éxito de un modelo de IA depende de la calidad y compacidad del contexto proporcionado, y vimos de primera mano cómo una recuperación demasiado amplia podía descarrilar los modelos de IA, sin importar cuán relevantes pudieran parecer los documentos recuperados en su conjunto. Nuestros intentos de forzar la precisión en resultados imprecisos tuvieron un éxito limitado.

También observamos que las API heredadas eran demasiado obsoletas o demasiado lentas. Las API de búsqueda desarrolladas de forma independiente dependían de índices incompletos y actualizados con poca frecuencia. Las API basadas en web scraping, como las diversas API de SERP no oficiales para la Búsqueda de Google, se beneficiaban de un índice más completo, pero ofrecían una latencia inaceptablemente alta debido a la ineficiencia inherente de consultar un motor de búsqueda de terceros. La alta latencia hacía que las API no fueran aptas para aplicaciones orientadas al usuario, mientras que la obsolescencia inutilizaba los conjuntos de resultados para cualquier sistema de IA que aspirara a ser preciso y confiable.

Finalmente, observamos que el ecosistema de IA se bifurcaba entre la búsqueda léxica y la búsqueda semántica, con el surgimiento de sistemas hiperoptimizados para una modalidad sobre la otra. Vimos el auge de las bases de datos vectoriales que ni siquiera podían admitir adecuadamente filtros booleanos simples. Los backends de búsqueda tradicionales no lo hicieron mucho mejor, con un soporte primitivo para la clasificación semántica y las oportunidades de recuperación desbloqueadas por la IA.

Al darnos cuenta de que mejorar aún más a Perplexity requeriría construir nuestra propia infraestructura de búsqueda dedicada, destilamos nuestras observaciones en tres criterios clave:

Completitud, frescura y velocidad: el índice de búsqueda debe ser exhaustivo, actualizarse constantemente y estar diseñado para ofrecer una latencia en tiempo real.

Comprensión de contenido detallada: la fragilidad del modelo de IA y las ventanas de contexto limitadas requieren que los resultados de búsqueda se presenten y clasifiquen al nivel más granular posible.

Recuperación y clasificación híbridas: tanto los canales de recuperación como los de clasificación deben incorporar señales léxicas y semánticas para que los resultados sean útiles para la IA.

Ampliar

Infraestructura de rastreo e indexación

Operar a la escala de Perplexity requiere una infraestructura capaz de mapear la web de manera integral y responder a su evolución constante. Nuestro índice de búsqueda rastrea más de 200 mil millones de URL únicas, con la capacidad de rastrear muchos cientos de miles de millones más.

Garantizar que nuestro índice cubra una parte de internet lo suficientemente exhaustiva y que cada documento refleje el estado más reciente es una hazaña difícil. Existe una tensión inherente entre la completitud y la frescura: para un presupuesto de indexación fijo, las operaciones de actualización de las páginas existentes deben competir con las operaciones de indexación de nuevas páginas no visitadas. Equilibramos esta tensión mediante una combinación de escalado (que relaja la restricción de optimización al aumentar el presupuesto de indexación) y priorización impulsada por aprendizaje automático (que garantiza que cada operación de indexación sea lo más valiosa posible para el índice en su conjunto).

Hemos construido un aparato de rastreo y un índice a escala de exabytes que se escalan horizontalmente tanto con el tamaño como con el volumen de consultas. Los equipos de rastreo e indexación de Perplexity comprenden colectivamente decenas de miles de CPU y cientos de terabytes de RAM, con un margen considerable para un mayor escalado. Combinamos esta infraestructura informática con un equilibrio de almacenamiento en frío y en caliente. Utilizamos tanto modelos aprendidos como heurísticas ajustadas para determinar qué documentos deben mantenerse activos, priorizando los documentos de dominios autorizados, los documentos sobre temas poco cubiertos y otras categorías con un potencial desproporcionado para enriquecer nuestro índice.

Esta infraestructura permite a Perplexity procesar decenas de miles de operaciones de indexación por segundo. Pero incluso con este presupuesto relativamente generoso, la escala de internet es demasiado vasta para indexar cada URL individual de forma frecuente y recurrente. Aquí es donde entra en juego el aprendizaje automático (ML). Entrenamos un modelo de ML para predecir si una URL candidata determinada necesita ser indexada. El objetivo de entrenamiento está diseñado para garantizar que calibremos nuestra decisión de indexación tanto en función de la importancia como de la frecuencia de actualización probable de la URL específica. También confiamos en el aprendizaje automático para que nos indique con precisión cuándo programar la operación de indexación. Para los sitios con rutinas de publicación y actualización habituales, esto nos permite posponer las operaciones hasta el momento en que es probable que sean más útiles. A través del refinamiento continuo de estos modelos de aprendizaje automático, podemos mantener un índice que cumple con los estándares de completitud y frescura.

Aunque nuestra infraestructura de rastreo se escala horizontalmente con facilidad, somos conscientes de que los operadores de sitios web enfrentamos diferentes restricciones técnicas. Tenemos cuidado de mantener una tasa de solicitudes predecible y manejable para cualquier dominio dado. PerplexityBot, nuestro rastreador de búsqueda, cumple con los límites explícitos establecidos en los archivos robots.txt o, en ausencia de límites especificados por el dominio, con las normas estándar de la industria relativas a las tasas de solicitudes. También ajustamos nuestro comportamiento de rastreo cuando detectamos que un sitio no está disponible. Nuestro sistema distribuido está arquitectado para hacer cumplir estos límites incluso a través de decenas de miles de operaciones simultáneas.

Comprensión de contenido automejorable a escala de internet

Incluso con uno de los índices de búsqueda más grandes y frescos del planeta, la calidad de los resultados de cada consulta depende de la comprensión que tenga nuestro sistema del contenido de cada documento. Aquí nos enfrentamos a un desafío fundamental: la web es un lugar complejo. Ningún conjunto fijo de reglas de análisis puede manejar la infinita variedad de diseños, estructuras y estilos que se encuentran en todo internet.

Resolvimos este desafío desarrollando un módulo de comprensión de contenido que analiza sitios web y extrae contenido semánticamente significativo utilizando conjuntos de reglas dinámicos. Un sitio web con una gran cantidad de datos bien estructurados en forma de listas o tablas puede beneficiarse de reglas de análisis y extracción más formularias, mientras que otro sitio web que presente principalmente contenido generado por el usuario de forma libre puede requerir un conjunto de reglas más flexible. Debido a que la web es mayormente estática en intervalos de tiempo cortos, encontramos que la vida útil de una regla dada es relativamente larga. Pero a medida que los sitios evolucionan con el tiempo y aprendemos más sobre las mejores formas de extraer información, nuestros conjuntos de reglas también requieren un mantenimiento continuo.

Para facilitar esta adaptación dinámica, recurrimos (por supuesto) a la IA. A la escala de Perplexity, observamos una sección transversal de la web increíblemente rica en el transcurso de la atención a millones de consultas de usuarios cada hora. Esto forma la base de un bucle de automejora iterativo. Observamos el comportamiento de análisis y las salidas extraídas de nuestros conjuntos de reglas actuales en todo nuestro universo de consultas. Luego, utilizamos modelos de lenguaje grandes (LLM) de vanguardia para evaluar el rendimiento en dos dimensiones principales:

Completitud: nuestro índice debe recibir tanto contenido semánticamente significativo como sea posible, evitando al mismo tiempo la extracción espuria de material poco informativo o sin sentido.

Calidad: nuestro índice se basa en contenido que sea de alta calidad tanto en sustancia como en forma. La información debe capturarse de manera que se preserve la estructura y el diseño del contenido original.

Tenga en cuenta que la completitud y la calidad presentan otra tensión inherente: es posible optimizar manualmente la calidad, pero las reglas de análisis resultantes pueden no capturar contenido crítico. De manera similar, podríamos codificar manualmente reglas permisivas que apliquen un filtrado mínimo al contenido sin procesar, lo que podría mejorar la completitud pero a expensas de la calidad. Es por eso que recurrimos a la automejora impulsada por IA para evolucionar nuestro conjunto de reglas de una manera que pueda optimizar ambas cosas a la vez de forma adaptativa al dominio.

Concretamente, después de cada evaluación del rendimiento de análisis impulsada por LLM, nuestro sistema formula un conjunto de cambios propuestos en el conjunto de reglas para abordar las clases de errores más importantes. Estos conjuntos de reglas se someten a una validación adicional, después de lo cual implementamos la nueva versión en nuestro indexador. Dado que las mejoras en la lógica de análisis y extracción solo pueden beneficiar a las futuras operaciones de indexación, nuestras inversiones en reindexación optimizada por aprendizaje automático son especialmente importantes: actualizar continuamente los documentos de alto tráfico utilizando la versión más reciente de esta lógica garantiza un bucle de automejora ajustado.

Estas reglas son importantes no solo para el rendimiento básico de análisis, sino también para la segmentación en unidades subdocumentales. Cuando se trata de LLM de vanguardia, cada token de contexto es valioso. Una gran cantidad de trabajos anteriores ha documentado cómo el rendimiento de los LLM se degrada con el aumento en el tamaño del contexto y la contaminación del contexto con información irrelevante. Disponer de un análisis bien estructurado y exhaustivo nos permite descomponer los documentos en fragmentos independientes, cada uno de los cuales se puede recuperar y clasificar individualmente en el momento de la consulta.

Canal de recuperación y clasificación

La búsqueda moderna requiere garantizar tanto la completitud como la relevancia bajo un presupuesto de latencia ajustado. El canal de recuperación y clasificación de Perplexity logra esto a través de una arquitectura de múltiples etapas que refina progresivamente los resultados con una serie de módulos cada vez más sofisticados. Resolvemos los posibles cuellos de botella escalando horizontalmente cualquier posible punto de estrangulamiento al máximo grado posible.

El canal comienza con la recuperación de nuestro índice. No forzamos una elección entre la recuperación léxica y la semántica. Más bien, consultamos el índice de búsqueda a través de ambas modalidades y fusionamos los resultados en un conjunto de candidatos híbrido. En esta etapa, la prioridad es la exhaustividad sobre la precisión; las etapas posteriores del canal se optimizarán para la precisión.

El canal continúa con las etapas de prefiltrado, en las que aplicamos heurísticas básicas y filtros iniciales para eliminar el contenido claramente no receptivo u obsoleto del conjunto de candidatos.

A continuación, empleamos múltiples etapas de clasificación progresivamente avanzada. Las primeras etapas se basan en puntuadores léxicos y basados en incrustaciones optimizados para la velocidad. A medida que el conjunto de candidatos se reduce gradualmente, utilizamos modelos de reordenamiento de codificadores cruzados más potentes para realizar la configuración final del conjunto de resultados. Gracias a nuestras numerosas inversiones en el rendimiento de inferencia, podemos aprovechar arquitecturas de modelos de vanguardia para estas etapas posteriores, manteniendo baja la latencia general de clasificación.

A lo largo de este canal, recuperamos y puntuamos los resultados tanto a nivel de documento como de subdocumento. Como se discutió anteriormente, la IA requiere una cuidadosa ingeniería de contexto. Nuestro canal está diseñado para mostrar las unidades más atómicas posibles al modelo, de modo que los consumidores posteriores puedan incorporar esas unidades precisas sin extraer contexto irrelevante de otras partes de los documentos de origen.

Garantizar una alta calidad en cada etapa de este canal solo es posible mediante el codiseño con la cartera de productos de Perplexity. Cada detalle de la pila de clasificación está diseñado para aprovechar la rica señal producida por los millones de solicitudes de usuario que atendemos cada hora del día. La gran mayoría de esta señal está automatizada, y cada respuesta de Perplexity generada proporciona un punto de datos empírico sobre la calidad de búsqueda tal como se utiliza en un flujo de trabajo agéntico en vivo. Combinamos evaluaciones impulsadas por IA con comentarios humanos en vivo para enriquecer los datos de entrenamiento para nuestros modelos de incrustación y clasificación mucho más allá de lo que cualquier conjunto de datos construido manualmente puede ofrecer.

Esta sinergia entre la búsqueda y el producto es exclusiva de Perplexity. Los motores de búsqueda heredados se limitan a la señal burda proporcionada por la telemetría de enlaces azules. Las nuevas ofertas de búsqueda han intentado implementar algunos de estos conceptos orientados a la IA, pero carecen de entornos del mundo real que puedan validar la calidad de la búsqueda y proporcionar la riqueza de señales necesaria para bucles de mejora rápida. Somos afortunados de tener el ingrediente faltante: un campo de pruebas en vivo para la calidad de búsqueda, impulsado por LLM de vanguardia y probado continuamente en batalla por millones de usuarios curiosos en todo el mundo.

Estableciendo una nueva frontera para la calidad y el rendimiento

Después de construir la API de búsqueda de Perplexity y el SDK para poner nuestra infraestructura de búsqueda a disposición de los desarrolladores de todo el mundo, queríamos comprender cómo se medían las diversas ofertas de API comerciales en casos de uso de IA del mundo real. Se ha vuelto común evaluar los modelos de IA por sí mismos, pero necesitábamos un giro en este patrón: evaluar la calidad de las API de búsqueda cuando son invocadas por modelos de IA.

Primero recurrimos al ecosistema de código abierto para comprender el estado de la técnica anterior. Encontramos muchos de los ingredientes clave para una evaluación rigurosa, pero ningún marco que integrara estos ingredientes en una solución de evaluación comparativa lista para usar. Por lo tanto, nos propusimos desarrollar un marco de evaluación que pudiera ser utilizado no solo por Perplexity, co-por cualquier investigador o desarrollador que busque comparar API de búsqueda.

Utilizando este marco de evaluación, realizamos evaluaciones comparativas rigurosas de la API de búsqueda de Perplexity junto con otras ofertas. Optimizar el rendimiento de la búsqueda es complejo, con muchas compensaciones matizadas entre la calidad y la velocidad. Como una victoria para los desarrolladores, descubrimos que la API de búsqueda de Perplexity establece un nuevo estándar de vanguardia tanto para la calidad como para la latencia. Los desarrolladores ya no necesitan elegir entre construir aplicaciones ultrarrápidas y garantizar resultados de alta calidad: con Perplexity, pueden tener ambas cosas.

Ampliar

Diseño de evaluaciones confiables para flujos de trabajo de búsqueda agéntica

Comenzamos definiendo tres principios rectores para nuestro marco de evaluación:

Espectro de complejidad: el marco de evaluación debe medir el rendimiento en casos de uso de IA agéntica tanto directos como complejos.

Neutralidad: el marco de evaluación debe evaluar todas las API en pie de igualdad.

Simplicidad: aunque ciertos casos de uso puedan ser complejos, el marco en sí debe ser lo más simple posible para que otros puedan comprenderlo, reproducir los resultados y ampliar el marco con un tedio mínimo.

Nuestro marco de evaluación ligero, search_evals, logra estos objetivos a través de un diseño modular simple. Desarrollamos dos arneses de agentes de IA para capturar tanto los casos de uso clásicos de búsqueda de una sola toma como los flujos de trabajo agénticos avanzados (ejemplificados por varios productos de «Investigación profunda» ampliamente disponibles en el mercado de consumo). Ambos arneses se implementaron de manera directa que deja poco margen para ventajas ocultas.

Para impulsar nuestras evaluaciones, adoptamos cuatro pruebas comparativas: SimpleQA y FRAMES para la búsqueda de un solo paso, junto con BrowseComp y HLE para la investigación profunda. En conjunto, estas pruebas comparativas proporcionan estándares bien aceptados para los agentes de conocimiento. Siguiendo la convención establecida, calificamos todas las pruebas comparativas utilizando la misma metodología de clasificador basado en indicaciones utilizada en el trabajo original. Las implementaciones precisas de las pruebas comparativas (incluida la lógica del calificador) se pueden revisar en nuestro repositorio de GitHub.

Diseñamos el marco teniendo en cuenta la reproducibilidad y la extensibilidad. Tanto las puntuaciones a nivel de tarea como las salidas de los agentes subyacentes se almacenan con cada ejecución. Se pueden integrar fácilmente arneses, pruebas comparativas y ofertas de API de búsqueda adicionales. Los investigadores y desarrolladores pueden leer la documentación de GitHub para obtener más información sobre cómo ampliar el marco para abordar sus necesidades precisas.

Resultados de la evaluación

Armados con este marco de evaluación, nos propusimos evaluar nuestra API de búsqueda en comparación con otras ofertas de API. En todas las pruebas comparativas probadas, Perplexity se destaca como la API más rápida y de mayor calidad en el mercado.

Ampliar

Descubrimos que nuestras inversiones descritas anteriormente en la eficiencia del índice, la recuperación y la clasificación dieron sus frutos con creces. La latencia mediana de Perplexity se sitúa en 358 ms, más de 150 ms por delante del segundo proveedor más rápido. La latencia en el percentil 95 se mantiene cómodamente por debajo de los 800 ms. Con las largas métricas de TTFT (tiempo hasta el primer token) de los modelos de vanguardia actuales, cada milisegundo cuenta para crear experiencias de usuario encantadoras. Hemos pasado los últimos dos años optimizando la latencia para nuestros propios usuarios, y nos complace que esas mismas inversiones ahora también beneficien a la comunidad de desarrolladores.

Latencia de la API de búsqueda

(solicitudes iniciadas desde AWS us-east-1)

Percentiles de latencia de la API de búsqueda para solicitudes iniciadas desde AWS us-east-1.

* Muchos proveedores de API de búsqueda utilizan el web scraping de SERP como base para sus resultados. Para capturar el rendimiento de dichos enfoques, utilizamos una API representativa basada en SERP de Google ofrecida por Tavily.

Esta ventaja de velocidad no se produce a expensas de la calidad. La API de búsqueda de Perplexity ofrece un rendimiento de vanguardia tanto en la búsqueda de un solo paso como en entornos de investigación profunda. En cada prueba comparativa probada, Perplexity lidera el grupo al proporcionar resultados de alta calidad que pueden impulsar flujos de trabajo de IA de complejidad variable. El margen entre Perplexity y la mejor alternativa es especialmente pronunciado en SimpleQA y HLE, lo que indica que estos resultados son sólidos en todo el espectro de complejidad de las tareas.

Ampliar

Al igual que con la latencia, nuestro liderazgo en la calidad de búsqueda fluye como consecuencia de nuestro liderazgo en la construcción de productos de IA encantadores y con mucho tráfico. Nuestros millones de usuarios utilizan Perplexity para satisfacer su curiosidad sobre cualquier tema imaginable, y las señales de calidad y relevancia resultantes permiten que nuestros modelos de búsqueda mejoren a cada hora que pasa.

Pruebas comparativas de calidad de la API de búsqueda

Puntuaciones de calidad de la API de búsqueda en SimpleQA, FRAMES, BrowseComp y HLE.

Todavía estamos en los primeros días de los motores de búsqueda nativos de IA, y el arte y la ciencia de la medición sin duda evolucionarán. Invitamos a la comunidad a contribuir mediante el desarrollo de métodos rigurosos y creativos para evaluar los motores de búsqueda en la era de los agentes de IA.

El bloque de construcción para el próximo capítulo de la IA

El futuro de los sistemas agénticos y los asistentes inteligentes dependerá de la disponibilidad de ricas interfaces programáticas en el conocimiento colectivo del mundo. Los motores de búsqueda heredados de hoy en día han saturado su uso en aproximadamente 10¹⁰ consultas por día, una cifra que probablemente haya tocado techo. La próxima generación de sistemas de búsqueda y recuperación atenderá pedidos de magnitud superiores en solicitudes, ya que un universo de agentes de IA en constante crecimiento confía en ellos para obtener información precisa en tiempo real.

Nuestros esfuerzos hasta la fecha nos han posicionado como el motor de búsqueda más rápido y de mayor rendimiento accesible a través de API. Pero se necesitará una innovación aún más ambiciosa para impulsar el próximo capítulo de la IA. ¿Cómo escalamos de manera eficiente estos sistemas frente a una demanda en constante aumento? ¿Cómo se pueden optimizar estos sistemas de búsqueda a la luz de enfoques novedosos para la ingeniería de contexto y el entrenamiento posterior? ¿Y cómo navegamos por la tensión siempre presente entre la completitud, la actualidad y la latencia? Estas son preguntas abiertas que Perplexity, con nuestra combinación de huella de producto, escala y talento técnico, está en una posición única para abordar.

Citación

@online{perplexity2025ArchitectingAndEvaluatingAnAiFirstSearchApi,
  author = {{Perplexity} and Aleksandr Bogutskii and Aleksandr Nikolenko and Aleksei Bykov and Alexander Pecheny and Alexandr Yarats and Arsenii Shevchenko and Denis Bykov and Dmitry Pervukhin and Ismail Gadzhiev and James Liounis and Kevin Hu and Kirill Priemko and Maksim Gaiduk and Maksim Morozov and Marko Kevac and Michael Liang and Mikhail Galanin and Nandor Licker and Nataliya Pevgova and Nikita Kireev and Nikolai Tretiak and Paul Schofield and Saif Ali Raja and Saleh Alghusson and Sebastian Sepulveda and Sergei Miller and Svyatoslav Feldsherov and Vitalii Polshkov and Vladimir Zaytsev and Denis Yarats},
  title = {{Architecting and evaluating an AI-first Search API}},
  date = {2025-09-25},
  url = {https://www.perplexity.ai/hub/blog/architecting-and-evaluating-an-ai-first-search-api}
}