Avanzando en modelos de lenguaje aumentados por búsqueda

Introducción

El entrenamiento de agentes de búsqueda web de vanguardia requiere optimizar conjuntamente múltiples objetivos: precisión factual, eficiencia en la trayectoria y alineación con las preferencias del usuario. Sin embargo, mejorar cualquier dimensión individual de forma aislada suele degradar las demás: los modelos entrenados exclusivamente para lograr precisión tienden a abusar de las herramientas, mientras que los modelos optimizados para la brevedad pueden sacrificar la confiabilidad o la exhaustividad. En Perplexity, ninguno de estos resultados es aceptable.

Este artículo describe el proceso de post-entrenamiento de Perplexity para desarrollar agentes de búsqueda web de última generación basados en modelos de código abierto. Una idea clave es que, en el entrenamiento de agentes de búsqueda, la curación de datos y el diseño de recompensas deben diseñarse conjuntamente: los datos determinan qué comportamientos son observables y verificables, y la recompensa determina cómo esas señales se traducen en una señal de optimización. Este principio motiva nuestro proceso de dos etapas: primero realizamos un calentamiento de Ajuste Fino Supervisado (SFT, por sus siglas en inglés) para inicializar el modelo de política, y luego refinamos el modelo de política mediante Aprendizaje por Refuerzo (RL, por sus siglas en inglés) sobre un conjunto de datos curado y recompensas cuidadosamente diseñadas. Este enfoque de dos etapas permite obtener mejoras confiables en precisión, eficiencia y calidad de respuesta bajo restricciones de producción.

Primero describimos nuestro proceso de entrenamiento de dos etapas (SFT → RL en políticas), seguido de la construcción de nuestros datos de entrenamiento de RL, abarcando tanto preguntas y respuestas (QA) de agentes de búsqueda verificables como chat general basado en rúbricas. Luego presentamos un diseño de recompensa compuesto derivado de este entorno de datos heterogéneo, que equilibra la calidad y la eficiencia al tiempo que mitiga el pirateo de recompensas. Finalmente, analizamos las dinámicas de entrenamiento y los resultados de las pruebas comparativas.

Proceso de entrenamiento de dos etapas

Adoptamos una receta de post-entrenamiento de dos etapas: (i) SFT para establecer comportamientos críticos para el despliegue, como barreras de seguridad (por ejemplo, abstención), seguimiento de instrucciones y consistencia de idioma, y (ii) RL en políticas para mejorar la capacidad de búsqueda, incluida la precisión de las respuestas y la eficiencia en el uso de herramientas, preservando al mismo tiempo los comportamientos de la primera etapa.

¿Por qué dos etapas? Optimizar conjuntamente la calidad de búsqueda y las restricciones de despliegue dentro de una sola etapa de RL es difícil sin comprometer al menos un objetivo. Empíricamente, el entrenamiento exclusivo con RL mejora el rendimiento de búsqueda, pero tiende a ofrecer un rendimiento inferior en las barreras de seguridad del despliegue, mientras que el SFT mejora el cumplimiento a costa del rendimiento de búsqueda. Desglosar los objetivos permite que la etapa de SFT aborde primero los requisitos no negociables, tras lo cual el RL puede centrarse principalmente en mejorar la capacidad de búsqueda.

Etapa de SFT

Inicializamos a partir de la familia de modelos Qwen3 (Qwen3.5-122B-A10B y Qwen3.5-397B-A17B) (Yang et al., 2025, publicación en el blog de Qwen3.5) y construimos un conjunto de datos de mezcla SFT de dos componentes dirigido a los comportamientos críticos para el despliegue descritos anteriormente, preservando al mismo tiempo la capacidad de búsqueda general del modelo base.

Ejemplos orientados a preferencias. Seleccionamos ejemplos de seguimiento de instrucciones y centrados en el estilo dirigidos al tono, la consistencia del idioma, la claridad y el formato. Estos ejemplos no necesitan admitir una única verdad fundamental; más bien, se seleccionan para reflejar los requisitos de redacción del producto y garantizar la consistencia estilística en diversos tipos de consultas.

Trayectorias de uso de herramientas con formato de producción. Empíricamente, descubrimos que el SFT sin una cuidadosa curación del conjunto de datos puede degradar sustancialmente la capacidad de búsqueda del modelo base. Para mitigar esto, tomamos muestras de consultas y tareas internas en diversos patrones de interacción (de un turno, de dos turnos y multi-turno) y las anotamos con nuestro arnés de llamadas a herramientas.

Etapa de RL

A partir del punto de control de SFT, aplicamos RL en políticas para mejorar la precisión y la eficiencia de la búsqueda. Optimizamos el modelo de política utilizando la Optimización de Políticas Relativas por Grupo (GRPO) (Shao et al., 2024).

donde $G$ es el tamaño del grupo, $o_{i}$ denota la $i$-ésima salida muestreada, y $\hat{A}_{i, t} = \hat{A}_{i}$ es la ventaja. El diseño de la recompensa se detalla en la sección de diseño de recompensas; en resumen, combinamos la corrección de referencia con la conformación de la eficiencia basada en preferencias y anclada. Siguiendo trabajos anteriores (Liu et al., 2025a; Yao et al., 2025; Zheng et al., 2025a), aplicamos el Muestreo de Importancia (IS, por sus siglas en inglés) a nivel de token para corregir el desajuste entre entrenamiento e inferencia:

Evaluamos varios enfoques para mitigar el desajuste entre entrenamiento e inferencia, incluido el IS a nivel de secuencia (Zheng et al., 2025b), la repetición de enrutamiento (Ma et al., 2025; Zheng et al., 2025b) y el entrenamiento consistente a nivel de bits que integra el núcleo del motor de inferencia durante el entrenamiento (Equipos de vLLM y TorchTitan, 2025). Empíricamente, bajo nuestro entorno en políticas, encontramos que el IS a nivel de token es suficiente para evitar el colapso del entrenamiento a la vez que sigue siendo simple de implementar; esto es coherente con los hallazgos de Zheng et al. (2025a).

Datos de entrenamiento de RL

Nuestros datos de entrenamiento de RL constan de dos componentes complementarios: preguntas y respuestas (QA) de agentes de búsqueda verificables orientadas a la capacidad de búsqueda general, y chat general basado en rúbricas que refuerza explícitamente las barreras de seguridad de despliegue para evitar la regresión durante la etapa de entrenamiento de RL.

Datos de agentes de búsqueda verificables

Construcción de conjuntos de datos. Siguiendo el método de expansión secuencial (Tao et al., 2025), construimos un conjunto de datos de preguntas y respuestas (QA) sintéticas interno a partir de consultas semilla internas sin depender de un grafo de conocimiento curado, manteniendo el proceso ligero y fácil de actualizar. Cada ejemplo sintético se genera mediante los siguientes pasos:

1. Selección de semillas. Recuperamos documentos para consultas semilla y seleccionamos entidades con confirmación de hechos de múltiples fuentes como puntos de partida, extrayendo declaraciones atómicas sobre ellas.
2. Construcción de cadenas de múltiples saltos. A partir de las declaraciones de la entidad semilla, seleccionamos una que introduzca una segunda entidad (por ejemplo, para la semilla "The Mom Test", la declaración "escrito por Rob Fitzpatrick" introduce al autor como la siguiente entidad). Repetimos este proceso de enlace de 2 a 4 veces, asegurando que cada entidad sea distinta y que ninguna declaración individual revele trivialmente la respuesta final.
3. Síntesis de preguntas sin nombres. Convertimos la cadena de entidades en una pregunta reemplazando recursivamente los nombres de las entidades con sus declaraciones de conexión, produciendo una pregunta anidada que requiere un razonamiento de múltiples saltos.
4. Verificación. Conservamos únicamente las preguntas con respuestas únicas verificadas por múltiples solucionadores independientes habilitados para la web.

Ejemplo (3 saltos)

Considere la consulta semilla “The Mom Test”. Recuperamos documentos e identificamos este libro como la entidad semilla, luego extraemos declaraciones factuales atómicas y construimos iterativamente una cadena de entidades: (i) The Mom Test fue escrito por Rob Fitzpatrick, introduciendo a Rob Fitzpatrick; (ii) la primera startup de Rob Fitzpatrick pasó por Y Combinator (verano de 2007), introduciendo a Y Combinator; (iii) Y Combinator se lanzó en marzo de 2005. Reemplazar recursivamente cada nombre de entidad con su descriptor produce la pregunta sin nombres: “¿Qué libro fue escrito por la persona cuya primera startup pasó por el acelerador lanzado en marzo de 2005, en su cohorte del verano de 2007?” con la respuesta “The Mom Test”.

Aumento de la diversidad de formatos. Los modelos entrenados exclusivamente con QA sintéticas sin procesar tienden a ignorar las preferencias de formato y recurren de forma predeterminada a una estructura de respuesta fija, independientemente de cómo se formule la consulta. Para mejorar la diversidad de formatos, aumentamos el conjunto de datos con consultas que incluyen instrucciones de formato explícitas (por ejemplo, "Muestra una lista de..." o "Resume... en una tabla"), manteniendo sin cambios la respuesta subyacente.

QA verificable pública (línea de base). Construimos un conjunto de datos de QA verificable de línea de base a partir de cinco conjuntos de datos de código abierto (Lu et al., 2025; Pham et al., 2025; Press et al., 2023; Tao et al., 2025; Wu et al., 2025), unificados bajo nuestro formato de aviso aumentado con filtrado de calidad. Esta mezcla sirve como línea de base principal en nuestros experimentos de validación. Para comparaciones controladas, igualamos la escala de nuestro conjunto de datos de QA sintéticas interno con esta mezcla de código abierto.

Validación rápida. Validamos la eficacia de este proceso utilizando Qwen3-30B-A3B-Instruct-2507 para permitir una iteración rápida; los resultados se resumen en la Tabla 1.

Ampliar

Datos de chat general basados en rúbricas

Si bien las QA verificables proporcionan una señal de entrenamiento limpia para consultas centradas en la búsqueda, una fracción sustancial del tráfico de producción no es verificable de manera única (por ejemplo, reescritura, planificación y asistencia abierta). Excluir tales consultas del RL dejaría la política suboptimizado para interacciones reales de los usuarios. Además, aunque la etapa de SFT establece barreras de seguridad críticas para el despliegue, el RL puede sufrir regresiones en ellas a menos que los datos las refuercen explícitamente.

Incorporamos consultas no verificables en el entrenamiento de RL convirtiendo los requisitos críticos para el despliegue —seguimiento de instrucciones, restricciones de formato y convenciones de seguridad— en rúbricas: criterios atómicos y objetivamente comprobables que una respuesta debe satisfacer. Adoptamos la construcción de datos basada en rúbricas (Gunjal et al., 2025; Liu et al., 2025b), generando conjuntos de rúbricas por consulta.

Generación de rúbricas. Dada todo el historial de la conversación, solicitamos a un modelo de lenguaje grande (LLM) que produzca una respuesta de referencia y un conjunto de rúbricas correspondiente. Las rúbricas se derivan bajo un orden de precedencia fijo: los requisitos indicados explícitamente por el usuario tienen prioridad, seguidos de las restricciones internas y, finalmente, los requisitos de contenido necesarios inferidos de la respuesta de referencia. Cada rúbrica debe ser:

• Atómica: una comprobación única y bien definida;
• Objetiva: verificable sin juicio subjetivo;
• Necesaria: requerida para responder a la consulta, no meramente una preferencia estilística.

Ejemplo

Consulta.

She will share u man power planning. We have to arrange lodging & boarding. Plz correct swntence.

Rúbricas.

• La respuesta está escrita en inglés.
• La redacción corregida contiene las palabras "lodging" y "boarding".
• La redacción corregida utiliza "manpower" como una sola palabra (por ejemplo, "manpower plan" o "manpower planning") en lugar de "man power".
• La redacción corregida no contiene los tokens abreviados informales "u" o "Plz", y no contiene el carácter de an comerciales "&".
• La respuesta no contiene marcadores de citación de la forma \\[type:idx\\], donde type denota una fuente de datos (por ejemplo, web, chart, memory, attached_file).

Calibración de rúbricas. Para evitar conjuntos de rúbricas demasiado estrictos o demasiado permisivos, aplicamos un filtro pass@4. Para cada consulta, tomamos muestras de cuatro respuestas independientes y las evaluamos frente al conjunto de rúbricas completo con un juez de seguimiento de instrucciones. Descartamos las consultas para las cuales ninguna respuesta satisface el conjunto de rúbricas o todas lo hacen, conservando únicamente aquellas que producen una señal de entrenamiento informativa.

Mezcla de avisos y equilibrio de varianza

Un desafío práctico en el RL multi-objetivo es el desequilibrio de varianza entre los componentes de datos (Duchi y Namkoong, 2016; Liu et al., 2026; Qi et al., 2026). Aunque tanto las QA verificables como los datos basados en rúbricas producen recompensas binarias, difieren sustancialmente en la dificultad de la tarea: la satisfacción de la rúbrica es generalmente más fácil de lograr al principio del entrenamiento, produciendo actualizaciones de gradiente más grandes y frecuentes que pueden dominar desproporcionadamente la optimización de la política en relación con la señal de QA verificable más difícil. Para solucionar esto, volvemos a ponderar la mezcla de avisos a nivel de conjunto de datos, tomando una muestra del 90% de QA verificables y del 10% de datos basados en rúbricas para equilibrar la señal de optimización entre los componentes.

Diseño de recompensas

Nuestro diseño de recompensas se deriva directamente de la construcción de datos descrita anteriormente. A pesar de abarcar tanto tareas de QA verificables como tareas de rúbricas, todos los datos de entrenamiento comparten una estructura de recompensa de línea de base común: un despliegue recibe créditos si produce una respuesta correcta para las tareas de QA, o satisface todas las rúbricas especificadas para el chat general. Basándonos en este cimiento compartido, construimos una recompensa compuesta para incorporar una puntuación basada en preferencias y una conformación de la eficiencia.

Un desafío clave observado en los primeros experimentos fue el pirateo de recompensas: una combinación lineal simple de recompensas permitía que las señales de fuerte preferencia compensaran los fallos factuales o de instrucciones. Por lo tanto, adoptamos la agregación con puertas como principio de diseño fundamental, definido formalmente como:

donde $r_{\mathrm{base}}(\tau_i) \in \{0, 1\}$ denota la corrección de las QA o la satisfacción de las rúbricas, $s(\tau_i)\in[0,1]$ es la puntuación de preferencia y $\operatorname{pen}_{\mathrm{eff}}(\tau_i)$ es una penalización de eficiencia anclada. Esto hace que la corrección sea una condición necesaria para recibir créditos por preferencias, al tiempo que desalienta el uso innecesario de herramientas y la verbosidad. La Figura 1 ilustra el proceso de recompensa completo, cuyos componentes describimos a continuación:

Ampliar

Recompensa de línea de base

Definimos una señal de línea de base binaria $r_{\mathrm{base}}(\tau_i) \in \{0,1\}$ que captura la corrección de la tarea o el cumplimiento de las instrucciones. Para los datos de agentes de búsqueda verificables, $r_{\mathrm{base}}(\tau_i)=1$ si la respuesta final coincide con la verdad fundamental, y $0$ en caso contrario. Para los datos de chat general basados en rúbricas, $r_{\mathrm{base}}(\tau_i)=1$ si todas las rúbricas se satisfacen, y $0$ en caso contrario. Esta línea de base sirve como compuerta rígida en la regla de agregación condicional de la Ec. 2.

Modelado de preferencias

Nuestro objetivo es alinear el modelo de política con las preferencias latentes de los usuarios sobre la calidad de las respuestas (informatividad, claridad y tono profesional), las cuales son difíciles de capturar a través de avisos de jueces basados en LLM. Por lo tanto, entrenamos un modelo de recompensa de preferencias aprendido para puntuar estos atributos directamente.

Formulamos el aprendizaje de preferencias bajo el marco de Bradley-Terry. Dado un contexto $x$ y dos respuestas candidatas $y_a, y_b$, el modelo produce puntuaciones escalares $s_{\theta}(x, y) \in \mathbb{R}$ y minimiza,

donde $r \in \{0, 1\}$ indica si se prefiere $y_a$. Para eliminar el sesgo posicional, cada par de entrenamiento se complementa con ambos ordenamientos y se optimiza simétricamente,

En el momento de la inferencia, obtenemos una puntuación de preferencia independiente de la posición promediando ambas permutaciones:

La puntuación de preferencia del despliegue se define entonces como $s(\tau_i) \triangleq \bar{P}_{\theta}(x, y_a, y_b) \in [0,1]$, es decir, la probabilidad de que se prefiera el despliegue de la política $y_i$ frente al despliegue del modelo de referencia para el mismo aviso.

Los datos de entrenamiento para el modelado de preferencias se obtienen de conjuntos de datos de código abierto curados, comentarios de usuarios cara a cara y anotaciones internas. Para abordar el ruido de las etiquetas, aplicamos un proceso de calibración y filtrado ligero inspirado en Datbench (DatologyAI, 2026), reteniendo únicamente los ejemplos con un acuerdo coherente entre modelos. El modelo de recompensa comparte el mismo núcleo que el modelo de política, con la cabeza de modelado de lenguaje reemplazada por una cabeza de valor. Aunque los modelos de recompensa más pequeños logran una precisión retenida comparable, encontramos empíricamente que no logran capturar preferencias de grano fino y pueden reforzar comportamientos de política indeseables.

Penalización por eficiencia

En ausencia de una conformación explícita de la eficiencia, la política tiende a abusar de las herramientas incluso en avisos sencillos. Las penalizaciones incondicionales (por ejemplo, aquellas que escalan linealmente con el recuento de llamadas a herramientas o la longitud de salida) son una línea de base natural, pero encontramos que suprimen la exploración necesaria y degradan el aprendizaje. Por lo tanto, adoptamos penalizaciones ancladas y relativas al grupo que regularizan el uso de herramientas y la longitud de la respuesta en relación con las soluciones eficaces dentro de cada grupo GRPO. Para un grupo 𝑔, definimos el conjunto ganador como:

Penalización de llamadas a herramientas anclada. Para cada despliegue $\tau_i$, sea $c_i$ el número de llamadas a herramientas y $e_i$ el número de fallos en la ejecución de herramientas. Definimos el recuento efectivo de llamadas a herramientas $\tilde{c}_i = c_i - e_i$ y tomamos una muestra uniforme de una línea de base de grupo:

Calculamos el exceso $\Delta_i = \max\!\left(0,\; \tilde{c}_i - b_g\right)$ y definimos un escalar de penalización suave $p_i = 1 - \exp\!\left(-\Delta_i\right)$. La penalización por herramientas es entonces:

Penalización de longitud anclada. Sean $L_i$ y $L_i^{\mathrm{ref}}$ las longitudes de los tokens de las generaciones del modelo candidato y de referencia, respectivamente. Definimos el conjunto de conformación $\widehat{W}_g$ como aquellos despliegues que son tanto correctos como preferidos:

A continuación, calculamos las líneas de base de longitud específicas del grupo:

La penalización por longitud se define como:

donde la primera línea es un límite estricto; la segunda penaliza a los ganadores verbosos; y la tercera penaliza a los perdedores excesivamente escuetos.

Penalización por eficiencia combinada. La penalización por eficiencia combinada es una suma ponderada de ambos componentes:

Resultados principales

Evaluamos nuestro proceso de post-entrenamiento a lo largo de dos ejes: (i) dinámicas de entrenamiento, para evaluar la estabilidad de la optimización y si las señales de recompensa se comportan como se espera, y (ii) pruebas comparativas fuera de línea, para medir la calidad posterior, la seguridad y la eficiencia en entornos de evaluación controlados.

Configuraciones de entrenamiento predeterminadas. El modelo de política interactúa con una herramienta de búsqueda web (search_web); cada llamada a la herramienta recupera hasta 10 resultados, con consultas limitadas a un máximo de 250 caracteres y hasta 5 consultas por despliegue.

Dinámicas de entrenamiento

Examinamos las dinámicas de optimización, centrándonos en la progresión de las recompensas y el comportamiento de la eficiencia. Utilizamos Qwen3.5-397B-A11B para simplificar la ilustración.

Ampliar

La Figura 2 muestra una mejora constante en la recompensa de línea de base (QA verificable y satisfacción de rúbricas) junto con puntuaciones de preferencia crecientes, lo que indica ganancias coherentes en la corrección, el cumplimiento y la calidad de la respuesta.

Ampliar

La Figura 3 demuestra que tanto la frecuencia de llamadas a herramientas como la longitud de generación se mantienen bien controladas durante todo el entrenamiento. En particular, tanto la penalización por llamadas a herramientas como la penalización por longitud disminuyen monótonamente en el transcurso del entrenamiento, lo que refleja la adaptación progresiva del modelo hacia una generación más concisa y una invocación de herramientas más selectiva.

Ampliar

La Figura 4 muestra que las normas de gradiente se mantuvieron estables aparte de picos transitorios, mientras que la divergencia KL entre entrenamiento e inferencia muestra una ligera tendencia al alza, manteniéndose dentro de la escala 1e-3. Este patrón de desviación es coherente con las observaciones en otros marcos de entrenamiento de RL; dado que el entrenamiento permanece estable en todo momento, conservamos una regularización IS simple en la Ec. 1 sin intervención adicional.

Evaluaciones fuera de línea

Informamos sobre los resultados en un conjunto de pruebas comparativas que abarcan la precisión de búsqueda, la confiabilidad factual, el seguimiento de instrucciones y la seguridad, comprendiendo tanto pruebas comparativas públicas como métricas internas de Perplexity (PPLX). Las pruebas comparativas públicas incluyen SimpleQA, FRAMES y Facts Open.

• pplx-sbs-search: Evaluación de preferencias cara a cara utilizando un modelo de recompensa interno. Los candidatos se comparan con una línea de base sólida.
• pplx-abstention: Capacidad de rechazar adecuadamente cuando no se dispone de evidencia confiable.
• pplx-language-mismatch: Consistencia de idioma en configuraciones de cola larga y multi-turno.
• pplx-broken-tool-calls (↓): Cumplimiento del esquema de llamadas a herramientas y seguimiento de restricciones, por ejemplo, tool_choice=none.

Configuraciones de evaluación predeterminadas. Para las pruebas comparativas públicas, permitimos únicamente la herramienta de búsqueda web, con un presupuesto de hasta 5 llamadas a herramientas por ejemplo y hasta 10 resultados por llamada, generando hasta 8192 tokens de salida a una temperatura de 0.6.

Ampliar

La Tabla 2 muestra que Qwen3.5-Large-SFT-RL logra una gran precisión de búsqueda en las pruebas comparativas públicas, igualando o superando a gpt-5.4 en FRAMES y Facts Open al tiempo que utiliza presupuestos de herramientas comparables. En relación con el modelo base, nuestro enfoque produce ganancias sustanciales en métricas internas, particularmente en preferencia (pplx-sbs-search: 0.602 → 0.742), consistencia de idioma y abstención, lo que demuestra que el proceso de dos etapas mejora eficazmente los comportamientos críticos para el despliegue sin comprometer la capacidad de búsqueda.

Evaluaciones de la eficiencia en el uso de herramientas

Para medir esto, diseñamos un protocolo de evaluación con presupuesto forzado. A cada modelo se le da acceso a una herramienta de búsqueda web (search_web) y a un aviso del sistema que especifica un límite estricto en el número de llamadas a herramientas permitidas (el "presupuesto"). Variamos este presupuesto desde 0 (sin uso de herramientas, conocimiento puramente paramétrico) hasta 10 (recuperación multi-paso generosa), registrando la precisión en cada nivel. Esto produce una curva de eficiencia de herramientas: la puntuación del modelo en función del presupuesto de recuperación que se le permite. Evaluamos en dos pruebas comparativas de QA factual, FRAMES y Facts Open.

Ampliar

Varios patrones destacan de estas dos pruebas comparativas:

• Nuestro modelo post-entrenado Qwen3.5-397B-SFT-RL logra la mejor precisión de búsqueda en ambas pruebas comparativas. Incluso con una sola llamada a herramienta, obtiene una puntuación del 57.3% en FRAMES, 5.7 puntos por encima de GPT-5.4 y 4.7 puntos por encima de Sonnet 4.6.
  • La ventaja es más pronunciada en presupuestos moderados (b=2-7), que es el rango operativo práctico para los despliegues en producción.
• Nuestra receta de post-entrenamiento (SFT + RL) mejora sustancialmente la eficiencia en el uso de herramientas en comparación con el punto de control base; véanse las líneas sólidas (post-entrenado) frente a las líneas discontinuas (punto de control inicial) en la Figura 5.
• Para todos los modelos, observamos rendimientos decrecientes alrededor de budget=7, de forma coherente en dos pruebas comparativas y en todos los modelos, lo que sugiere que es una propiedad de las tareas de búsqueda de factualidad en lugar de ser una propiedad de los modelos.

Los resultados anteriores muestran que Qwen3.5-397B-SFT-RL logra una mayor precisión con menos llamadas a herramientas. Pero, ¿cómo se traduce esto en un costo real? Convertimos las mediciones a nivel de token en costos en dólares utilizando los precios de API publicados (Alibaba DashScope, OpenAI, Anthropic) para hacer que la comparación sea concreta.

Ampliar

En el perfil medio (b=4), Qwen3.5-397B-SFT-RL obtiene un 73.9% en FRAMES con un costo de 2.0 centavos por consulta, mientras que GPT-5.4 obtiene un 67.8% con 8.5 centavos y Sonnet 4.6 obtiene un 62.4% con 15.3 centavos. Eso es +6 puntos de precisión con un costo 4 veces menor en comparación con GPT-5.4, y +11.5 puntos con un costo 7.5 veces menor en comparación con Sonnet 4.6.

Estas estimaciones utilizan los precios de la lista de API sin almacenamiento en caché. Con optimizaciones de inferencia internas como la reutilización de caché KV, el almacenamiento en caché de prefijos y el servicio MoE cuantizado (397B utiliza solo 17B de parámetros activos), el costo efectivo se puede reducir muy por debajo de los precios de la lista de API.

Conclusión

Desvincular el cumplimiento del despliegue de la optimización de la búsqueda a través de un proceso de SFT y RL de dos etapas da como resultado un modelo que es tanto capaz como confiable bajo restricciones de producción. La combinación de QA verificables y datos de entrenamiento basados en rúbricas, junto con la agregación de recompensas con puertas y la conformación de la eficiencia anclada, permite una optimización multi-objetivo estable sin sacrificar la precisión de la búsqueda ni el cumplimiento de las barreras de seguridad.

Varias direcciones merecen una mayor investigación. Como se observa en la Figura 4, la divergencia KL entre entrenamiento e inferencia muestra una tendencia alcista persistente en pasos de entrenamiento prolongados. Si bien la corrección de IS a nivel de token demuestra ser suficiente bajo nuestra configuración actual, no está claro si esto sigue siendo válido a mayor escala; un tratamiento teórico más fundamentado de este desajuste —que abarque discrepancias a nivel de infraestructura y factores específicos de arquitectura como el enrutamiento MoE— junto con comparaciones empíricas cuantitativas de las estrategias de mitigación, sigue siendo una cuestión abierta importante. Para el RL multi-objetivo específicamente, las vías prometedoras incluyen el entrenamiento secuencial (Zeng et al., 2026) con destilación en políticas para optimizar los objetivos por etapas a la vez que se mitiga el olvido catastrófico; y la fusión de modelos (Fu et al., 2025; Yang et al., 2026) para desacoplar la optimización específica de la tarea de la agregación de capacidades. Por último, la escalabilidad a flujos de trabajo multi-herramienta realistas con trayectorias de largo horizonte sigue siendo un desafío abierto importante, que probablemente requiera una mejor asignación de créditos, soporte para despliegues parciales y evaluaciones.

Referencias

DatologyAI. Datbench: Discriminative, faithful, and efficient vision-language model evaluations. https://www.datologyai.com/blog/datbench-discriminative-faithful-and-efficient-vision-language-model-evaluations, Jan. 2026. Published Jan 6, 2026. Accessed: 2026-03-04.

J. Duchi and H. Namkoong. Variance-based regularization with convex objectives. arXiv preprint arXiv:1610.02581, 2016.

Z. Fu, X. Wu, Y. Wang, W. Wang, S. Ye, H. Yin, Y. Chang, Y. Zheng, and X. Zhao. Training-free llm merging for multi-task learning. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 33111–33124, 2025.

A. Gunjal, A. Wang, E. Lau, V. Nath, Y. He, B. Liu, and S. Hendryx. Rubrics as rewards: Reinforcement learning beyond verifiable domains. arXiv preprint arXiv:2507.17746, 2025.

J. Liu, Y. Li, Y. Fu, J. Wang, Q. Liu, and Y. Shen. When speed kills stability: Demystifying rl collapse from the training-inference mismatch. Notion Blog, 2025a.

S.-Y. Liu, X. Dong, X. Lu, S. Diao, P. Belcak, M. Liu, M.-H. Chen, H. Yin, Y.-C. F. Wang, K.-T. Cheng, et al. Gdpo: Group reward-decoupled normalization policy optimization for multi-reward rl optimization. arXiv preprint arXiv:2601.05242, 2026.

T. Liu, R. Xu, T. Yu, I. Hong, C. Yang, T. Zhao, and H. Wang. Openrubrics: Towards scalable synthetic rubric generation for reward modeling and llm alignment. arXiv preprint arXiv:2510.07743, 2025b.

R. Lu, Z. Hou, Z. Wang, H. Zhang, X. Liu, Y. Li, S. Feng, J. Tang, and Y. Dong. Deepdive: Advancing deep search agents with knowledge graphs and multi-turn rl. arXiv preprint arXiv:2509.10446, 2025.

W. Ma, H. Zhang, L. Zhao, Y. Song, Y. Wang, Z. Sui, and F. Luo. Stabilizing moe reinforcement learning by aligning training and inference routers. arXiv preprint arXiv:2510.11370, 2025.

T. Pham, N. Nguyen, P. Zunjare, W. Chen, Y.-M. Tseng, and T. Vu. Sealqa: Raising the bar for reasoning in search-augmented language models. arXiv preprint arXiv:2506.01062, 2025.

O. Press, M. Zhang, S. Min, L. Schmidt, N. A. Smith, and M. Lewis. Measuring and narrowing the compositionality gap in language models. In Findings of the Association for Computational Linguistics: EMNLP 2023, pages 5687–5711, 2023.

P. Qi, X. Zhou, Z. Liu, T. Pang, C. Du, M. Lin, and W. S. Lee. Rethinking the trust region in llm reinforcement learning. arXiv preprint arXiv:2602.04879, 2026.

Z. Shao, P. Wang, Q. Zhu, R. Xu, J. Song, X. Bi, H. Zhang, M. Zhang, Y. Li, Y. Wu, et al. Deepseekmath: Pushing the limits of mathematical reasoning in open language models. arXiv preprint arXiv:2402.03300, 2024.

Z. Tao, J. Wu, W. Yin, J. Zhang, B. Li, H. Shen, K. Li, L. Zhang, X. Wang, Y. Jiang, et al. Webshaper: Agentically data synthesizing via information-seeking formalization. arXiv preprint arXiv:2507.15061, 2025.

vLLM and TorchTitan Teams. No more train-inference mismatch: Bitwise consistent on-policy reinforcement learning with vLLM and TorchTitan. https://blog.vllm.ai /2025/11/10/bitwise-consistent-train-inference.html, nov 2025. vLLM Blog.

J. Wu, W. Yin, Y. Jiang, Z. Wang, Z. Xi, R. Fang, D. Zhou, P. Xie, and F. Huang. Webwalker: Benchmarking llms in web traversal, 2025. URL https://arxiv.org/abs/ 2501.07572.

A. Yang, A. Li, B. Yang, B. Zhang, B. Hui, B. Zheng, B. Yu, C. Gao, C. Huang, C. Lv, et al. Qwen3 technical report. arXiv preprint arXiv:2505.09388, 2025.

E. Yang, L. Shen, G. Guo, X. Wang, X. Cao, J. Zhang, and D. Tao. Model merging in llms, mllms, and beyond: Methods, theories, applications, and opportunities. ACM Computing Surveys, 58(8):1–41, 2026.

F. Yao, L. Liu, D. Zhang, C. Dong, J. Shang, and J. Gao. Your efficient rl framework secretly brings you off-policy rl training, Aug. 2025. URL https://fengyao.notion.s ite/off-policy-rl.

A. Zeng, X. Lv, Z. Hou, Z. Du, Q. Zheng, B. Chen, D. Yin, C. Ge, C. Xie, C. Wang, et al. Glm-5: from vibe coding to agentic engineering. arXiv preprint arXiv:2602.15763, 2026.

C. Zheng, K. Dang, B. Yu, M. Li, H. Jiang, J. Lin, Y. Liu, H. Lin, C. Wu, F. Hu, et al. Stabilizing reinforcement learning with llms: Formulation and practices. arXiv preprint arXiv:2512.01374, 2025a.

C. Zheng, S. Liu, M. Li, X.-H. Chen, B. Yu, C. Gao, K. Dang, Y. Liu, R. Men, A. Yang, et al. Group sequence policy optimization. arXiv preprint arXiv:2507.18071, 2025b.

Citación

@online{perplexity2026AdvancingSearchAugmentedLanguageModels,
  author = {{Perplexity} and Denis Yarats and Dongqi Wu and Hang Wu and Randy Ardywibowo and Senzeyu Zhang and Yunfan Zhong and Ziqing Hu and Clare Southern and Riley Carlson and Yi He and Erin McKnight and Mara Sohn and Phi Hoang},
  title = {{Advancing search-augmented language models}},
  date = {2026-04-22},
  url = {https://www.perplexity.ai/hub/blog/advancing-search-augmented-language-models}
}