Presentación de los LLM en línea de PPLX

La primera API de LLM en línea de su tipo.

¡Nos complace compartir dos nuevos modelos PPLX: pplx-7b-online y pplx-70b-online! Nuestros modelos en línea se enfocan en brindar respuestas útiles, actualizadas y objetivas, y están disponibles públicamente a través de pplx-api, lo que la convierte en una API pionera. pplx-7b-online y pplx-70b-online también son accesibles a través de Perplexity Labs, nuestro entorno de pruebas de LLM.

Los LLM han transformado la forma en que encontramos información. Sin embargo, existen dos limitaciones en la mayoría de los LLM actuales:

Actualidad: Los LLM a menudo tienen dificultades para compartir información actualizada.

Alucinaciones: Los LLM también pueden generar declaraciones inexactas.

Nuestros modelos pplx-7b-online y pplx-70b-online abordan las limitaciones actuales proporcionando, además, información útil, objetiva y actualizada en sus respuestas.

LLM en línea PPLX

Nuestros LLM, pplx-7b-online y pplx-70b-online, son LLM en línea porque pueden utilizar conocimientos de Internet y, por lo tanto, pueden aprovechar la información más actualizada al formar una respuesta. Al proporcionar a nuestros LLM conocimientos de la web, nuestros modelos responden con precisión a consultas sensibles al tiempo, desbloqueando conocimientos más allá de su corpus de entrenamiento. Esto significa que los LLM en línea de Perplexity pueden responder consultas como “¿Cuál fue el marcador del partido de los Warriors anoche?”, que resultan difíciles para los modelos fuera de línea. A alto nivel, así es como funciona nuestro LLM en línea:

1. Aprovechamiento de modelos de código abierto: nuestros modelos PPLX se basan en los modelos base mistral-7b y llama2-70b.
2. Tecnología de búsqueda interna: nuestra infraestructura interna de búsqueda, indexación y rastreo nos permite aumentar los LLM con la información más relevante, actualizada y valiosa. Nuestro índice de búsqueda es amplio, se actualiza periódicamente y utiliza algoritmos de clasificación sofisticados para garantizar que se prioricen los sitios de alta calidad no orientados a SEO. Se proporcionan extractos de sitios web, que denominamos "fragmentos", a nuestros modelos pplx-online para permitir respuestas con la información más actualizada.
3. Ajuste fino: nuestros modelos PPLX han sido ajustados para utilizar eficazmente los fragmentos para informar sus respuestas. Utilizando a nuestros contratistas de datos internos, curamos cuidadosamente conjuntos de entrenamiento diversos y de alta calidad para lograr un alto rendimiento en varios ejes como la utilidad, la veracidad y la actualización. Nuestros modelos se ajustan periódicamente para mejorar continuamente el rendimiento.

Evaluación de los LLM en línea de Perplexity

La misión de Perplexity es construir el mejor motor de respuestas del mundo, uno en el que las personas confíen para descubrir y ampliar sus conocimientos. Para lograr esto, estamos profundamente enfocados en brindar información útil, objetiva y actualizada. Para evaluar el rendimiento de nuestros LLM en estos ejes, seleccionamos conjuntos de datos de evaluación que reflejan casos de uso desafiantes pero realistas para motores de respuestas. Para cada consulta en cada conjunto de evaluación, los contratistas recibieron dos respuestas del modelo y recibieron instrucciones de seleccionar la respuesta que tuvo un mejor desempeño según los siguientes criterios:

• Utilidad: ¿qué respuesta responde mejor a la consulta y sigue las instrucciones especificadas?
• Veracidad: ¿qué respuesta proporciona respuestas más precisas sin alucinaciones, incluso para preguntas que requieren conocimientos muy precisos o específicos?
• Actualidad (inspirado en FreshLLMs): ¿qué respuesta contiene información más actualizada? Un modelo sobresale en este criterio si es capaz de responder consultas con información “fresca”.

Además de los tres criterios anteriores, las respuestas del modelo también se evaluaron de forma integral. Para evaluar las respuestas de manera integral, se pidió a los evaluadores que eligieran la respuesta que preferirían recibir de un asistente humano que ayuda con la consulta.

Curación del conjunto de evaluación

Para esta evaluación, curamos cuidadosamente un conjunto diverso de indicaciones con el objetivo de evaluar eficazmente la utilidad, la veracidad y la actualización. Cada indicación se seleccionó manualmente, garantizando un alto nivel de control sobre la calidad y relevancia de los datos. El conjunto de datos abarca una amplia gama de indicaciones de motores de respuestas y abarca una visión general integral de en qué queremos que sobresalga Perplexity. Esto es fundamental para que nuestras evaluaciones de rendimiento del modelo tengan una señal alta.

Cada uno de los tres conjuntos de evaluación contiene 50 indicaciones. Algunos ejemplos de estos conjuntos incluyen:

• Utilidad: Cree una tabla de todos los jugadores de fútbol de EE. UU. que jugaron en las finales de la Copa Mundial y cree columnas para sus estadísticas, como goles, asistencias, etc.
• Veracidad: Explique la tenacidad de los aceros AISI 1015 y AISI 1040.
• Actualidad: ¿Qué empresa de automóviles autónomos fue expulsada de San Francisco en 2023?

Generación de respuestas del modelo

Evaluamos cuatro modelos:

pplx-7b-online: el modelo de Perplexity, que incluye acceso a información de Internet. Este modelo fue ajustado usando mistral-7b.

pplx-70b-online: el modelo de Perplexity, que incluye acceso a información de Internet. Este modelo fue ajustado usando llama2-70b.

gpt-3.5-turbo-1106: el modelo de OpenAI, al que se accede a través de la API y sin aumentos adicionales. Tenga en cuenta que realizamos esta evaluación utilizando el modelo gpt-3.5 más reciente.

llama2-70b-chat: el modelo de Meta AI, al que se accede a través de nuestra pplx-api y sin aumentos adicionales.

Para cada indicación, se proporcionaron los mismos resultados de búsqueda y fragmentos a los modelos pplx-7b-online y pplx-70b-online. Todas las respuestas se generaron utilizando los mismos hiperparámetros y la misma indicación del sistema.

Indicación del sistema

Clasificación de las respuestas del modelo con evaluación humana

Para cada comparación por pares, nuestros contratistas internos recibieron la indicación en sí, los criterios de evaluación (es decir, utilidad, veracidad o actualización) y las respuestas del modelo mostradas una al lado de la otra. El orden de las respuestas se aleatorizó en cada turno y los modelos fuente no se revelaron al evaluador. Se instruyó a los evaluadores para que seleccionaran la respuesta que prefieren de manera integral, así como cuál tiene un mejor desempeño según el criterio de evaluación específico, permitiéndose empates en ambos casos. Finalmente, los evaluadores pudieron usar la búsqueda en Internet para verificar la precisión de las respuestas. Construimos nuestra propia herramienta interna de clasificación de preferencias para realizar esta evaluación.

Resultados de la evaluación

Utilizamos las clasificaciones de preferencias por pares recopiladas de la evaluación humana para calcular las puntuaciones Elo por tarea para cada modelo. Las puntuaciones Elo se utilizan habitualmente para clasificar a una población de jugadores en competiciones estilo torneo para medir el rendimiento relativo de los jugadores. Cuando se aplican a grandes modelos de lenguaje, estas puntuaciones proporcionan una predicción de la probabilidad de que un evaluador humano favorezca la salida de un modelo sobre otro.

Si bien las puntuaciones Elo se calculan normalmente para una secuencia de comparaciones con el fin de tener en cuenta los cambios en las habilidades de los jugadores, nuestro objetivo es cuantificar el rendimiento de modelos cuyas habilidades no pueden cambiar. En consecuencia, adoptamos la metodología Bootstrap Elo descrita en Duan et al y también utilizada por lmsys para su Chatbot Arena, que implica calcular puntuaciones Elo para muchas permutaciones aleatorias de las comparaciones. Para nuestros cálculos, calculamos las puntuaciones Elo en 5000 permutaciones y utilizamos las distribuciones de estas puntuaciones Elo para calcular intervalos de confianza del 95%.

Los resultados, mostrados en la Figura 1, demuestran que nuestros modelos PPLX pueden igualar e incluso superar el rendimiento de gpt-3.5 en casos de uso relacionados con Perplexity. En particular, las respuestas de los modelos pplx-7b-online y pplx-70b-online son preferidas sobre las respuestas de los modelos gpt-3.5 y llama2-70b por los evaluadores humanos debido a sus respuestas precisas y actualizadas.

Los pplx-7b-online y pplx-70b-online funcionan mejor que gpt-3.5 y llama2-70b, según los criterios de actualidad, veracidad y integral.

Ampliar

También calculamos las tasas de victorias por pares de la evaluación. Los resultados, mostrados en la Figura 2, ilustran, quizás no de forma sorprendente, que las respuestas del modelo en línea pplx son preferidas a las de otros en actualidad y en veracidad.

Ampliar

Aquí hay un ejemplo de nuestro conjunto de datos de evaluación de actualidad.

Indicación: ¿Cuántas personas en EE. UU. tienen licencia de conducir?

pplx-7b-online

En 2023, hay una proyección de 243.4 millones de conductores con licencia en los Estados Unidos, lo que incluye al 89% de los adultos estadounidenses. Este número ha aumentado de 238.6 millones en 2022. El porcentaje de conductores con licencia varía entre diferentes grupos de edad y estados. Por ejemplo, en 2019, el 84.1% de la población estadounidense tenía licencia de conducir. El porcentaje más alto de conductores con licencia se encuentra entre los jóvenes de 25 a 49 años, con un 90.1% de la población con licencia de conducir. En California, hubo 27 millones de conductores con licencia, lo que lo convierte en el estado con el mayor número de conductores con licencia.

pplx-70b-online

En 2021, alrededor de 233 millones de personas poseían licencias de conducir válidas en los Estados Unidos. Para 2023, se proyecta que el número de conductores con licencia en los EE. UU. alcance los 243.4 millones, lo que incluye al 89% de los adultos estadounidenses. Esto representa un aumento de 238.6 millones en 2022.

gpt-3.5

Como modelo de lenguaje de IA, no tengo acceso a datos en tiempo real. Sin embargo, a partir de 2021, se estimó que alrededor de 227 millones de personas en los Estados Unidos tenían una licencia de conducir válida. Tenga en cuenta que este número puede haber cambiado desde entonces, por lo que siempre es mejor consultar las últimas estadísticas oficiales para obtener la información más precisa.

llama2-70b

No tengo acceso a datos en tiempo real, pero puedo proporcionar información sobre el número aproximado de personas en los Estados Unidos que tienen licencia de conducir. Según la Administración Federal de Carreteras, había aproximadamente 227.8 millones de conductores con licencia en los Estados Unidos a partir de 2020. Este número incluye tanto a conductores comerciales como no comerciales. Vale la pena señalar que este número es probablemente una subestimación, ya que no tiene en cuenta a las personas que pueden tener una licencia de conducir pero no conducen con regularidad o no conducen en absoluto. Además, este número no incluye a las personas que no son elegibles para una licencia de conducir, como aquellas que son menores de 16 años o tienen ciertas discapacidades. También es importante tener en cuenta que el número de conductores con licencia puede variar según el estado, y algunos estados tienen un mayor porcentaje de conductores con licencia que otros.

En general, los resultados de la evaluación demuestran que nuestros modelos PPLX pueden igualar e incluso superar a gpt-3.5 y llama2-70b en casos de uso relacionados con Perplexity, particularmente para proporcionar respuestas precisas y actualizadas.

Acceso a los modelos en línea de Perplexity

¡Estamos encantados de anunciar que la pplx-api está saliendo de la versión beta hacia el lanzamiento público general! Esta es la primera vez que nuestros modelos pplx-7b-online y pplx-70b-online son accesibles a través de la pplx-api. Además, nuestros modelos pplx-7b-chat y pplx-70b-chat están fuera de la fase alfa y ahora son accesibles con nuestro lanzamiento general.

Con esto, presentamos una nueva estructura de precios basada en el uso. Estamos entusiasmados de que nuestros usuarios utilicen nuestra infraestructura de última generación, que utiliza NVIDIA H100s para proporcionar una inferencia increíblemente rápida. Los usuarios Pro recibirán un crédito mensual recurrente de $5 para la pplx-api. Para todos los demás usuarios, el precio se determinará en función del uso. Para registrarse como usuario Pro, haga clic aquí. Comuníquese con api@perplexity.ai para consultas comerciales.

Ampliar

Recursos adicionales:

• Empiece a utilizar la pplx-api aquí.
• Pruebe nuestros modelos en línea de forma gratuita con Perplexity Labs.
• Obtenga más información sobre nuestra API a través de la documentación de la pplx-api.
• ¿Está interesado en trabajar en un equipo de alto impacto y alta velocidad que construye el mejor motor de respuestas? ¡Únase a nosotros!
• ¡Únase a nuestra creciente Comunidad de Discord!

Colaboradores:

Lauren Yang, Kevin Hu, Aarash Heydari, Gradey Wang, Dmitry Pervukhin, Nikhil Thota, Alexandr Yarats, Max Morozov, Denis Yarats