Divide las conjeturas de la IA entre la PC y la nube para reducir los costos de distracción
TL; DR
Perplexity AI anunció una plataforma en Computex que enruta dinámicamente las inferencias de IA entre las PC y los servidores en la nube en tiempo real, actuando como "controladores de tráfico aéreo" para tareas de IA. El sistema independiente del chip apunta a la crisis de costos de las proyecciones centralizadas a medida que los ingresos de Perplexity alcanzan los 500 millones de dólares.
Perplexity AI ha creado una plataforma que divide dinámicamente las cargas de trabajo de IA entre computadoras personales y servidores en la nube, decidiendo en tiempo real qué tareas se pueden ejecutar localmente en el procesador de una PC y cuáles requieren la potencia del hardware del centro de datos. El director ejecutivo, Arvind Srinivas, anunció el sistema en Computex en Taipei el martes, describiéndolo como un "controlador de tráfico aéreo para tareas de IA" diseñado para reducir el costo de la inferencia, el proceso de ejecutar modelos de IA entrenados para generar respuestas.
"No desea que todos sus cálculos estén centralizados en el servidor y se ejecuten en modelos grandes."Dijo Srinivasa en una entrevista de Bloomberg Television".Ya estás leyendo informes sobre cómo la gente está enloquecida por sus gastos. Algunos gastan 500 millones de dólares al mes. Lo que realmente desea es el valor eficiente por usuario por vatio."
como funciona
El sistema evalúa cada tarea de IA y la traslada al nivel de cálculo más eficiente. Las operaciones simples que los procesadores de PC modernos pueden manejar, como el resumen, el formateo o la clasificación ligera, se realizan localmente sin tocar la nube. Las tareas más complejas que requieren una estimación de modelos grandes, como el razonamiento de varios pasos o la generación mejorada con recuperación en grandes conjuntos de datos, se enrutan a servidores en la nube. Las decisiones de enrutamiento ocurren en tiempo real, invisibles para el usuario.
💜 de tecnología de la UE
Los últimos rumores de la escena tecnológica de la UE, una historia de nuestro sabio fundador Boris y algo de arte de inteligencia artificial dudoso. Es gratis, todas las semanas, en tu bandeja de entrada. Regístrate ahora!
El efecto práctico es que Perplexity puede servir a más usuarios a un costo menor al descargar una parte de las conjeturas a los miles de millones de PC que ya están en circulación. A medida que las estimaciones de la demanda de IA ejercen presión sobre la capacidad de los centros de datos e impulsan a las empresas de servicios públicos a planificar 1,4 billones de dólares en actualizaciones de la red, la computación distribuida en el borde es un imperativo tanto económico como de infraestructura.
Srinivas hizo el anuncio junto con el director ejecutivo de Intel, Lip-Boo Tan, cuya empresa lidera el mercado de procesadores de PC y tiene un interés comercial en hacer de la PC una capa informática de IA significativa. Sin embargo, Srinivas dijo que la plataforma “Chip es agnóstico" y también funciona con procesadores Nvidia. Nvidia destacó la misma tendencia de borde a borde en Computex con su nueva plataforma RTX Spark para computadoras portátiles y de escritorio con tecnología de inteligencia artificial.
problema de costos
La referencia de Srinivas a que las empresas "gastan 500 millones de dólares al mes" en informática de IA no es una hipérbole. Los costos de infraestructura de OpenAI se informan ampliamente a esa escala, y los ingresos proyectados de Anthropic de $10,9 mil millones de dólares en el segundo trimestre vienen con costos de computación significativos que comprimen los márgenes. El poder y la carga de costos de los supuestos centralizados de IA es una de las limitaciones que definen el actual auge de la IA.
El enfoque de la confusión anula la idea de que la inferencia de la IA debe realizarse en la nube. Al tratar la PC como un nodo informático de primera clase en lugar de un cliente ligero, la empresa puede reducir sus propios costos de servidor y al mismo tiempo proporcionar tiempos de respuesta potencialmente más rápidos para tareas ejecutadas localmente. La desventaja es la complejidad: el sistema de enrutamiento debe evaluar con precisión la dificultad de la tarea en milisegundos, y la calidad de las estimaciones locales depende de las capacidades del hardware del usuario.
Eficiencia de ingresos
La trayectoria financiera de la confusión subraya por qué la eficiencia de costos es importante. Srinivas publicó en X en abril que los ingresos de la compañía se habían quintuplicado, de 100 millones de dólares a 500 millones de dólares, mientras que la plantilla creció sólo un 34%. Esa proporción, un aumento de casi 15 veces en los ingresos agregados por empleado, refleja tanto el apalancamiento del modelo de negocio nativo de IA como la posición de Perplexity como un conglomerado que canaliza preguntas en lugar de múltiples proveedores de IA que entrenan sus propios modelos de frontera.
"Cada vez que la IA mejora, nuestro sistema unificado también mejora a medida que los integramos.", dijo Srinivas. La tasa de crecimiento nativa de la IA que está alejando el capital de las empresas SaaS tradicionales es posible en parte por tales eficiencias arquitectónicas, donde el producto evoluciona a medida que sus proveedores subyacentes mejoran sin aumentos proporcionales de costos.
Las plataformas informáticas híbridas extienden esa lógica al hardware. Si Perplexity puede manejar una parte significativa del trabajo inferencial utilizando cálculos que ya están en los escritorios de los usuarios, reduce el costo marginal por consulta y mejora la latencia de respuesta para tareas más livianas. A medida que la IA se adentra más en los flujos de trabajo empresariales, quién paga por el cálculo, el proveedor de la nube, la empresa de IA o el propio hardware del usuario se convertirán en una variable competitiva crítica.
