FOCUS: novo sistema aumenta throughput de Diffusion LLMs em até 3,5x sem perder qualidade
Sistema FOCUS identifica que apenas fração dos tokens é decodificável a cada passo de difusão e propõe otimização que au...
#inferência
Artigos sobre inferência
6 artigos encontrados
vLLM-MLX: inferência LLM nativa em Apple Silicon atinge 464 tok/s no M4 Max
vLLM-MLX permite rodar LLMs, modelos de visão, áudio e TTS nativamente em Macs com Apple Silicon, alcançando 464 tok/s n...
GLM-4.7-Flash atinge 4.398 tokens/s em H200: benchmarks completos do novo modelo MoE chinês
Novos benchmarks do GLM-4.7-Flash mostram 4.398 tok/s em H200 com vLLM e 112 tok/s em RTX 6000 Ada usando quantização GG...
LLMs que comprimem LLMs: nova abordagem usa agentes adaptativos para pruning inteligente de modelos
Novo método de agent-guided pruning permite que LLMs decidam adaptativamente como comprimir outros modelos, superando ba...
OpenAI fecha parceria com Cerebras: 750MW de capacidade para acelerar inferência do ChatGPT
OpenAI anuncia parceria com Cerebras para adicionar 750MW de capacidade computacional de alta velocidade, focando em red...
Multiplex Thinking: nova técnica de raciocínio para LLMs combina múltiplos tokens em um só passo
Multiplex Thinking é uma nova abordagem de raciocínio para LLMs que agrega K tokens candidatos em um único token contínu...
Fique por dentro das novidades
Receba as últimas notícias sobre AI Engineering diretamente no seu email. Sem spam, prometemos.
Ao se inscrever, você concorda com nossa política de privacidade .