O que faz um bom tokenizador de fala para LLMs? Estudo sistemático revela arquiteturas ideais e acelera decodificação em 12x
Novo estudo compara tokenizadores coupled, semi-decoupled e decoupled para speech-language models, mostrando que arquite...
#benchmarks
Artigos sobre benchmarks
8 artigos encontrados
GLM-4.7-Flash atinge 4.398 tokens/s em H200: benchmarks completos do novo modelo MoE chinês
Novos benchmarks do GLM-4.7-Flash mostram 4.398 tok/s em H200 com vLLM e 112 tok/s em RTX 6000 Ada usando quantização GG...
Busca por embeddings vs memória baseada em arquivos: teste prático revela diferenças significativas em accuracy de retrieval
Teste prático com 5k itens de memória mostra que embedding search falha em queries temporais e multi-hop, enquanto abord...
STEP3-VL-10B: Modelo open-source de 10B supera gigantes de 100B+ em raciocínio visual — o que engenheiros de IA precisam saber
STEP3-VL-10B alcança 92.2% no MMBench e 80.11% no MMMU com apenas 10B de parâmetros, superando modelos como GLM-4.6V-106...
Fara-7B: Microsoft lança modelo compacto de 7B parâmetros que controla o computador como um humano
Microsoft lança Fara-7B, modelo agentico de 7B parâmetros que navega na web usando apenas screenshots, sem depender de a...
VIGIL: novo framework defende agentes LLM contra injeção de prompts em tool streams com protocolo verify-before-commit
Framework VIGIL introduz protocolo verify-before-commit para proteger agentes LLM contra ataques de injeção em tool stre...
ScreenAI: modelo do Google entende interfaces e infográficos com apenas 5B de parâmetros
Google apresenta ScreenAI, modelo de 5B parâmetros que combina PaLI com pix2struct para entender interfaces, gráficos e...
APEX-SWE: Novo benchmark avalia se modelos de IA podem executar trabalho real de engenharia de software
O APEX-SWE é um novo benchmark que testa se modelos de IA conseguem executar tarefas reais de engenharia de software, co...
Fique por dentro das novidades
Receba as últimas notícias sobre AI Engineering diretamente no seu email. Sem spam, prometemos.
Ao se inscrever, você concorda com nossa política de privacidade .