Low-Rank KV Attention: novo método reduz cache KV pela metade e economiza até 25% de compute no pré-treino
LRKV usa projeção KV compartilhada com resíduos low-rank por head, reduzindo cache KV em ~50% e economizando até 25% de...
#transformers
Artigos sobre transformers
4 artigos encontrados
Heretic: ferramenta open source promete remoção automática de censura em LLMs — análise técnica para engenheiros
Heretic automatiza a remoção de restrições de segurança em LLMs usando abliteration e Optuna. Análise técnica da arquite...
Differential Transformer V2: Microsoft simplifica arquitetura para produção com inferência mais rápida e treinamento estável
Microsoft lança DIFF V2 com inferência equiparável ao Transformer padrão, sem kernels customizados, e promete 0.02-0.03...
Test-Time Training: Nvidia propõe atualizar pesos do modelo em tempo real durante inferência
Pesquisadores da Nvidia apresentam TTT-E2E, método que permite modelos de linguagem atualizarem seus próprios pesos dura...
Fique por dentro das novidades
Receba as últimas notícias sobre AI Engineering diretamente no seu email. Sem spam, prometemos.
Ao se inscrever, você concorda com nossa política de privacidade .