A DeepSeek publicou em 20 de outubro de 2026 o código do DeepInfer, o framework de inferência que usa para servir seus modelos em produção, sob licença Apache 2.0. O repositório no GitHub passou de 18 mil estrelas em pouco mais de um dia.
Para quem trabalha com LLM, a notícia tem dois lados: é raro ver o motor de produção de um laboratório de ponta aberto, mas a versão publicada é recortada e exige hardware que pouca gente tem.
O que exatamente a DeepSeek abriu?
O DeepInfer é a camada que recebe as requisições, organiza os lotes e executa o modelo nas GPUs. A versão aberta faz inferência offline com os recursos centrais do motor interno. Junto com ele saiu a biblioteca deepseek-recipe, que converte requisições em sequências de tokens com a mesma lógica da API oficial, segundo a SiliconANGLE.
Por enquanto, só um modelo é suportado: o DeepSeek-V4.1-Flash, com o checkpoint 1017 como padrão. A empresa diz que o código de modelos futuros entrará no mesmo repositório. O README reconhece que o projeto foi construído principalmente sobre o vLLM, com inspiração no SGLang e no TensorRT-LLM.
Que hardware é preciso para rodar?
| Item | Exigência |
|---|---|
| GPU NVIDIA | Arquitetura SM100 (Blackwell), com CUDA 13 |
| Alternativa | NPU Huawei Ascend 950, com CANN 9.2 |
| Fora do suporte | Hopper (H100/H200) e arquiteturas NVIDIA anteriores |
| Sistema | Linux, GCC 13 ou superior, Python 3.12 |
A menor implantação que a empresa descreve como eficiente usa 64 GPUs para prefill e 64 para decode. Os gráficos do README foram medidos com 4 GPUs SM100 no prefill e 64 no decode. Ou seja: não é algo para testar numa RTX de mesa.
Quais técnicas a DeepSeek diz que fazem diferença?
DSpark, a decodificação especulativa com “cabeça de confiança”
Um modelo rascunho propõe cinco tokens por vez, e uma cabeça de confiança prevê quais o modelo principal vai aceitar. Isso reduz em cerca de 30% os tokens verificados por etapa. A DeepSeek estima ganho de 4% a 7% de throughput na carga real.
SWA bounded replay no prefill
Processando apenas os últimos 128 tokens de cada prompt pelas camadas decodificadoras, a empresa afirma cortar quase pela metade o cálculo total de prefill.
O resto do pacote
Kernels FlashMLA, DeepGEMM e DeepEP, paralelismo Attention DP/CP balanceado, MoE EP com EPLB, agendamento assíncrono e saídas estruturadas por regex, JSON Schema ou gramática EBNF. Inferência batch-invariant e amostragem determinística funcionam só em NVIDIA.
O que ficou de fora do código aberto?
Três peças que um serviço completo precisa não foram publicadas:
- Sistema de cache KV.
- Separação entre prefill e decode em máquinas distintas.
- Balanceamento de carga entre réplicas paralelas.
Na prática, quem quiser servir o modelo para muitos usuários vai precisar resolver essas três partes por conta própria, ou combinar o DeepInfer com ferramentas que já fazem isso em outros motores. Para uso em lote, como processar uma base de documentos de uma vez, a versão aberta já basta.
A empresa justificou que esse código é muito acoplado à infraestrutura interna. Em 2025, ela já tinha dito que manter um projeto aberto grande excedia o que “uma pequena equipe de pesquisa” conseguia assumir.
Como fazer o primeiro teste?
- Crie um ambiente Python 3.12 vazio.
- Exporte DEEPINFER_ACCELERATOR=nvidia (ou ascend).
- Rode ./build.sh na raiz do repositório.
- Execute python examples/offline_inference.py. O checkpoint é baixado para o cache do Hugging Face na primeira execução; para usar uma cópia local, defina DEEPINFER_HF_MODEL_DIR.
Quem não tem Blackwell à mão pode ler o código como referência de arquitetura. Os padrões de orquestração aparecem também no texto sobre arquitetura de IA em produção.
Os números já foram confirmados por terceiros?
Segundo a documentação da empresa, um único cluster com esse motor atende 155 trilhões de tokens por dia, com receita equivalente a US$ 38 por GPU por hora nos preços fora do pico.
Ainda não. Todos os benchmarks publicados rodaram em chips NVIDIA e são da própria DeepSeek. Também pesa no uso corporativo a ordem do Departamento de Segurança Interna dos EUA, de 19 de outubro, para que agências federais civis removam produtos da DeepSeek. A licença Apache 2.0 permite uso comercial, mas empresas com contratos públicos americanos devem checar essa restrição antes de adotar o código.
