Uma camada quase invisível
Quase toda conversa sobre IA no trabalho começa pelo modelo. Qual é o melhor. Qual saiu ontem. Qual custa menos. Pouca gente olha para a camada em volta dele: a ferramenta que transforma a resposta em uma entrega.
Três ferramentas entram nesta comparação:
- Work: o modo do ChatGPT para delegar trabalho, como pesquisar, analisar arquivos e criar documentos ou apresentações.
- Codex: o agente da OpenAI para trabalhar em projetos com arquivos, ferramentas e execução de código. Pode ser usado pelo aplicativo, pelo terminal ou dentro de um editor.
- OpenCode: um agente de programação de código aberto, disponível no terminal, em aplicativo e como extensão de editor.
Os três organizam o trabalho ao redor do modelo. Nesta rodada, usamos essas ferramentas para pesquisar e montar slides.
No Lab, fixamos o GPT-6.1 Sol e o esforço Extra High. Comparamos Work, Codex e OpenCode em duas tarefas: uma pesquisa com fontes e uma apresentação de slides. Codex e OpenCode rodaram em máquinas Ubuntu limpas. Work continuou no aplicativo, com pasta isolada. Essa diferença de ambiente limita a comparação.
O resultado que merece atenção: a média das notas variou de 90,5 a 91,5. O tempo total foi de 17,6 a 31,4 minutos. Work levou 78% mais tempo que OpenCode no conjunto das duas tarefas.
É uma rodada pequena, com uma tarefa por prova e uma avaliação cega do Lab. Serve para formular a próxima decisão e o próximo teste. Não estabelece um vencedor geral.
A pergunta útil para a empresa é esta: a diferença compensa o custo de mudar o fluxo de trabalho?
Guia de termos: as cinco camadas
Da camada externa à interna: Empresa > Produto > Ferramenta/Harness > Modelo > Esforço.
- Empresa: quem desenvolve o produto, como OpenAI e Anthropic.
- Produto: o produto acessado, como ChatGPT e Claude.
- Ferramenta/Harness: a camada que organiza a execução: busca, arquivos, código, permissões e entrega.
- Modelo: a versão usada na tarefa, como GPT-6.1 Sol.
- Esforço: quanto raciocínio é solicitado ao modelo.
O modelo pensa. O harness organiza o trabalho. Manter o motorista e trocar o carro é uma boa aproximação: o percurso e o tempo podem mudar.
Nesta rodada, modelo, esforço, tarefa, material e prompt ficaram fixos. A variável de interesse foi o harness: Work, Codex e OpenCode. O ambiente não foi idêntico entre as ferramentas, por isso não podemos atribuir toda diferença observada somente ao harness.
Cinco camadas do ecossistema Claude.
Passe o mouse sobre o círculo ou toque para revelar o que há dentro.
Empresa
Anthropic
Ver as camadas em texto
- Empresa
- Anthropic
- Produto
- Claude
- Ferramenta/Harness
- Chat / Cowork / Claude Code / Externos
- Modelo
- Claude Fable 5.1 / Claude Opus 5.5 / Claude Sonnet 5.5 / Claude Haiku 5.5 / Claude Mythos 5.1 (acesso verificado)
- Esforço
- Baixo / Médio / Alto / Extra Alto / Max
Cinco camadas do ecossistema GPT.
Passe o mouse sobre o círculo ou toque para revelar o que há dentro.
Empresa
OpenAI
Ver as camadas em texto
- Empresa
- OpenAI
- Produto
- ChatGPT
- Ferramenta/Harness
- Chat / Work / Codex / Externos
- Modelo
- GPT-6 Astra / GPT-6.1 Sol / GPT-6.1 Terra / GPT-6 Luna
- Esforço
- Baixo / Médio / Alto / Extra Alto / Max
Mesma base. Outra ferramenta.
Fixamos as condições abaixo para comparar a ferramenta que organiza a execução.
Condições mantidas
- Modelo
- GPT-6.1 Sol
- Esforço
- Extra High
- Tarefa
- A mesma tarefa em cada prova: pesquisa ou slides
- Material
- As mesmas fontes e materiais de referência por prova
- Prompt
- O mesmo desafio por prova
Ferramenta / Harness
A variável comparada
Ambiente de execução
Work: Aplicativo com pasta isolada.
Codex: VM Ubuntu limpa, sem skills e MCPs do Mac.
OpenCode: VM Ubuntu limpa, sem skills e MCPs do Mac.
Como testamos
Três ferramentas, duas tarefas e o mesmo modelo. O objetivo foi observar o que muda na entrega quando a ferramenta ao redor da IA muda.
Work: aplicativo de trabalho, com pasta isolada e o mesmo prompt. Codex: agente em linha de comando, em VM Ubuntu limpa. OpenCode: agente de código aberto, também em VM Ubuntu limpa. Codex e OpenCode ficaram sem as skills e os MCPs do Mac de uso diário.
O modelo informado no protocolo foi GPT-6.1 Sol (gpt-6.1-sol), com esforço Extra High em todos. As sessões de pesquisa e slides ficaram separadas. Um primeiro prompt preparou o ambiente e ficou fora da contagem de tokens e custo. O segundo trouxe o desafio. Há uma ressalva sobre o aquecimento do Codex nos limites, adiante.
Pesquisa: veículos elétricos nos EUA em 2025, a partir de uma tarefa do LiveResearchBench. Slides: material da Microsoft sobre o 1º trimestre do ano fiscal 2026, em uma tarefa de apresentação baseada no PresentBench.
O LiveResearchBench reúne tarefas de pesquisa com fontes e critérios de cobertura, apresentação, consistência e citações. O PresentBench avalia apresentações ligadas a materiais de referência, com critérios específicos de cada tarefa. Usamos esses materiais como base para uma avaliação própria do Lab.
As entregas foram rotuladas A, B e C. As notas vieram antes da revelação da ferramenta, em uma única passada de avaliação. Os números abaixo pertencem a esse recorte. Não são os placares oficiais dos benchmarks.
Chat ficou fora desta onda porque o protocolo não conseguiu fixar ali o modelo e o esforço com a mesma precisão. Isso não constitui uma avaliação geral do Chat.
Pesquisa: Work liderou a nota
Os três cobriram os 8 itens da tarefa. Compare o ganho de nota com o tempo de execução.
Nota e tempo, no mesmo mapa
Cada ponto é uma entrega. Mais acima significa maior nota; mais à esquerda, menos tempo.
Nota / 100Mais nota, menos tempo
80
85
90
95
100
0
5
10
15
20
WorkCodexOpenCode0
25
50
75
100
0
5
10
15
20
WorkCodexOpenCodeTempo de execução · min
Eixo da nota ampliado: 80 a 100. O tempo começa em zero.
| Ferramenta | Nota / 100 | Tempo · min |
|---|---|---|
| 94maior nota | 18,2 | |
| 92 | 10,7 | |
| 90,6 | 10,3menor tempo |
Critério por critério
Compare as notas ou veja a distância para a maior nota de cada critério.
| Critério | |||
|---|---|---|---|
| Apresentação0 a 100 | 95 | 88 | 90 |
| Consistência0 a 100 | 95 | 95 | 95 |
| Citação0 a 100 | 92 | 93 | 88 |
| Profundidade0 a 25 | 22 | 21 | 20 |
Azul indica a maior nota de cada critério, incluindo empates. As barras partem de zero.
O que muda na pesquisa
- Nota: Work ganhou 2,0 pontos sobre Codex e 3,4 sobre OpenCode, com melhor estrutura e mais nuance na avaliação do Lab.
- Tempo: Work levou 7,5 minutos a mais que Codex e 7,9 a mais que OpenCode.
- Critérios: a consistência empatou em 95. Codex teve a maior nota de citação.
Os resultados descrevem as três entregas observadas. Não medem a frequência com que cada ferramenta repetiria o desempenho.
Slides: OpenCode liderou nota e tempo
Veja o resultado total e as cinco dimensões da avaliação.
Nota e tempo, no mesmo mapa
Cada ponto é uma entrega. Mais acima significa maior nota; mais à esquerda, menos tempo.
Nota / 100Mais nota, menos tempo
80
85
90
95
100
0
5
10
15
20
WorkCodexOpenCode0
25
50
75
100
0
5
10
15
20
WorkCodexOpenCodeTempo de execução · min
Eixo da nota ampliado: 80 a 100. O tempo começa em zero.
| Ferramenta | Nota / 100 | Tempo · min |
|---|---|---|
| 86,9 | 13,2 | |
| 90,8 | 8,5 | |
| 92,4maior nota | 7,3menor tempo |
Critério por critério
Compare as notas ou veja a distância para a maior nota de cada critério.
| Critério | |||
|---|---|---|---|
| Fundamentos0 a 20 | 17,7 | 19,2 | 19,2 |
| Visual0 a 20 | 16,5 | 17,6 | 18,8 |
| Completude0 a 20 | 15,3 | 16 | 16 |
| Correção0 a 20 | 18 | 18 | 19 |
| Fidelidade0 a 20 | 19,4 | 20 | 19,4 |
Azul indica a maior nota de cada critério, incluindo empates. As barras partem de zero.
O que muda nos slides
- Visual e correção: OpenCode liderou. Work ficou 5,5 pontos atrás na nota total.
- Fidelidade: Codex recebeu 20 de 20 e ficou 1,6 ponto atrás na nota total. Essa é a avaliação desta entrega; não garante ausência de invenções em outras tarefas.
- Completude: foi a dimensão mais fraca dos três decks. Nenhum passou de 16,0.
O que faltou nas três entregas
- Quebra do crescimento por segmento.
- Decomposição de US$ 10,7 bilhões.
- Tratamento melhor de ESG.
- Rodapés maiores para leitura em sala.
Quando um erro se repete nas três entregas, vale investigar modelo, prompt, material e rubrica. A repetição, sozinha, não identifica qual camada causou a falha.
No conjunto, a distância de tempo foi maior
OpenCode: média 91,5 e tempo total de 17,6 minutos. Codex: média 91,4 e 19,2 minutos. Work: média 90,5 e 31,4 minutos. A média dá o mesmo peso à pesquisa e aos slides. Na visão.md temos o time mais obcecado por explorar IA. Usamos essa comparação para escolher o próximo teste.
Entre OpenCode e Codex, a distância foi de 0,1 ponto na média e 1,6 minuto no tempo total. Entre OpenCode e Work, o total diferiu em 13,8 minutos. Isso corresponde a 78% mais tempo para Work, ou 44% menos tempo para OpenCode, usando bases diferentes para o cálculo.
Uma diferença de 0,1 ponto não sustenta uma preferência geral com este desenho de teste. Também não há repetições suficientes para declarar um empate estatístico. O resultado mostra proximidade nesta rodada.
Na tarefa isolada, a diferença de nota chegou a 5,5 pontos nos slides. A média esconde essa variação. Por isso, o peso de cada tarefa na sua operação importa.
O simulador a seguir apenas multiplica os tempos observados. Ele ajuda a visualizar volume, sem prever desempenho futuro ou somar tempo de revisão humana.
O tempo observado, em outra escala
Ajuste o volume para multiplicar os tempos desta rodada.
O ambiente também mudou o ranking
Antes desta onda, rodamos as mesmas tarefas no Mac de uso diário, com skills, conectores e histórico acumulados. Chamamos essa condição de “Mac sujo”, para distingui-la das VMs limpas. Os gráficos comparam as duas ondas por tarefa.
O ranking virou. Na pesquisa, Codex liderava no Mac e Work liderou na nova onda. Nos slides, Work liderava no Mac e OpenCode liderou na nova onda. Work passou do menor para o maior tempo total entre os três, de 26,2 para 31,4 minutos.
Codex e OpenCode reduziram o tempo de pesquisa em cerca de 60%. Nos slides, OpenCode ganhou 9,0 pontos e Codex, 6,0. A hipótese de que o contexto acumulado ajudava a pesquisa do Codex merece investigação. A rodada não isola essa causa.
Work continuou no app, sem um macOS limpo equivalente. A virada mistura diferenças de ferramenta e de ambiente.
Chat participou apenas da primeira onda: pesquisa 88,3 e slides 82,7. Esses resultados não entram no consolidado da nova onda, porque as condições de seleção de modelo não foram equivalentes.
Do Mac à nova onda
Compare notas e tempo nas duas condições do experimento.
Maior é melhor. Uma rodada por condição.
MacNova onda
0100
O que o experimento permite concluir
Uma tarefa por prova. O tamanho da amostra não mede consistência entre entregas e não permite declarar superioridade estatística.
Ambientes diferentes. O mesmo prompt no Work não equivale a uma máquina limpa. As diferenças observadas misturam ferramenta e condições de execução.
Custo sem comparação confiável. O registro de tokens do OpenCode foi considerado frágil no protocolo. Taxas de busca na web nem sempre ficaram isoladas por harness. Menor tempo de execução não comprova menor custo de API.
Aquecimento do Codex. O protocolo registra uma divergência: a sessão de preparação chegou a carregar cerca de 26 mil tokens de histórico. O prompt de carga ficou fora da contagem, mas o registro pede cautela.
Uma passada de avaliação. A avaliação foi cega, sem segundo avaliador. As notas são do Lab e não se comparam diretamente aos placares oficiais dos benchmarks.
O recorte sustenta uma observação: com modelo e esforço declarados como fixos, houve uma diferença grande no tempo total e uma diferença menor na média das notas. A ordem variou entre tarefas e entre ondas. Isso ainda não separa causalmente o efeito do harness do efeito do ambiente.
Como levar isso para a operação
Comece pelo trabalho que mais importa para o time. Nesta rodada, Work entregou a maior nota de pesquisa; OpenCode, a maior nota e o menor tempo de slides. Codex ficou próximo dos dois, com a maior nota de citação na pesquisa e de fidelidade nos slides.
Use esses resultados para escolher um teste, não para trocar de ferramenta a cada tarefa. Se já existe um padrão operacional, a diferença precisa compensar setup, permissões, treinamento, revisão e custo de mudança.
A melhor média de OpenCode, 91,5, ficou muito perto de Codex, 91,4. Um time pode preferir o controle de um harness de código aberto. Outro pode valorizar a integração de um aplicativo. Essas preferências precisam de critérios próprios; não foram pontuadas neste experimento.
Antes de trocar de modelo, compare o fluxo atual com uma alternativa no ambiente real. Defina qualidade, tempo até aprovação, custo total de API e intervenção humana antes da execução. Use o mesmo material, isole as condições que conseguir e registre o que não conseguiu isolar.
Repita as tarefas e avalie sem revelar a ferramenta. Confira os mesmos pontos em todas: completude por segmento, decomposição dos números, fidelidade às fontes e legibilidade.
Escolha uma ferramenta padrão. Saia dela quando houver um motivo mensurável. A próxima rodada deve testar se a diferença reaparece no contexto da empresa e se continua valendo depois da revisão humana.
Como isso se aplica ao seu negócio?
Conte o que você quer entender, testar ou transformar. Vamos explorar juntos.