brainiall lab notes — measurement record notes measurements 2026-08-25

finding — public measurement index

4 / 16
0 com arquivo neste repo 16

Cada linha aponta para um arquivo. Onde o arquivo não existe, a linha diz isso.

O blog afirma que todo número tem barra de erro e proveniência. Esta tabela é a prova — inclusive das provas que ainda não anexámos. A régua corrige para baixo e também confirma. Os dois sentidos estão abaixo.

§1 — a régua funciona nos dois sentidos

Dois casos reais. A remedição de 25/08 tem arquivo neste repositório. Uma corrigiu para baixo; a outra reproduziu. O valor vigente sai do resumo.json.

B1 · corrigido para baixo
2026-08-21 · retratada
10,1×

Cherry-pick do piso da faixa. JSONL ausente.

2026-08-25 · vigente; arquivo anexado
9.78×

183,6 → 1.795,1 tok/s. 3 por braço.

B2 · reproduziu
2026-08-21 · primeira leitura
29.567tok/s

Quatro réplicas no mesmo nó. JSON ausente.

2026-08-25 · vigente; arquivo anexado
29.503tok/s

σ 104,2. n=3 (sobreposição 118 s). Nem toda remedição derruba.

§2 — o índice

Tinta cheia = extraído de arquivo neste repo. Tinta clara = sem dado bruto arquivado. Riscado = retratado. Ordenar e filtrar não precisa de JavaScript: âncoras e caixas de opção. Sem CSS, a primeira tabela (por data) continua visível. Há também um TSV.

medições por data, mais recente primeiro
id o que foi medido valor σ n data hardware arquivo bruto histórico reprodução
B1bEspeculação sozinha, TP2 pareado
o segundo botão (TP2 em vez de TP8) reduz o baseline; a especulação sozinha, na mesma sessão e nas mesmas GPUs, é o fator vigente.
15,5×
112,7 → 1.746,5 tok/s
112,7 · 1.746,5
0,01 (0,0 e 1,3 tok/s nos braços)3 por braço2026-08-262×H100 (TP2), nó compartilhadopartp2-20260826-1950
2026-08-26, janela pareada 1950 15,5× vigente; arquivo anexado

TP2 sem especulação 112,7 tok/s → TP2 + DFlash-64 1.746,5 tok/s; mesma sessão, mesmas GPUs, n=3. O 9,78× contra TP8 (B1) é a comparação conservadora.

nós: 3 repetições por braço, arquivo anexado. fora: ninguém
B2Vazão agregada de quatro réplicas no mesmo nó
reproduziu. A régua não derruba por reflexo: aqui a remedição confirmou. Arquivo anexado.
29.503 tok/s
29.467,0 · 29.421,6 · 29.620,4
104,23 (sobreposição 118 s)2026-08-258×H100 80GB (quatro réplicas, conc=32 por réplica)composto4xc32-20260825-0244
2026-08-21 29.567 tok/s primeira leitura; JSON ausente

agregado de quatro réplicas. A auditoria B confirmou a aritmética da soma e marcou a simultaneidade como não arquivada.

2026-08-25 29.503 tok/s reproduziu; vigente; arquivo anexado

conc=32 por réplica, n=3, sobreposição 118 s, agregado 29.503 ± 104 tok/s. O arquivo não contém percentual de interferência.

nós: 3 repetições, arquivo anexado. fora: ninguém
B1Ganho de decode em um único fluxo
o fator inicial não sobrevive; a ordem de grandeza sim. A remedição de 25/08 entra como vigente com o arquivo anexado.
9,78×
183,6 → 1.795,1 tok/s
183,6 · 1.795,1
0,01 (0,1 e 1,4 tok/s nos braços)3 por braço2026-08-258×H100 80GB (TP8 sem spec; DFlash b64 TP2). Dois knobs.single10x-20260825-0035
2026-08-21 10,1× retratada

denominador = piso 176 da faixa 176–187 tok/s; vs 187 seria 9,5×. JSONL da janela não está no repositório.

2026-08-25, janela 0011 200,7 tok/s (baseline TP8; n=3, σ 2,0) retratada em favor da 0035

primeira leitura do baseline TP8. Arquivo: brutos/single10x-20260825-0011/resumo.json. Janela sem suspensão do cron; braço DFlash não medido (gate de conteúdo). A causa da diferença 200,7 → 183,6 não está provada.

2026-08-25, janela 0035 9,78×. TP2 sozinho = 0,61× do TP8; especulação sozinha = 15,5×, ver B1b vigente; arquivo anexado

TP8, no speculation, 183,6 tok/s → TP2 + DFlash-64, 1.795,1 tok/s; conc=1, n=3. Two knobs moved. TP2 sozinho = 0,61× do TP8; especulação sozinha = 15,5×, ver B1b.

nós: 3 repetições por braço, arquivo anexado. fora: ninguém
C6Gold-sanity SWE-bench: patch ouro pelo mesmo caminho generate→apply→test
0/25 resolved, 92% apply, n=25. O juiz passava IDs Django para pytest. Arquivo anexado.
0/25 resolved, 92% apply, n=25
antes da correção do classificador: test_fail 23, infra_error 2; depois (swe_gold2.json): test_fail 4, infra_error 21
252026-08-04não declarado no arquivoswe_gold_sanity_20260804
2026-08-04, antes da correção do classificador 0/25 resolved, 92% apply; test_fail 23, infra_error 2 vigente; arquivo anexado

gold patch no mesmo codepath. pytest recebia IDs Django. Arquivo: swe_gold_sanity.json.

2026-08-04, depois da correção do classificador 0/25 resolved, 92% apply; infra_error 21, test_fail 4 reclassificação; arquivo anexado

mesmo n=25, mesmo apply 0,92. Arquivo: swe_gold2.json.

nós: 1 corrida gold-sanity, arquivo anexado. fora: ninguém
C5bTerminal-Bench gold46 do fabricante, pós-fix do adapter
8/44 = 18,2% com n, subset gold, K=1, scaffold texto
sem dado bruto arquivado44 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=44 declarado; JSON ausente. fora: ninguém
C5aTerminal-Bench 0/20 (primeiro placar)
VOID: o adapter chamava um path do host dentro do container (exit 127)
sem dado bruto arquivado2026-08não declarado no arquivo (ausente)sem dado bruto arquivado
placar original 0/20 retratada como capacidade do modelo

bash <path do host> dentro do container → exit 127 → «Verification failed» sempre.

nós: 0 arquivos de repetição — reproduzível como bug de adapter no código antigo; JSON 0/20 ausente. fora: ninguém
C4σ de acurácia GPQA a temp 0, mesmo servidor, seed fixa
o fenômeno (temp 0 não é determinístico) sobrevive; a causa única não
sem dado bruto arquivado40 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — K=5, n=40 declarado; JSON ausente. fora: ninguém
C3Efeito de thinking vs chat em GPQA (receita thinking vs greedy)
«zero pp como prova de zero» não sobrevive; piso de detecção ~5 pp em n=40 K=1 sim
sem dado bruto arquivado40 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivado
formulação original zero pp retratada como prova de efeito nulo

n=40 K=1; o kill pré-registrado (+3 pp) está abaixo do piso (~5 pp). Não rejeita +8 pp.

formulação da auditoria nenhum efeito ≥ ~5 pp detectado leitura revisada; JSON ausente

mesmo probe. Confundidor: thinking é temp 1,0 / top_p 0,95, chat é greedy temp 0.

nós: 0 arquivos de repetição — n=40 K=1; arquivo ausente. fora: ninguém
A6maj@5 vs K=1 no mesmo servidor (GPQA Diamond, temp 0,7)
contraste pareado intra-servidor; não misturar baseline de outra instância
sem dado bruto arquivado198 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=198, K=5 declarado; JSON ausente. fora: ninguém
A4σ do laboratório de treino (runs idênticas, só a seed muda)
SOBREVIVE; o JSON das 8 seeds não está neste disco
sem dado bruto arquivado8 (claim; sem arquivo)2026-07-318×H100 (condição do claim; arquivo ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=8 declarado no claim; arquivo das 8 seeds ausente. fora: ninguém
A2Efeito isolado da rampa de weight decay (0,01 → 0,10)
nulo no horizonte sub-Chinchilla; 64% do ganho composto era LR do baseline
sem dado bruto arquivado2026-07-318×H100, 220M, 1.200 passos (condição do claim)sem dado bruto arquivado
catálogo original ganho atribuído ao scheduler composto retratada como mecanismo

o braço desligado usava warmup de 500 passos (42% do treino) e LR médio 2,82× menor.

decomposição pareada, n=7 rampa WD Δ = +0,0048 (abaixo de δ_det = 0,0277) leitura posterior; arquivo ausente

efeito nulo da rampa neste horizonte (~0,9 tok/param). Não generaliza para over-training.

nós: 0 arquivos de repetição — n=7 braços declarado; arquivo ausente. fora: ninguém
C1Filtro de qualidade de documento vs aleatório
o fenômeno sobrevive; iso-volume exato e −64,5% in-sample não
sem dado bruto arquivado1 (claim; sem arquivo)2026-07-308×H100, ~300M, 1.500 passos (condição do claim)sem dado bruto arquivado
eval no treino −64,5% PPL retratada

a métrica era in-sample. Held-out físico inverte o sinal: filtrar a cauda «melhor» piora.

held-out físico, 1 seed top3 5,1785 vs all 4,8472 vs rand3 5,0839 leitura posterior; JSON ausente

seleção por documento, não por token (+3,4% de massa no top3). JSON da corrida não está neste repo.

nós: 0 arquivos de repetição — n=1 seed; arquivo ausente. fora: ninguém
A1Ganho aparente de atenção com janela após correção da máscara causal
o cautionary tale sobrevive; «todas as 28 configurações causais» não
sem dado bruto arquivado2026-07-308×H100 (condição do claim)sem dado bruto arquivado
antes da correção −4,1368 retratada como ganho real

o ganho era informação futura.

pós-correção −0,1523 leitura posterior; arquivo ausente

mesmo delineamento, held-out físico. JSON da corrida não está neste repositório.

nós: 0 arquivos de repetição — arquivo ausente. fora: ninguém
A5Throughput de treino FP8 eager vs BF16 (ciclo completo)
SOBREVIVE como PyTorch eager sem fusão; não como lei do formato
sem dado bruto arquivado2026-07H100 SXM 80GB (condição do claim)sem dado bruto arquivado
bench com w.detach() w8 = 1,51× retratada

autograd omitia dW: 6MKN → 4MKN, razão teórica 1,50×. O 1,51× medido era o bug.

ciclo completo sem detach 0,89× a 0,94× vs BF16 leitura posterior; arquivo ausente

dois transpostos HBM por linear no backward de torch._scaled_mm. JSON do sweep não está neste repo.

nós: 0 arquivos de repetição — 8 configurações 350M–3B declaradas; arquivo ausente. fora: ninguém
B7Latência de primeiro áudio, stack de voz
~150 ms não sobrevive; 531,6 ms sem JSON
sem dado bruto arquivado20 (claim; sem arquivo)não declarado no arquivo (ausente)sem dado bruto arquivado
decomposição posterior ~150 ms retratada

não está no medidor, e não é o mesmo instrumento do p50 da janela de voz.

janela de voz p50 531,6 ms leitura posterior; JSON ausente

n=20, este instrumento. Sem o JSON não entra como valor vigente.

nós: 0 arquivos de repetição — n=20 declarado para o p50; JSON ausente. fora: ninguém
B5HBM medida no roofline H100 (Fase 0)
plausível vs datasheet; JSON bruto da Fase 0 não está no repositório
sem dado bruto arquivadoH100 SXM (condição do claim)sem dado bruto arquivado
mesmo registro interno pico GEMM 781 TFLOPS vs 761 TFLOPS duas âncoras, sem JSON

o registro interno discorda de si. Sem o JSON da Fase 0 nenhuma das duas entra como valor vigente.

nós: 0 arquivos de repetição — arquivo ausente. fora: ninguém
medições por n, maior primeiro; sem n no fim
id o que foi medido valor σ n data hardware arquivo bruto histórico reprodução
A6maj@5 vs K=1 no mesmo servidor (GPQA Diamond, temp 0,7)
contraste pareado intra-servidor; não misturar baseline de outra instância
sem dado bruto arquivado198 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=198, K=5 declarado; JSON ausente. fora: ninguém
C5bTerminal-Bench gold46 do fabricante, pós-fix do adapter
8/44 = 18,2% com n, subset gold, K=1, scaffold texto
sem dado bruto arquivado44 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=44 declarado; JSON ausente. fora: ninguém
C3Efeito de thinking vs chat em GPQA (receita thinking vs greedy)
«zero pp como prova de zero» não sobrevive; piso de detecção ~5 pp em n=40 K=1 sim
sem dado bruto arquivado40 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivado
formulação original zero pp retratada como prova de efeito nulo

n=40 K=1; o kill pré-registrado (+3 pp) está abaixo do piso (~5 pp). Não rejeita +8 pp.

formulação da auditoria nenhum efeito ≥ ~5 pp detectado leitura revisada; JSON ausente

mesmo probe. Confundidor: thinking é temp 1,0 / top_p 0,95, chat é greedy temp 0.

nós: 0 arquivos de repetição — n=40 K=1; arquivo ausente. fora: ninguém
C4σ de acurácia GPQA a temp 0, mesmo servidor, seed fixa
o fenômeno (temp 0 não é determinístico) sobrevive; a causa única não
sem dado bruto arquivado40 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — K=5, n=40 declarado; JSON ausente. fora: ninguém
C6Gold-sanity SWE-bench: patch ouro pelo mesmo caminho generate→apply→test
0/25 resolved, 92% apply, n=25. O juiz passava IDs Django para pytest. Arquivo anexado.
0/25 resolved, 92% apply, n=25
antes da correção do classificador: test_fail 23, infra_error 2; depois (swe_gold2.json): test_fail 4, infra_error 21
252026-08-04não declarado no arquivoswe_gold_sanity_20260804
2026-08-04, antes da correção do classificador 0/25 resolved, 92% apply; test_fail 23, infra_error 2 vigente; arquivo anexado

gold patch no mesmo codepath. pytest recebia IDs Django. Arquivo: swe_gold_sanity.json.

2026-08-04, depois da correção do classificador 0/25 resolved, 92% apply; infra_error 21, test_fail 4 reclassificação; arquivo anexado

mesmo n=25, mesmo apply 0,92. Arquivo: swe_gold2.json.

nós: 1 corrida gold-sanity, arquivo anexado. fora: ninguém
B7Latência de primeiro áudio, stack de voz
~150 ms não sobrevive; 531,6 ms sem JSON
sem dado bruto arquivado20 (claim; sem arquivo)não declarado no arquivo (ausente)sem dado bruto arquivado
decomposição posterior ~150 ms retratada

não está no medidor, e não é o mesmo instrumento do p50 da janela de voz.

janela de voz p50 531,6 ms leitura posterior; JSON ausente

n=20, este instrumento. Sem o JSON não entra como valor vigente.

nós: 0 arquivos de repetição — n=20 declarado para o p50; JSON ausente. fora: ninguém
A4σ do laboratório de treino (runs idênticas, só a seed muda)
SOBREVIVE; o JSON das 8 seeds não está neste disco
sem dado bruto arquivado8 (claim; sem arquivo)2026-07-318×H100 (condição do claim; arquivo ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=8 declarado no claim; arquivo das 8 seeds ausente. fora: ninguém
B1Ganho de decode em um único fluxo
o fator inicial não sobrevive; a ordem de grandeza sim. A remedição de 25/08 entra como vigente com o arquivo anexado.
9,78×
183,6 → 1.795,1 tok/s
183,6 · 1.795,1
0,01 (0,1 e 1,4 tok/s nos braços)3 por braço2026-08-258×H100 80GB (TP8 sem spec; DFlash b64 TP2). Dois knobs.single10x-20260825-0035
2026-08-21 10,1× retratada

denominador = piso 176 da faixa 176–187 tok/s; vs 187 seria 9,5×. JSONL da janela não está no repositório.

2026-08-25, janela 0011 200,7 tok/s (baseline TP8; n=3, σ 2,0) retratada em favor da 0035

primeira leitura do baseline TP8. Arquivo: brutos/single10x-20260825-0011/resumo.json. Janela sem suspensão do cron; braço DFlash não medido (gate de conteúdo). A causa da diferença 200,7 → 183,6 não está provada.

2026-08-25, janela 0035 9,78×. TP2 sozinho = 0,61× do TP8; especulação sozinha = 15,5×, ver B1b vigente; arquivo anexado

TP8, no speculation, 183,6 tok/s → TP2 + DFlash-64, 1.795,1 tok/s; conc=1, n=3. Two knobs moved. TP2 sozinho = 0,61× do TP8; especulação sozinha = 15,5×, ver B1b.

nós: 3 repetições por braço, arquivo anexado. fora: ninguém
B1bEspeculação sozinha, TP2 pareado
o segundo botão (TP2 em vez de TP8) reduz o baseline; a especulação sozinha, na mesma sessão e nas mesmas GPUs, é o fator vigente.
15,5×
112,7 → 1.746,5 tok/s
112,7 · 1.746,5
0,01 (0,0 e 1,3 tok/s nos braços)3 por braço2026-08-262×H100 (TP2), nó compartilhadopartp2-20260826-1950
2026-08-26, janela pareada 1950 15,5× vigente; arquivo anexado

TP2 sem especulação 112,7 tok/s → TP2 + DFlash-64 1.746,5 tok/s; mesma sessão, mesmas GPUs, n=3. O 9,78× contra TP8 (B1) é a comparação conservadora.

nós: 3 repetições por braço, arquivo anexado. fora: ninguém
B2Vazão agregada de quatro réplicas no mesmo nó
reproduziu. A régua não derruba por reflexo: aqui a remedição confirmou. Arquivo anexado.
29.503 tok/s
29.467,0 · 29.421,6 · 29.620,4
104,23 (sobreposição 118 s)2026-08-258×H100 80GB (quatro réplicas, conc=32 por réplica)composto4xc32-20260825-0244
2026-08-21 29.567 tok/s primeira leitura; JSON ausente

agregado de quatro réplicas. A auditoria B confirmou a aritmética da soma e marcou a simultaneidade como não arquivada.

2026-08-25 29.503 tok/s reproduziu; vigente; arquivo anexado

conc=32 por réplica, n=3, sobreposição 118 s, agregado 29.503 ± 104 tok/s. O arquivo não contém percentual de interferência.

nós: 3 repetições, arquivo anexado. fora: ninguém
C1Filtro de qualidade de documento vs aleatório
o fenômeno sobrevive; iso-volume exato e −64,5% in-sample não
sem dado bruto arquivado1 (claim; sem arquivo)2026-07-308×H100, ~300M, 1.500 passos (condição do claim)sem dado bruto arquivado
eval no treino −64,5% PPL retratada

a métrica era in-sample. Held-out físico inverte o sinal: filtrar a cauda «melhor» piora.

held-out físico, 1 seed top3 5,1785 vs all 4,8472 vs rand3 5,0839 leitura posterior; JSON ausente

seleção por documento, não por token (+3,4% de massa no top3). JSON da corrida não está neste repo.

nós: 0 arquivos de repetição — n=1 seed; arquivo ausente. fora: ninguém
A1Ganho aparente de atenção com janela após correção da máscara causal
o cautionary tale sobrevive; «todas as 28 configurações causais» não
sem dado bruto arquivado2026-07-308×H100 (condição do claim)sem dado bruto arquivado
antes da correção −4,1368 retratada como ganho real

o ganho era informação futura.

pós-correção −0,1523 leitura posterior; arquivo ausente

mesmo delineamento, held-out físico. JSON da corrida não está neste repositório.

nós: 0 arquivos de repetição — arquivo ausente. fora: ninguém
A2Efeito isolado da rampa de weight decay (0,01 → 0,10)
nulo no horizonte sub-Chinchilla; 64% do ganho composto era LR do baseline
sem dado bruto arquivado2026-07-318×H100, 220M, 1.200 passos (condição do claim)sem dado bruto arquivado
catálogo original ganho atribuído ao scheduler composto retratada como mecanismo

o braço desligado usava warmup de 500 passos (42% do treino) e LR médio 2,82× menor.

decomposição pareada, n=7 rampa WD Δ = +0,0048 (abaixo de δ_det = 0,0277) leitura posterior; arquivo ausente

efeito nulo da rampa neste horizonte (~0,9 tok/param). Não generaliza para over-training.

nós: 0 arquivos de repetição — n=7 braços declarado; arquivo ausente. fora: ninguém
A5Throughput de treino FP8 eager vs BF16 (ciclo completo)
SOBREVIVE como PyTorch eager sem fusão; não como lei do formato
sem dado bruto arquivado2026-07H100 SXM 80GB (condição do claim)sem dado bruto arquivado
bench com w.detach() w8 = 1,51× retratada

autograd omitia dW: 6MKN → 4MKN, razão teórica 1,50×. O 1,51× medido era o bug.

ciclo completo sem detach 0,89× a 0,94× vs BF16 leitura posterior; arquivo ausente

dois transpostos HBM por linear no backward de torch._scaled_mm. JSON do sweep não está neste repo.

nós: 0 arquivos de repetição — 8 configurações 350M–3B declaradas; arquivo ausente. fora: ninguém
B5HBM medida no roofline H100 (Fase 0)
plausível vs datasheet; JSON bruto da Fase 0 não está no repositório
sem dado bruto arquivadoH100 SXM (condição do claim)sem dado bruto arquivado
mesmo registro interno pico GEMM 781 TFLOPS vs 761 TFLOPS duas âncoras, sem JSON

o registro interno discorda de si. Sem o JSON da Fase 0 nenhuma das duas entra como valor vigente.

nós: 0 arquivos de repetição — arquivo ausente. fora: ninguém
C5aTerminal-Bench 0/20 (primeiro placar)
VOID: o adapter chamava um path do host dentro do container (exit 127)
sem dado bruto arquivado2026-08não declarado no arquivo (ausente)sem dado bruto arquivado
placar original 0/20 retratada como capacidade do modelo

bash <path do host> dentro do container → exit 127 → «Verification failed» sempre.

nós: 0 arquivos de repetição — reproduzível como bug de adapter no código antigo; JSON 0/20 ausente. fora: ninguém
medições com arquivo primeiro
id o que foi medido valor σ n data hardware arquivo bruto histórico reprodução
B1Ganho de decode em um único fluxo
o fator inicial não sobrevive; a ordem de grandeza sim. A remedição de 25/08 entra como vigente com o arquivo anexado.
9,78×
183,6 → 1.795,1 tok/s
183,6 · 1.795,1
0,01 (0,1 e 1,4 tok/s nos braços)3 por braço2026-08-258×H100 80GB (TP8 sem spec; DFlash b64 TP2). Dois knobs.single10x-20260825-0035
2026-08-21 10,1× retratada

denominador = piso 176 da faixa 176–187 tok/s; vs 187 seria 9,5×. JSONL da janela não está no repositório.

2026-08-25, janela 0011 200,7 tok/s (baseline TP8; n=3, σ 2,0) retratada em favor da 0035

primeira leitura do baseline TP8. Arquivo: brutos/single10x-20260825-0011/resumo.json. Janela sem suspensão do cron; braço DFlash não medido (gate de conteúdo). A causa da diferença 200,7 → 183,6 não está provada.

2026-08-25, janela 0035 9,78×. TP2 sozinho = 0,61× do TP8; especulação sozinha = 15,5×, ver B1b vigente; arquivo anexado

TP8, no speculation, 183,6 tok/s → TP2 + DFlash-64, 1.795,1 tok/s; conc=1, n=3. Two knobs moved. TP2 sozinho = 0,61× do TP8; especulação sozinha = 15,5×, ver B1b.

nós: 3 repetições por braço, arquivo anexado. fora: ninguém
B1bEspeculação sozinha, TP2 pareado
o segundo botão (TP2 em vez de TP8) reduz o baseline; a especulação sozinha, na mesma sessão e nas mesmas GPUs, é o fator vigente.
15,5×
112,7 → 1.746,5 tok/s
112,7 · 1.746,5
0,01 (0,0 e 1,3 tok/s nos braços)3 por braço2026-08-262×H100 (TP2), nó compartilhadopartp2-20260826-1950
2026-08-26, janela pareada 1950 15,5× vigente; arquivo anexado

TP2 sem especulação 112,7 tok/s → TP2 + DFlash-64 1.746,5 tok/s; mesma sessão, mesmas GPUs, n=3. O 9,78× contra TP8 (B1) é a comparação conservadora.

nós: 3 repetições por braço, arquivo anexado. fora: ninguém
B2Vazão agregada de quatro réplicas no mesmo nó
reproduziu. A régua não derruba por reflexo: aqui a remedição confirmou. Arquivo anexado.
29.503 tok/s
29.467,0 · 29.421,6 · 29.620,4
104,23 (sobreposição 118 s)2026-08-258×H100 80GB (quatro réplicas, conc=32 por réplica)composto4xc32-20260825-0244
2026-08-21 29.567 tok/s primeira leitura; JSON ausente

agregado de quatro réplicas. A auditoria B confirmou a aritmética da soma e marcou a simultaneidade como não arquivada.

2026-08-25 29.503 tok/s reproduziu; vigente; arquivo anexado

conc=32 por réplica, n=3, sobreposição 118 s, agregado 29.503 ± 104 tok/s. O arquivo não contém percentual de interferência.

nós: 3 repetições, arquivo anexado. fora: ninguém
C6Gold-sanity SWE-bench: patch ouro pelo mesmo caminho generate→apply→test
0/25 resolved, 92% apply, n=25. O juiz passava IDs Django para pytest. Arquivo anexado.
0/25 resolved, 92% apply, n=25
antes da correção do classificador: test_fail 23, infra_error 2; depois (swe_gold2.json): test_fail 4, infra_error 21
252026-08-04não declarado no arquivoswe_gold_sanity_20260804
2026-08-04, antes da correção do classificador 0/25 resolved, 92% apply; test_fail 23, infra_error 2 vigente; arquivo anexado

gold patch no mesmo codepath. pytest recebia IDs Django. Arquivo: swe_gold_sanity.json.

2026-08-04, depois da correção do classificador 0/25 resolved, 92% apply; infra_error 21, test_fail 4 reclassificação; arquivo anexado

mesmo n=25, mesmo apply 0,92. Arquivo: swe_gold2.json.

nós: 1 corrida gold-sanity, arquivo anexado. fora: ninguém
A1Ganho aparente de atenção com janela após correção da máscara causal
o cautionary tale sobrevive; «todas as 28 configurações causais» não
sem dado bruto arquivado2026-07-308×H100 (condição do claim)sem dado bruto arquivado
antes da correção −4,1368 retratada como ganho real

o ganho era informação futura.

pós-correção −0,1523 leitura posterior; arquivo ausente

mesmo delineamento, held-out físico. JSON da corrida não está neste repositório.

nós: 0 arquivos de repetição — arquivo ausente. fora: ninguém
A2Efeito isolado da rampa de weight decay (0,01 → 0,10)
nulo no horizonte sub-Chinchilla; 64% do ganho composto era LR do baseline
sem dado bruto arquivado2026-07-318×H100, 220M, 1.200 passos (condição do claim)sem dado bruto arquivado
catálogo original ganho atribuído ao scheduler composto retratada como mecanismo

o braço desligado usava warmup de 500 passos (42% do treino) e LR médio 2,82× menor.

decomposição pareada, n=7 rampa WD Δ = +0,0048 (abaixo de δ_det = 0,0277) leitura posterior; arquivo ausente

efeito nulo da rampa neste horizonte (~0,9 tok/param). Não generaliza para over-training.

nós: 0 arquivos de repetição — n=7 braços declarado; arquivo ausente. fora: ninguém
A4σ do laboratório de treino (runs idênticas, só a seed muda)
SOBREVIVE; o JSON das 8 seeds não está neste disco
sem dado bruto arquivado8 (claim; sem arquivo)2026-07-318×H100 (condição do claim; arquivo ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=8 declarado no claim; arquivo das 8 seeds ausente. fora: ninguém
A5Throughput de treino FP8 eager vs BF16 (ciclo completo)
SOBREVIVE como PyTorch eager sem fusão; não como lei do formato
sem dado bruto arquivado2026-07H100 SXM 80GB (condição do claim)sem dado bruto arquivado
bench com w.detach() w8 = 1,51× retratada

autograd omitia dW: 6MKN → 4MKN, razão teórica 1,50×. O 1,51× medido era o bug.

ciclo completo sem detach 0,89× a 0,94× vs BF16 leitura posterior; arquivo ausente

dois transpostos HBM por linear no backward de torch._scaled_mm. JSON do sweep não está neste repo.

nós: 0 arquivos de repetição — 8 configurações 350M–3B declaradas; arquivo ausente. fora: ninguém
A6maj@5 vs K=1 no mesmo servidor (GPQA Diamond, temp 0,7)
contraste pareado intra-servidor; não misturar baseline de outra instância
sem dado bruto arquivado198 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=198, K=5 declarado; JSON ausente. fora: ninguém
B5HBM medida no roofline H100 (Fase 0)
plausível vs datasheet; JSON bruto da Fase 0 não está no repositório
sem dado bruto arquivadoH100 SXM (condição do claim)sem dado bruto arquivado
mesmo registro interno pico GEMM 781 TFLOPS vs 761 TFLOPS duas âncoras, sem JSON

o registro interno discorda de si. Sem o JSON da Fase 0 nenhuma das duas entra como valor vigente.

nós: 0 arquivos de repetição — arquivo ausente. fora: ninguém
B7Latência de primeiro áudio, stack de voz
~150 ms não sobrevive; 531,6 ms sem JSON
sem dado bruto arquivado20 (claim; sem arquivo)não declarado no arquivo (ausente)sem dado bruto arquivado
decomposição posterior ~150 ms retratada

não está no medidor, e não é o mesmo instrumento do p50 da janela de voz.

janela de voz p50 531,6 ms leitura posterior; JSON ausente

n=20, este instrumento. Sem o JSON não entra como valor vigente.

nós: 0 arquivos de repetição — n=20 declarado para o p50; JSON ausente. fora: ninguém
C1Filtro de qualidade de documento vs aleatório
o fenômeno sobrevive; iso-volume exato e −64,5% in-sample não
sem dado bruto arquivado1 (claim; sem arquivo)2026-07-308×H100, ~300M, 1.500 passos (condição do claim)sem dado bruto arquivado
eval no treino −64,5% PPL retratada

a métrica era in-sample. Held-out físico inverte o sinal: filtrar a cauda «melhor» piora.

held-out físico, 1 seed top3 5,1785 vs all 4,8472 vs rand3 5,0839 leitura posterior; JSON ausente

seleção por documento, não por token (+3,4% de massa no top3). JSON da corrida não está neste repo.

nós: 0 arquivos de repetição — n=1 seed; arquivo ausente. fora: ninguém
C3Efeito de thinking vs chat em GPQA (receita thinking vs greedy)
«zero pp como prova de zero» não sobrevive; piso de detecção ~5 pp em n=40 K=1 sim
sem dado bruto arquivado40 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivado
formulação original zero pp retratada como prova de efeito nulo

n=40 K=1; o kill pré-registrado (+3 pp) está abaixo do piso (~5 pp). Não rejeita +8 pp.

formulação da auditoria nenhum efeito ≥ ~5 pp detectado leitura revisada; JSON ausente

mesmo probe. Confundidor: thinking é temp 1,0 / top_p 0,95, chat é greedy temp 0.

nós: 0 arquivos de repetição — n=40 K=1; arquivo ausente. fora: ninguém
C4σ de acurácia GPQA a temp 0, mesmo servidor, seed fixa
o fenômeno (temp 0 não é determinístico) sobrevive; a causa única não
sem dado bruto arquivado40 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — K=5, n=40 declarado; JSON ausente. fora: ninguém
C5aTerminal-Bench 0/20 (primeiro placar)
VOID: o adapter chamava um path do host dentro do container (exit 127)
sem dado bruto arquivado2026-08não declarado no arquivo (ausente)sem dado bruto arquivado
placar original 0/20 retratada como capacidade do modelo

bash <path do host> dentro do container → exit 127 → «Verification failed» sempre.

nós: 0 arquivos de repetição — reproduzível como bug de adapter no código antigo; JSON 0/20 ausente. fora: ninguém
C5bTerminal-Bench gold46 do fabricante, pós-fix do adapter
8/44 = 18,2% com n, subset gold, K=1, scaffold texto
sem dado bruto arquivado44 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=44 declarado; JSON ausente. fora: ninguém
medições por id
id o que foi medido valor σ n data hardware arquivo bruto histórico reprodução
A1Ganho aparente de atenção com janela após correção da máscara causal
o cautionary tale sobrevive; «todas as 28 configurações causais» não
sem dado bruto arquivado2026-07-308×H100 (condição do claim)sem dado bruto arquivado
antes da correção −4,1368 retratada como ganho real

o ganho era informação futura.

pós-correção −0,1523 leitura posterior; arquivo ausente

mesmo delineamento, held-out físico. JSON da corrida não está neste repositório.

nós: 0 arquivos de repetição — arquivo ausente. fora: ninguém
A2Efeito isolado da rampa de weight decay (0,01 → 0,10)
nulo no horizonte sub-Chinchilla; 64% do ganho composto era LR do baseline
sem dado bruto arquivado2026-07-318×H100, 220M, 1.200 passos (condição do claim)sem dado bruto arquivado
catálogo original ganho atribuído ao scheduler composto retratada como mecanismo

o braço desligado usava warmup de 500 passos (42% do treino) e LR médio 2,82× menor.

decomposição pareada, n=7 rampa WD Δ = +0,0048 (abaixo de δ_det = 0,0277) leitura posterior; arquivo ausente

efeito nulo da rampa neste horizonte (~0,9 tok/param). Não generaliza para over-training.

nós: 0 arquivos de repetição — n=7 braços declarado; arquivo ausente. fora: ninguém
A4σ do laboratório de treino (runs idênticas, só a seed muda)
SOBREVIVE; o JSON das 8 seeds não está neste disco
sem dado bruto arquivado8 (claim; sem arquivo)2026-07-318×H100 (condição do claim; arquivo ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=8 declarado no claim; arquivo das 8 seeds ausente. fora: ninguém
A5Throughput de treino FP8 eager vs BF16 (ciclo completo)
SOBREVIVE como PyTorch eager sem fusão; não como lei do formato
sem dado bruto arquivado2026-07H100 SXM 80GB (condição do claim)sem dado bruto arquivado
bench com w.detach() w8 = 1,51× retratada

autograd omitia dW: 6MKN → 4MKN, razão teórica 1,50×. O 1,51× medido era o bug.

ciclo completo sem detach 0,89× a 0,94× vs BF16 leitura posterior; arquivo ausente

dois transpostos HBM por linear no backward de torch._scaled_mm. JSON do sweep não está neste repo.

nós: 0 arquivos de repetição — 8 configurações 350M–3B declaradas; arquivo ausente. fora: ninguém
A6maj@5 vs K=1 no mesmo servidor (GPQA Diamond, temp 0,7)
contraste pareado intra-servidor; não misturar baseline de outra instância
sem dado bruto arquivado198 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=198, K=5 declarado; JSON ausente. fora: ninguém
B1Ganho de decode em um único fluxo
o fator inicial não sobrevive; a ordem de grandeza sim. A remedição de 25/08 entra como vigente com o arquivo anexado.
9,78×
183,6 → 1.795,1 tok/s
183,6 · 1.795,1
0,01 (0,1 e 1,4 tok/s nos braços)3 por braço2026-08-258×H100 80GB (TP8 sem spec; DFlash b64 TP2). Dois knobs.single10x-20260825-0035
2026-08-21 10,1× retratada

denominador = piso 176 da faixa 176–187 tok/s; vs 187 seria 9,5×. JSONL da janela não está no repositório.

2026-08-25, janela 0011 200,7 tok/s (baseline TP8; n=3, σ 2,0) retratada em favor da 0035

primeira leitura do baseline TP8. Arquivo: brutos/single10x-20260825-0011/resumo.json. Janela sem suspensão do cron; braço DFlash não medido (gate de conteúdo). A causa da diferença 200,7 → 183,6 não está provada.

2026-08-25, janela 0035 9,78×. TP2 sozinho = 0,61× do TP8; especulação sozinha = 15,5×, ver B1b vigente; arquivo anexado

TP8, no speculation, 183,6 tok/s → TP2 + DFlash-64, 1.795,1 tok/s; conc=1, n=3. Two knobs moved. TP2 sozinho = 0,61× do TP8; especulação sozinha = 15,5×, ver B1b.

nós: 3 repetições por braço, arquivo anexado. fora: ninguém
B1bEspeculação sozinha, TP2 pareado
o segundo botão (TP2 em vez de TP8) reduz o baseline; a especulação sozinha, na mesma sessão e nas mesmas GPUs, é o fator vigente.
15,5×
112,7 → 1.746,5 tok/s
112,7 · 1.746,5
0,01 (0,0 e 1,3 tok/s nos braços)3 por braço2026-08-262×H100 (TP2), nó compartilhadopartp2-20260826-1950
2026-08-26, janela pareada 1950 15,5× vigente; arquivo anexado

TP2 sem especulação 112,7 tok/s → TP2 + DFlash-64 1.746,5 tok/s; mesma sessão, mesmas GPUs, n=3. O 9,78× contra TP8 (B1) é a comparação conservadora.

nós: 3 repetições por braço, arquivo anexado. fora: ninguém
B2Vazão agregada de quatro réplicas no mesmo nó
reproduziu. A régua não derruba por reflexo: aqui a remedição confirmou. Arquivo anexado.
29.503 tok/s
29.467,0 · 29.421,6 · 29.620,4
104,23 (sobreposição 118 s)2026-08-258×H100 80GB (quatro réplicas, conc=32 por réplica)composto4xc32-20260825-0244
2026-08-21 29.567 tok/s primeira leitura; JSON ausente

agregado de quatro réplicas. A auditoria B confirmou a aritmética da soma e marcou a simultaneidade como não arquivada.

2026-08-25 29.503 tok/s reproduziu; vigente; arquivo anexado

conc=32 por réplica, n=3, sobreposição 118 s, agregado 29.503 ± 104 tok/s. O arquivo não contém percentual de interferência.

nós: 3 repetições, arquivo anexado. fora: ninguém
B5HBM medida no roofline H100 (Fase 0)
plausível vs datasheet; JSON bruto da Fase 0 não está no repositório
sem dado bruto arquivadoH100 SXM (condição do claim)sem dado bruto arquivado
mesmo registro interno pico GEMM 781 TFLOPS vs 761 TFLOPS duas âncoras, sem JSON

o registro interno discorda de si. Sem o JSON da Fase 0 nenhuma das duas entra como valor vigente.

nós: 0 arquivos de repetição — arquivo ausente. fora: ninguém
B7Latência de primeiro áudio, stack de voz
~150 ms não sobrevive; 531,6 ms sem JSON
sem dado bruto arquivado20 (claim; sem arquivo)não declarado no arquivo (ausente)sem dado bruto arquivado
decomposição posterior ~150 ms retratada

não está no medidor, e não é o mesmo instrumento do p50 da janela de voz.

janela de voz p50 531,6 ms leitura posterior; JSON ausente

n=20, este instrumento. Sem o JSON não entra como valor vigente.

nós: 0 arquivos de repetição — n=20 declarado para o p50; JSON ausente. fora: ninguém
C1Filtro de qualidade de documento vs aleatório
o fenômeno sobrevive; iso-volume exato e −64,5% in-sample não
sem dado bruto arquivado1 (claim; sem arquivo)2026-07-308×H100, ~300M, 1.500 passos (condição do claim)sem dado bruto arquivado
eval no treino −64,5% PPL retratada

a métrica era in-sample. Held-out físico inverte o sinal: filtrar a cauda «melhor» piora.

held-out físico, 1 seed top3 5,1785 vs all 4,8472 vs rand3 5,0839 leitura posterior; JSON ausente

seleção por documento, não por token (+3,4% de massa no top3). JSON da corrida não está neste repo.

nós: 0 arquivos de repetição — n=1 seed; arquivo ausente. fora: ninguém
C3Efeito de thinking vs chat em GPQA (receita thinking vs greedy)
«zero pp como prova de zero» não sobrevive; piso de detecção ~5 pp em n=40 K=1 sim
sem dado bruto arquivado40 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivado
formulação original zero pp retratada como prova de efeito nulo

n=40 K=1; o kill pré-registrado (+3 pp) está abaixo do piso (~5 pp). Não rejeita +8 pp.

formulação da auditoria nenhum efeito ≥ ~5 pp detectado leitura revisada; JSON ausente

mesmo probe. Confundidor: thinking é temp 1,0 / top_p 0,95, chat é greedy temp 0.

nós: 0 arquivos de repetição — n=40 K=1; arquivo ausente. fora: ninguém
C4σ de acurácia GPQA a temp 0, mesmo servidor, seed fixa
o fenômeno (temp 0 não é determinístico) sobrevive; a causa única não
sem dado bruto arquivado40 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — K=5, n=40 declarado; JSON ausente. fora: ninguém
C5aTerminal-Bench 0/20 (primeiro placar)
VOID: o adapter chamava um path do host dentro do container (exit 127)
sem dado bruto arquivado2026-08não declarado no arquivo (ausente)sem dado bruto arquivado
placar original 0/20 retratada como capacidade do modelo

bash <path do host> dentro do container → exit 127 → «Verification failed» sempre.

nós: 0 arquivos de repetição — reproduzível como bug de adapter no código antigo; JSON 0/20 ausente. fora: ninguém
C5bTerminal-Bench gold46 do fabricante, pós-fix do adapter
8/44 = 18,2% com n, subset gold, K=1, scaffold texto
sem dado bruto arquivado44 (claim; sem arquivo)2026-08não declarado no arquivo (ausente)sem dado bruto arquivadonós: 0 arquivos de repetição — n=44 declarado; JSON ausente. fora: ninguém
C6Gold-sanity SWE-bench: patch ouro pelo mesmo caminho generate→apply→test
0/25 resolved, 92% apply, n=25. O juiz passava IDs Django para pytest. Arquivo anexado.
0/25 resolved, 92% apply, n=25
antes da correção do classificador: test_fail 23, infra_error 2; depois (swe_gold2.json): test_fail 4, infra_error 21
252026-08-04não declarado no arquivoswe_gold_sanity_20260804
2026-08-04, antes da correção do classificador 0/25 resolved, 92% apply; test_fail 23, infra_error 2 vigente; arquivo anexado

gold patch no mesmo codepath. pytest recebia IDs Django. Arquivo: swe_gold_sanity.json.

2026-08-04, depois da correção do classificador 0/25 resolved, 92% apply; infra_error 21, test_fail 4 reclassificação; arquivo anexado

mesmo n=25, mesmo apply 0,92. Arquivo: swe_gold2.json.

nós: 1 corrida gold-sanity, arquivo anexado. fora: ninguém
§ — arquivos brutos anexados

Cada pasta é o pacote que o gerador leu. O link aponta para o README do pacote, com sha256 por arquivo.

§3 — reprodução

Cada linha diz quantas vezes nós repetimos e se alguém de fora repetiu. Neste índice, alguém de fora = ninguém. Isso fica escrito. Não é uma omissão.

§4 — o que não entra
  • Número que a auditoria derrubou, nem com ressalva.
  • Número digitado à mão como valor vigente.
  • Valor absoluto de serving de produção.
  • Número de produção, hostname, path de disco, e o que a auditoria derrubou.

Fontes de veredito: auditorias A, B e C (2026-08-24). O gerador lê o arquivo ou escreve a frase de ausência.