A documentação completa
26 páginas: o que já medimos e o que ainda vamos testar
Cada número que o produto anuncia tem uma página aqui — com a data da medição, o método e o limite escrito do lado. E o que ainda não foi testado também tem página, dizendo exatamente isso.
O que já foi medido
21 páginas — método, resultados, regressões, segurança e o que o uso real ensinou.
01MétodoA régua: como medimos sem usar dado de ninguémEstrutura real de 1.000 processos públicos do CNJ + dado pessoal sintético plantado em posição conhecida. Correção perfeita, zero dado real.02Resultado globalCobertura 99,60% e falso positivo 0,02%Dos 5.070 dados plantados, o motor encontrou 99,60% — marcando errado só 0,02% dos caracteres em documentos limpos.03Resultado globalO comparativo: três motores, mesma régua, mesmo diaMIA Privacy, Privacy Filter da OpenAI e o nosso motor anterior, medidos com a mesma métrica — senão não é comparação, é propaganda.04Resultado por tipoTipo por tipo: os 25 tipos brasileirosCPF, CNPJ, CEP, CNH, PIS, título de eleitor, cartão SUS, placa, OAB, processo CNJ… cada tipo tem cobertura própria, publicada na página inicial.05Arquitetura do motorPor que a regra vence sempre: o dígito verificadorCPF, CNPJ, CNH, PIS têm fórmula. Onde há fórmula, detectar é conta — e a gente SABE que acertou, porque o dígito bate.06Regressão de modeloTrocar o modelo em produção: 299 iguais em 300Antes de trocar o modelo do motor, rodamos o novo em paralelo com o antigo sobre 150 textos reais: 299 saídas idênticas, 15 bordas mais limpas, latência igual.07Regressão de modeloQuando o próprio time pediu para reverter — e a medição disse nãoUma bateria adversarial acusou 20 regressões no modelo novo. Reproduzimos caso a caso: eram todos o MESMO caso sintético — e o antigo também falhava nele.08Modelo multilíngueEspanhol e inglês: F1 0,99 sem esquecer o portuguêsTreino com 400 mil exemplos sintéticos es/en + retenção pt-BR. Avaliação independente: 0,9917 em es/en, 0,9910 em holdout cego, 0,9708 de retenção.09Régua internacional47 países: o documento certo, com o dígito conferido240 tipos de documento de 47 países, 92 deles com dígito verificador conferido — e o apelido diz qual documento era: [CF_IT_1], [NIF_PT_2].10DocumentosOCR: a foto do documento também é documentoPNG e PDF escaneado passam por OCR e saem anonimizados — provado contra a produção real, não só em ambiente de teste.11DocumentosAnonimizar mantendo o formato: XLSX volta XLSXXLSX, DOCX, PPTX, CSV e TXT descem anonimizados no formato original — e o PDF tem dois caminhos: reversível ou tarja preta irreversível.12Isolamento40 pedidos ao mesmo tempo, zero contaminaçãoCada pedido com dados únicos, respostas conferidas par a par: nenhum apelido de um cliente apareceu na resposta de outro.13CapacidadeEscala medida: onde o produto satura de verdadeMedido, não estimado: o modelo satura a ~21 req/s por unidade; a camada web custa 11% e o modelo 89%. Um milhão de textos/dia cabe em 2-3 unidades.14Integração de IAO canário do WikiSecret: prova pela rede realUm cliente externo, por HTTPS, contra a produção de verdade: handshake MCP completo, ferramenta chamada, cofre bloqueado, token revogado. 15/15.15ProcessoO portão do deploy: nada sobe sem provaToda versão roda a bateria inteira DENTRO da imagem nova antes de tocar produção — e se a fumaça falhar no ar, volta sozinha para a anterior.16ProcessoQA no navegador real: os três estados de honestidadePlaywright contra produção: deslogado, plano Grátis e Pro sem cérebro — cada tela tem de dizer a verdade sobre o que o usuário pode.17ProcessoAs 7 provas do ar, num comando sóFumaça web, canário MCP, E2E de navegador, QA forte, documentos com OCR, ingestão do WikiSecret e concorrência — contra a produção de verdade.18SegurançaRed-team na ponte: o vazamento que nós mesmos achamos21 ataques em 5 vetores contra a ponte de IA. O achado alto: um campo raro ia cru ao provedor. Reproduzido, consertado, provado — e contado aqui.19SegurançaA conta protegida: rate-limit, webhook fechado, log limpoCódigo de login com teto por hora (e o teto não zera sozinho), webhook de pagamento que recusa sem assinatura, token redigido no log de acesso.20Uso realDogfood em 392 documentos reais: o que teste sintético não vêUsamos o produto nos nossos próprios documentos técnicos. Achamos em um dia o que 8 dias de teste verde não acharam — e consertamos medindo.21Uso realWikiSecret sob prova: busca, grafo e a função que nunca funcionouA prova escrita antes do conserto revelou: 'vizinhos' devolvia lista vazia desde sempre — e custava 55 s para isso. Hoje: 0,13 s, respondendo.
Os testes que ainda vamos fazer
5 páginas — declaradas antes de existirem, para ninguém confundir plano com resultado.
22PlanejadoO teste cego com documentos de clientesA régua atual usa estrutura real com dado sintético. O teste que falta é o documento de cliente de verdade — sem a gente nunca ver o dado.23PlanejadoCobertura do Privacy Filter na mesma régua (em andamento)As tabelas da página inicial já mostram anonimização completa dos três motores; faltam cobertura e falso positivo por tipo dos dois concorrentes.24PlanejadoBateria de ruído de OCR e nomes corrompidosO↔0, l↔1, acento comido: a fraqueza estreita achada pela rodada adversarial vira bateria sistemática — e depois, dado de treino.25PlanejadoO modelo em italiano (a regra já foi)Codice fiscale, partita IVA e CIE já entram pela régua determinística. O que falta é o modelo entender nome e endereço em italiano.26PlanejadoRéplicas, GPU e fila: o plano de crescer sem quebrar a promessaO estudo de escala já disse onde dói (o modelo, 89%). O plano: réplicas do motor, batching em GPU e fila assíncrona — sem nunca gravar o mapa em disco.