Os números
Medido contra documento brasileiro, não contra o próprio gerador
Este é o ponto em que a maioria das ferramentas se engana sozinha: elas
medem o modelo com dados parecidos com os do treino. O número sai lindo e
não significa nada. Nós montamos uma régua separada.
600documentos de teste
5.070dados a encontrar
1.000processos reais do CNJ
83tipos de dado · Brasil e mais 47 países
99,60%cobertura MIA
0,02%falso positivo
98,17%dados 100% anonimizados
0,24%dados perdidos inteiros
Como a régua foi feita
Puxamos 1.000 processos públicos da API DataJud do Conselho Nacional
de Justiça, de dez tribunais. Isso deu estrutura real: nome de vara,
comarca, classe, movimentação e número de processo com dígito de verdade.
Em cima disso plantamos dado pessoal sintético, com dígito válido,
em posição conhecida.
Nenhum dado pessoal real, de ninguém, em momento algum. E como nós
plantamos cada dado, sabemos exatamente onde ele está — a correção é
perfeita, sem ninguém marcar à mão.
Cem desses documentos não têm nenhum dado pessoal, e existem só
para medir falso positivo. Eles são feitos com armadilhas de verdade,
como "Vara Única da Comarca de Piranga" e "Casimiro de Abreu" — nomes de
lugar que qualquer modelo confunde com nome de gente.
O comparativo
| Motor | Cobertura |
Falso positivo |
Docs com dado perdido | Confere dígito? |
|---|
| MIA Privacy | 99,60% | 0,02% | Sim |
| OpenAI Privacy Filter | medição na mesma régua em andamento | Não |
| Nosso motor anterior | medição na mesma régua em andamento | Não |
Como contamos "documento
com dado perdido": documento em que algum dado foi perdido
inteiro. Não conta o caso em que sobrou só pontuação de borda —
o ponto final de "Ltda.", por exemplo, é o modelo fechando o nome da
empresa um caractere antes, não um dado exposto.
A mesma regra foi aplicada aos três motores, senão não seria
comparação, seria propaganda.
| Motor | Dado 100% anonimizado |
Sobrou só farelo |
Perdido inteiro |
|---|
| MIA Privacy | 98,17% | 1,60% | 0,24% |
| OpenAI Privacy Filter | 74,20% | 14,83% | 10,97% |
| Nosso motor anterior | 75,11% | 15,46% | 9,43% |
Nos nossos 95% do farelo é um caractere só — quase sempre o ponto
de "Ltda.". No Privacy Filter da OpenAI só 8% são de um caractere: o que
sobra lá são pedaços de verdade, como , s/n de um endereço
ou Junior de um nome.
E é justo dizer uma coisa a favor deles: boa parte do que a
ferramenta da OpenAI perde inteiro é idade e valor — dois
tipos que nós mesmos deixamos desligados por padrão. Descontando isso, a
diferença diminui. O que não diminui é o resto: ela perdeu 68 nomes
de pessoa por inteiro na mesma régua.
Tipo por tipo
É aqui que a diferença aparece de verdade. Cobertura por tipo de dado
brasileiro, mesma régua, mesmo dia.
Os três motores foram
medidos na mesma régua, no mesmo dia, com a mesma métrica.
O Privacy Filter da OpenAI é um modelo aberto, gratuito e
tecnicamente muito bom — e é honesto dizer isso. Ele detecta oito
categorias genéricas: conta, endereço, e-mail, pessoa, telefone, URL,
data e segredo. É uma ferramenta feita para o mundo inteiro.
Como account_number é uma categoria genérica, ela acaba
pegando boa parte dos números brasileiros. O preço disso aparece em duas
colunas: ela marca 8,46% dos caracteres em documentos que não têm
nenhum dado pessoal — contra 0,02% nossos — e não sabe o que
marcou. Para o modelo dela, CPF, CNPJ e número de processo são a
mesma coisa.
Saber o que é cada dado não é detalhe estético. É o que
permite desfazer a troca corretamente e é o que a LGPD pede quando pergunta
quais categorias de dado a sua empresa trata.