# Prova do llm-local

Rodada de 2026-09-25 12:21, contra `http://127.0.0.1:8785/llm`, 3 vezes cada caso, chamadas em série. Latência medida no cliente (ida e volta HTTP). Estado do pet: `32 + 16 + 8`, nenhum par igual. Histórico e memórias são os EXEMPLOS fictícios de `demo/exemplos.json`.

## Resumo

- Latência pet: média 9.6 s, mín 5.8 s, máx 19.5 s (n=15)
- Latência avaliar (só chamadas à LLM; a vazia o servidor responde sem LLM): média 6.4 s, mín 4.5 s, máx 14.4 s (n=9)
- Falhas automáticas: 0
- Checagem automática do pet: expressão regular por iguais/par/repetido/dobro, e por 24/40/48/56 (resultados possíveis) — em negrito quando aparece em comentar/ajuda_1/ajuda_2. Lida também a olho.

## Pet — controle negativo (não pode sugerir juntar iguais)

| pedido | memórias | # | nível | ms | fala | fala em iguais? | dá resultado? |
|---|---|---|---|---|---|---|---|
| comentar | sim | 1 | nenhuma | 6512 | O papel ficou cheio de números; meu focinho quase encosta nele! Será que ele tem cheiro de terra molhada? | não | não |
| comentar | sim | 2 | provocacao | 5840 | Meu focinho está curioso com essa linha de números… ela parece um caminho de pedrinhas até o canteiro inteiro. | não | não |
| comentar | sim | 3 | nenhuma | 6717 | Esse papel cheio de números parece um mapa de cheiros... Eu fico aqui farejando, mas ele não tem nem um pouquinho de cheiro de terra molhada. | não | não |
| ajuda_1 | sim | 1 | provocacao | 13227 | Meu focinho aponta para a linha de baixo: qual dupla parece mais fácil de juntar até uma dezena? A gente pode cheirar esse caminho primeiro. | não | não |
| ajuda_1 | sim | 2 | provocacao | 10326 | Lembra do armazém da Lia? Meu focinho está curioso com os três números da linha de baixo: quais dois parecem querer ficar juntinhos? | não | não |
| ajuda_1 | sim | 3 | provocacao | 10741 | Meu focinho parou na linha de baixo: entre os três números, qual chama seu olhar primeiro? | não | não |
| ajuda_2 | sim | 1 | pista | 9291 | O papel já deixou três números na linha: 32, 16 e 8. Eu tentaria juntar dois deles, como no armazém da Lia, e deixar o novo número junto do que sobrar. | não | não |
| ajuda_2 | sim | 2 | pista | 6967 | Meu focinho repararia nos três números da linha: eu tentaria juntar dois, quebrando um deles até formar uma dezena, e depois seguiria com o que sobrar. | não | não |
| ajuda_2 | sim | 3 | pista | 6741 | O papel já juntou 32, 16 e 8; eu tentaria escolher dois e pensar neles juntos, como a gente fez com os sacos no armazém da Lia. | não | não |
| ajuda_2 | não | 1 | pista | 10172 | Eu repararia nos três números da linha; eu tentaria juntar primeiro dois que deixem a conta mais redonda e depois olharia o que sobrou. | não | não |
| ajuda_2 | não | 2 | pista | 7263 | Eu tentaria começar pelo 32 e pelo 16: separo dezenas e unidades, como quem fareja cada montinho antes de juntar. | não | não |
| ajuda_2 | não | 3 | pista | 8633 | Meu focinho repararia nos três números da linha. Eu tentaria juntar dois, completando uma dezena com as unidades e vendo o que sobra. | não | não |
| ajuda_3 | sim | 1 | quase_solucao | 6236 | Eu começaria por 32 + 16, quebrando um deles para chegar a uma dezena; depois, juntaria o que sair com 8 — essa última conta fica contigo. | não | não |
| ajuda_3 | sim | 2 | quase_solucao | 19517 | Eu começaria em 32+16, separando o 16 para completar dezenas; depois, juntaria o resultado com o 8 que sobrar. Aí eu deixaria você escrever o último número. | não | não |
| ajuda_3 | sim | 3 | quase_solucao | 16270 | Eu começaria juntando 32 e 16; depois, olharia para o 8 que ficou e deixaria a última continha para você fechar. Meu focinho já sente cheiro de canteiro! | não | não |

## Pet — sem memórias × com memórias (mesmo estado, pedido ajuda_2)

| # | sem memórias | com memórias |
|---|---|---|
| 1 | Eu repararia nos três números da linha; eu tentaria juntar primeiro dois que deixem a conta mais redonda e depois olharia o que sobrou. | O papel já deixou três números na linha: 32, 16 e 8. Eu tentaria juntar dois deles, como no armazém da Lia, e deixar o novo número junto do que sobrar. |
| 2 | Eu tentaria começar pelo 32 e pelo 16: separo dezenas e unidades, como quem fareja cada montinho antes de juntar. | Meu focinho repararia nos três números da linha: eu tentaria juntar dois, quebrando um deles até formar uma dezena, e depois seguiria com o que sobrar. |
| 3 | Meu focinho repararia nos três números da linha. Eu tentaria juntar dois, completando uma dezena com as unidades e vendo o que sobra. | O papel já juntou 32, 16 e 8; eu tentaria escolher dois e pensar neles juntos, como a gente fez com os sacos no armazém da Lia. |

## Avaliar — controle negativo

| caso | esperado | # | atende | fonte | ms | comentário |
|---|---|---|---|---|---|---|
| jjj | false | 1 | false | llm | 6604 | O bilhete ainda não conta um caminho para descobrir quantas mudas cabem no canteiro. |
| jjj | false | 2 | false | llm | 5943 | O bilhete ainda não conta como você descobriu quantas mudas cabem no canteiro. |
| jjj | false | 3 | false | llm | 5560 | O bilhete ainda não conta como juntou as fileiras e as covas para descobrir quantas mudas cabem no canteiro. |
| fora_do_assunto | false | 1 | false | llm | 14449 | O bilhete ainda não explica como contar as covas nem quantas mudas cabem no canteiro. |
| fora_do_assunto | false | 2 | false | llm | 5107 | O bilhete ainda não conta como você descobriu quantas mudas cabem no canteiro. |
| fora_do_assunto | false | 3 | false | llm | 5101 | O bilhete ainda não conta como descobrir quantas mudas cabem no canteiro. |
| boa | true | 1 | true | llm | 5476 | O bilhete mostra um caminho claro, juntando as bandejas e as mudas de cada parte. |
| boa | true | 2 | true | llm | 4968 | O bilhete mostra um caminho claro, juntando partes iguais até chegar ao total do canteiro. |
| boa | true | 3 | true | llm | 4473 | O bilhete conta como você juntou as mudas das bandejas até chegar ao total do canteiro. |
| vazia | false | 1 | false | servidor | 0 | Ainda não tem nada escrito aqui. |
| vazia | false | 2 | false | servidor | 0 | Ainda não tem nada escrito aqui. |
| vazia | false | 3 | false | servidor | 0 | Ainda não tem nada escrito aqui. |

## Fallback

Instância com `LLM_TIMEOUT=1` → `{"ok": false, "erro": "timeout after 1.0s", "latencia_ms": 1012}` em 1013 ms. A página mostra a fala roteirizada.

## Leitura a olho (quem construiu, não juiz)

- Nenhuma fala do pet sugere juntar iguais nem dá resultado (24/40/48/56) nos 15 casos; os degraus 1 e 2 não dão o passo exato.
- Com memórias, a fala traz o "armazém da Lia" e o "a gente" em 1–2 de 3; sem memórias, não há lembrança nenhuma. Numa rodada anterior, antes de limitar a lembrança a uma por fala, quase toda fala abria com "Lembra do armazém da Lia?" — o prompt agora trava isso.
- Defeitos que ficam: o tique "meu focinho" aparece em quase metade das falas; "o papel já juntou 32, 16 e 8" (ajuda_2 com memórias, #3) descreve a tela com um verbo impreciso; o ajuda_1 #1 fala em "juntar até uma dezena", que está mais para pista que provocação e foi classificado como provocação.
- Na rodada anterior, um comentário de "fora do assunto" disse "nem chega a 64", entregando o total do critério. O prompt passou a proibir número do critério no comentário; nesta rodada não se repetiu (3 de 3).
- Latência varia: a maioria entre 5 e 10 s, com picos de 14 a 20 s. O timeout do servidor é 25 s.