Avaliando modelos fine-tunados (A/B e métricas)

Módulo 9 · aula 5 — precisão, consistência e comparação A/B

Objetivos

• Medir precisão e consistência
• Comparar modelos com testes A/B

Tempo de estudo sugerido: 40 min. As legendas já aparecem no vídeo; a faixa “Português” do player serve a leitores de tela e buscas.

Créditos dos trechos de terceiros

• IBM Technology — “LLM as a Judge: Scaling AI Evaluation Strategies” · trecho 00:03.70–00:09.60 · ver no YouTube
• IBM Technology — “LLM as a Judge: Scaling AI Evaluation Strategies” · trecho 00:59.90–01:05.00 · ver no YouTube