O teste que fazemos antes de pôr IA no processo de um distrito
A maioria dos pilotos de IA nas escolas encalha pela mesma razão pouco glamorosa: toda a gente concorda em experimentar antes de alguém combinar o que seria sucesso, por isso o que acaba por ser medido é o entusiasmo. Este é o teste que fazemos antes de escrever qualquer código.
- Um caso de uso começa com uma métrica que consegue nomear e alguém que já olha para ela.
- Os melhores candidatos iniciais são de grande volume, baixo risco e já têm um adulto a rever o resultado.
- Defina a condição que terminaria o piloto antes de o piloto começar.
O problema com a pergunta
Todas as semanas alguém num distrito faz uma variação da mesma pergunta: devíamos usar IA para isto? Raramente tem uma resposta limpa, porque aquilo para que se aponta costuma ser um processo inteiro e não uma tarefa. O primeiro passo é cortar esse processo em pedaços pequenos o suficiente para se poder avaliar.
Com os pedaços em cima da mesa, a maioria responde-se sozinha. Alguns resistem, e esses são os que merecem conversa a sério.
O teste, em três perguntas
Fazemos as mesmas três perguntas a qualquer tarefa candidata, por esta ordem. Uma tarefa que falhe a primeira não avança, porque há pouco a discutir sobre modelos para trabalho que ninguém está a medir.
Primeira, que número se mexe se isto resultar, e quem é que já olha para ele? Segunda, quando o resultado está errado, algum adulto apanha, e com que rapidez? Terceira, quanto custa manter isto a funcionar daqui a dezoito meses, incluindo a pessoa que tem de se importar com isso depois de o financiamento acabar?
A maioria dos projetos de IA falhados nas escolas eram boas ideias que ninguém combinou como avaliar.
Como são os bons candidatos
As tarefas que sobrevivem a este teste costumam ter a mesma forma. São geralmente:
- De grande volume, para que uma pequena poupança por item se acumule em tempo que alguém sente.
- De baixo risco por item, em que um resultado errado é chato e é apanhado bem antes de chegar a um aluno ou a uma família.
- Já revistas por um adulto, por isso existe um ponto de controlo a fazer o controlo de qualidade.
Novidade, interesse da direção e o comunicado de imprensa do distrito ao lado são todas razões legítimas para ir ver. Vale a pena mantê-las separadas das razões para construir.
Perguntas que nos fazem sobre isto
Quanto tempo deve durar um piloto antes de decidirmos?
Deixe correr o tempo suficiente para ver a métrica mexer-se duas vezes, o que na maioria das operações escolares significa quatro a seis semanas, e mantenha tudo dentro do mesmo período. Se ao fim de seis semanas ainda tiver dúvidas, olhe primeiro para a medição.
E se a resposta for que a IA não vai ajudar?
Então é essa a entrega, e é uma entrega útil. Já escrevemos relatórios cuja principal recomendação era corrigir um processo de introdução de dados e voltar à pergunta daqui a um ano, e o distrito poupou um ciclo de orçamento.
Quer esta análise aplicada ao seu próprio processo?
Fale connosco