Machine Learning: guia prático do treino à produção de modelos

Machine Learning: guia prático do treino à produção de modelos

Machine Learning não transforma dados em previsões por mágica: depende de exemplos representativos, uma métrica bem escolhida e validação que imite o uso real. Quando um desses elementos falha, o modelo pode parecer excelente nos testes e ainda assim errar justamente quando chega à produção. Entender o fluxo completo — dos dados à monitorização — é mais útil do que começar escolhendo um algoritmo sofisticado.

Segundo o Sapo.pt, a aprendizagem automática permite que sistemas encontrem padrões em exemplos, em vez de receberem uma regra programada para cada situação. Essa é uma boa definição inicial. Na prática, porém, o trabalho de Machine Learning costuma estar menos em “ensinar a máquina” e mais em definir o problema, preparar os dados e verificar se o padrão aprendido continua válido fora do conjunto de treino.

O que é Machine Learning e como ele difere da programação tradicional

Na programação tradicional, escrevo regras que transformam entradas em resultados: entrada + regras = saída. Num sistema de aprendizagem supervisionada, forneço exemplos de entradas e respostas esperadas; o algoritmo ajusta um modelo para aproximar essa relação: entrada + respostas conhecidas = modelo. Depois, uso o modelo para estimar respostas para entradas novas.

Considere um filtro de spam. Em vez de codificar manualmente todas as combinações possíveis de remetente, palavras e links suspeitos, posso treinar um classificador com emails já rotulados como “spam” ou “legítimo”. O modelo aprende associações estatísticas. Isso não significa que compreenda a intenção da mensagem: significa que encontrou características que ajudam a distinguir as classes nos exemplos disponíveis.

Nem todo problema exige Machine Learning. Se uma regra simples resolve o caso de forma clara, previsível e barata, uma solução convencional pode ser melhor. Uso ML quando há padrões difíceis de descrever manualmente, dados suficientes e uma forma objetiva de medir se a previsão ajuda.

As etapas do fluxo de Machine Learning, dos dados à previsão

1. Definir o problema e a métrica

Antes de escolher uma biblioteca, defino o que o sistema precisa prever e como vou avaliar o resultado. “Identificar spam” ainda é vago: devo reduzir mensagens indesejadas na caixa de entrada ou evitar que emails legítimos sejam bloqueados? Esses objetivos têm custos diferentes.

A acurácia, isto é, a proporção total de previsões corretas, pode enganar quando as classes estão desequilibradas. Se apenas 1% das transações for fraudulenta, um modelo que classifica tudo como legítimo alcança 99% de acurácia e não encontra fraude alguma. Nesse cenário, precisão, recall, F1 e a matriz de confusão costumam revelar mais.

2. Recolher e entender os dados

Os dados podem vir de uma base relacional, ficheiros, eventos de aplicação, sensores ou serviços externos. Além de obter volume suficiente, verifico a origem, o significado de cada campo, a qualidade dos rótulos e a permissão para usar esses dados. Uma coluna com o nome “data” pode representar a data de criação, de atualização ou de processamento; assumir o significado errado contamina todo o experimento.

Também olho para a distribuição dos exemplos. Os emails rotulados precisam representar os que aparecerão depois: idioma, tamanho, tipos de remetente e padrões de uso. Se o conjunto de treino contém principalmente mensagens antigas, o modelo pode aprender sinais que já não aparecem no tráfego atual.

3. Preparar os dados e criar atributos

Dados reais chegam com valores ausentes, duplicados, categorias inconsistentes e formatos diferentes. A preparação transforma esses elementos numa representação que o algoritmo consegue usar. Para texto, por exemplo, é comum converter palavras em vetores numéricos; para dados tabulares, pode ser necessário tratar valores ausentes e codificar categorias.

Essa etapa exige cuidado para não introduzir informação que só existiria depois da previsão. Se tento prever se uma encomenda será cancelada, não posso usar um campo preenchido após o cancelamento. Isso é data leakage: o modelo recebe pistas indevidas e parece muito melhor no teste do que será em produção.

4. Separar treino, validação e teste

O conjunto de treino ajusta os parâmetros do modelo. A validação ajuda a comparar configurações e escolher hiperparâmetros. O teste fica reservado para uma avaliação final, depois das decisões de desenvolvimento. Separar os dados não é formalidade: é o que permite estimar como o modelo se comporta diante de exemplos que não usou para aprender.

Em dados temporais, uma divisão aleatória pode ser inadequada. Para prever o futuro, treino com períodos anteriores e testo em períodos posteriores. Em outros casos, exemplos relacionados — como várias compras da mesma pessoa — devem permanecer no mesmo grupo, para evitar que informação quase duplicada apareça nos dois lados da divisão.

5. Treinar, comparar e avaliar o modelo

O algoritmo ajusta parâmetros para reduzir uma função de erro. Posso comparar uma regressão logística, uma árvore de decisão ou métodos mais complexos, mas a escolha depende dos dados, da latência, da interpretabilidade e do custo de manutenção. Um modelo simples com resultados estáveis pode ser uma decisão melhor do que uma rede neural difícil de explicar.

Depois do treino, avalio métricas relevantes e inspeciono os erros. Pergunto quais casos foram classificados incorretamente e se os erros se concentram num idioma, num tipo de cliente ou numa faixa de valores. Uma única métrica agregada esconde problemas que podem ser importantes para o produto.

6. Colocar em produção e monitorizar

Treinar um modelo não encerra o trabalho. A aplicação precisa carregar a mesma transformação usada no treino, validar entradas e lidar com falhas. Também acompanho latência, volume de previsões, distribuição das entradas e qualidade quando os rótulos reais ficam disponíveis.

O comportamento dos dados pode mudar. Uma campanha de spam, uma mudança de produto ou uma nova política altera os exemplos que chegam ao modelo. Esse desvio, chamado data drift ou concept drift conforme o que muda, pode reduzir a qualidade sem que o código de inferência tenha sido modificado.

Na Prática: um classificador simples de emails

O exemplo abaixo treina um classificador de spam com scikit-learn. O ficheiro emails.csv deve ter duas colunas: texto, com o conteúdo da mensagem, e rotulo, com os valores spam ou legitimo. O pipeline mantém a vetorização de texto e o classificador juntos, reduzindo o risco de aplicar transformações diferentes no treino e na previsão.

  1. Reúno mensagens rotuladas e verifico se os rótulos são confiáveis.
  2. Separo uma parte dos dados para teste, preservando a proporção entre as classes.
  3. Converto o texto em atributos TF-IDF e treino uma regressão logística.
  4. Examino precisão, recall e F1 antes de considerar a integração na aplicação.
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report

# O CSV deve conter as colunas "texto" e "rotulo".
dados = pd.read_csv("emails.csv").dropna(subset=["texto", "rotulo"])

X = dados["texto"].astype(str)
y = dados["rotulo"].astype(str)

X_treino, X_teste, y_treino, y_teste = train_test_split(
    X,
    y,
    test_size=0.2,
    random_state=42,
    stratify=y
)

modelo = Pipeline([
    ("tfidf", TfidfVectorizer(
        lowercase=True,
        ngram_range=(1, 2),
        min_df=2
    )),
    ("classificador", LogisticRegression(
        max_iter=1000,
        class_weight="balanced"
    ))
])

modelo.fit(X_treino, y_treino)
previsoes = modelo.predict(X_teste)

print(classification_report(y_teste, previsoes, zero_division=0))

# Exemplo de previsão para uma mensagem nova.
mensagem = ["Ganhe agora: clique no link para receber o seu prémio."]
print(modelo.predict(mensagem)[0])

O TF-IDF atribui pesos às palavras e combinações de palavras, valorizando termos informativos sem depender apenas da frequência bruta. A regressão logística é uma linha de base eficiente e relativamente fácil de interpretar. class_weight="balanced" pode ajudar quando há desequilíbrio entre classes, mas não substitui a análise dos custos de falsos positivos e falsos negativos.

Esse código demonstra o fluxo, não constitui um filtro pronto para produção. Em aplicações reais, eu ajustaria a avaliação ao custo do erro, verificaria duplicatas antes da divisão e guardaria o pipeline treinado com controlo de versão. Também escolheria um limiar de decisão com base em validação; predict() usa o limiar padrão do classificador, que pode não corresponder à necessidade do produto.

Erros comuns em projetos de Machine Learning

  • Otimizar a métrica errada. Acurácia alta não garante que o modelo resolva o problema. Escolho métricas ligadas ao impacto dos erros e defino limites de aceitação antes de comparar modelos.
  • Deixar informação do teste entrar no treino. Ajustar o vetorizador ou preencher valores usando o conjunto inteiro pode vazar estatísticas do teste. Uso pipelines e ajusto transformações somente nos dados de treino.
  • Confiar em rótulos sem os auditar. Rótulos inconsistentes impõem um limite à qualidade possível. Verifico amostras e procuro padrões de erro na anotação antes de aumentar a complexidade do algoritmo.
  • Usar divisão aleatória em qualquer cenário. Dados temporais e entidades repetidas exigem estratégias de divisão próprias. A validação deve refletir a forma como o modelo encontrará dados quando estiver ativo.
  • Treinar uma vez e esquecer. Os dados mudam, assim como o produto. Monitorizo entradas e resultados, defino alertas e planeio como reavaliar ou treinar novamente o modelo.
  • Escolher o modelo mais complexo por princípio. Complexidade acrescenta custo de inferência, explicação e manutenção. Primeiro estabeleço uma linha de base e só avanço quando a melhoria justifica esse custo.

Machine Learning, regras ou inteligência artificial generativa?

Regras explícitas são adequadas quando a lógica é estável e pode ser descrita sem ambiguidades. Machine Learning é útil quando quero inferir padrões a partir de exemplos, como classificação de texto ou previsão de procura. Modelos generativos, por sua vez, produzem conteúdo ou respostas e podem ser usados em tarefas diferentes, como resumir documentos; não substituem automaticamente um classificador pequeno e especializado.

Na minha avaliação técnica, a decisão deve considerar manutenção, dados disponíveis, tolerância a erros, custo e explicabilidade. Um conjunto de regras pode ser mais simples de auditar. Um modelo tradicional pode ser mais barato e previsível para classificar milhares de eventos. Um modelo generativo pode ser apropriado quando a tarefa exige linguagem flexível, mas traz outras exigências de avaliação e controlo.

Perguntas frequentes sobre o fluxo de Machine Learning

Qual é a diferença entre treino e inferência?

No treino, o algoritmo usa exemplos para ajustar o modelo. Na inferência, o modelo já treinado recebe uma entrada nova e devolve uma previsão, sem ajustar os parâmetros a cada pedido.

Preciso de muitos dados para usar Machine Learning?

Depende do problema, da qualidade dos exemplos e do método. Dados bem rotulados e representativos podem valer mais do que um volume grande com ruído. Para conjuntos pequenos, regras ou modelos simples podem ser alternativas mais seguras.

Por que dividir os dados em treino e teste?

Para avaliar o comportamento em exemplos que o modelo não usou para aprender. Sem essa separação, a métrica pode medir memorização ou vazamento, em vez de capacidade de generalizar para novos casos.

Quando devo treinar novamente o modelo?

Não existe um intervalo universal. Monitorizo mudanças nos dados e na qualidade das previsões; a frequência de retreino depende da velocidade com que o problema muda e do custo de erros. Retreinar sem validar pode até piorar o resultado.

O fluxo de Machine Learning funciona melhor quando cada etapa responde a uma pergunta concreta: que previsão preciso, que dados representam o uso real, que erro é aceitável e como vou detectar degradação? Essa disciplina costuma trazer mais valor do que trocar de algoritmo sem entender os dados.

Gostou? Me segue no GitHub e deixa um comentário se tiver dúvida ou quiser aprofundar algum ponto.

Y

Yuri Sousa

Front-End Developer / Designer

Desenvolvedor apaixonado por criar experiências digitais acessíveis e visualmente perfeitas. Escrevo sobre desenvolvimento web, design e tecnologia.