Na minha visão, a grande oportunidade não está em “saber escrever prompts”, mas em transformar conhecimento sênior de um domínio em avaliações confiáveis para sistemas de IA. Foi isso que permitiu a Mo Zohourian passar de US$ 15 para até US$ 100 por hora trabalhando com treinamento e avaliação de modelos.
Segundo o Xataka.com.br, Zohourian chegou ao Canadá em 2023 com 15 anos de experiência em liderança comercial e empreendedorismo. Depois de dez meses procurando emprego, encontrou no LinkedIn uma vaga incomum: avaliar e treinar modelos de inteligência artificial, inicialmente sem experiência técnica.
A trajetória chama atenção, mas os valores não devem ser tratados como salário garantido. Eles representam uma combinação de escassez de conhecimento, qualidade das avaliações e dificuldade de encontrar pessoas capazes de validar decisões complexas de agentes autônomos.
A história por trás dos US$ 100 por hora
Zohourian começou executando tarefas simples, como comparar respostas, identificar problemas de lógica e avaliar instruções produzidas por modelos. A remuneração inicial era de US$ 15 por hora, aproximadamente R$ 85 na conversão apresentada pela matéria.
Depois de passar por testes de raciocínio, interpretação textual e matemática, seu valor horário subiu para US$ 30 e, posteriormente, US$ 35. O salto seguinte veio quando empresas perceberam que um modelo responsável por negociação e vendas precisava aprender com alguém que realmente tivesse conduzido esse tipo de operação.
É aqui que mora a lição técnica: conhecimento comercial não foi um detalhe de currículo. Ele virou parte do conjunto de dados usado para definir o que constitutes uma boa decisão. Não basta saber se a resposta está gramaticalmente correta. É preciso avaliar margem, autorização, relacionamento com cliente, limites de desconto, momento da negociação e consequences de uma ferramenta ser acionada.
O que “treinar IA” realmente significa
Na minha experiência, esse termo esconde quatro atividades diferentes. Confundi-las é um dos erros mais comuns entre quem está começando.
- Coleta e rotulação: classificar textos, imagens, intenções ou qualidade de respostas.
- Dados de preferência: comparar duas respostas e indicar qual atende melhor ao objetivo.
- Engenharia de avaliação: criar testes, rubricas e métricas para detectar regressões.
- Red teaming: tentar a produzir respostas inseguras, inválidas ou caras operacionalmente.
Participar dessas etapas não significa necessariamente treinar os pesos de uma rede neural. Em muitos casos, o profissional produz feedback, rankings, demonstrações, críticas estruturadas e exemplos negativos. Esse material pode alimentar ajuste supervisionado,, RLHF ou simplesmente um processo de quality assurance.
Eu faço uma distinção importante: uma preferência não é automaticamente uma verdade. Se duas pessoas discordam sobre a melhor resposta, preciso de critérios explícitos, calibração entre avaliadores e exemplos que representem situações reais. Sem isso, o modelo pode aprender a reproduzir o viés de quem escreveu a rubrica.
Por que agentes de IA exigem conhecimento de negócio
Quando o modelo apenas gera texto, avaliar a resposta final pode ser suficiente em alguns cenários. Com agentes autônomos, a resposta é apenas o último elemento de uma sequência. Eu também preciso observar o estado da tarefa, as ferramentas escolhidas, os argumentos enviados, o resultado retornado e a decisão final.
Imagine um agente de vendas com acesso a cinco ferramentas. Ele pode consultar o cliente, simular margem, gerar proposta, pedir aprovação e criar o pedido. Uma resposta pode parecer excelente, mas o agente ter escolhido a ferramenta errada, usado o identificador de outra conta ou aplicado um desconto sem autorização.
Por isso, a avaliação de um agente deve registrar pelo menos cinco dimensões:
- Seleção da ferramenta: a ação escolhida é apropriada para aquela etapa?
- Argumentos: os parâmetros estão corretos, completos e seguros?
- Estado: o agente preservou as informações obtidas anteriormente?
- Recuperação: ele reage bem a erros ou tenta mascarar uma falha?
- Resultado: a ação objetivo sem violar as regras do negócio?
Esse é o tipo de problema em que um profissional de vendas experiente pode superar um generalista. Ao mesmo tempo, um desenvolvedor consegue transformar esse conhecimento em testes determinísticos, coletar trajetórias e conectar os resultados a métricas observáveis.
As alternativas reais para entrar nessa área
Nem todo mundo precisa começar diretamente com agentes de negociação. Na prática, eu vejo cinco caminhos possíveis:
- Avaliação generalista: plataformas como Outlier e DataAnnotation oferecem tarefas de texto, lógica e raciocínio. É uma porta de entrada, mas a disponibilidade costuma variar.
- Avaliação de código: programação ajuda em tarefas de revisão, segurança, correção, testes e comparação de soluções. A barreira técnica é maior, mas também permite entregar um trabalho mais verificável.
- Avaliação especializada: profissionais de Direito, saúde, finanças, vendas ou suporte podem avaliar se o modelo respeita regras reais da atividade.
- Red team de agentes: consiste em atacar o sistema com cenários adversariais. É uma função mais técnica e normalmente exige conhecimento de segurança, APIs e arquiteturas agentic.
- Consultoria de avaliação: em vez de depender apenas de plataformas, o profissional cria rubricas, testes automatizados e painéis de qualidade para uma empresa.
Minha recomendação é usar plataformas para aprender o processo, mas não permanecer nelas indefinidamente. Um portfólio com um fluxo anonimizado, uma rubrica bem explicada e testes funcionais vale mais do que uma lista de tarefas concluídas.
Na Prática: como transformar conhecimento de domínio em avaliação de IA
Eu seguiria este processo para construir uma avaliação aplicável tanto a uma vaga quanto a um produto real:
- Escolha um fluxo conhecido. Defina início, ferramentas disponíveis, resultado esperado e ações proibidas.
- Transforme regras implícitas em critérios. Em vendas, exemplos objetivos incluem limite de desconto, alçada de aprovação e validação da conta.
- Registre a trajetória completa. Não avalie somente a resposta final. Preserve cada chamada de ferramenta, seus argumentos e seus retornos.
- Separe regras determinísticas de julgamento humano. Desconto máximo pode ser verificado no código; tom da negociação exige avaliação semântica.
- Calibre os avaliadores. Alguém deve revisar divergências e mostrar por que uma decisão foi aceita ou rejeitada.
- Crie um pacote de regressão. O mesmo conjunto de cenários deve ser executado antes e depois de cada alteração no agente.
Um exemplo simples em Python pode verificar parte de um agente comercial. As regras de negócio ficam explícitas, enquanto a qualidade da negociação ainda pode ser avaliada por uma pessoa.
import json
from dataclasses import asdict, dataclass
from typing import Any
@dataclass
class EvaluationResult:
score: int
passed: bool
violations: list[str]
checks: dict[str, bool]
def evaluate_sales_trace(
trace: list[dict[str, Any]],
max_discount: float = 0.20
) -> EvaluationResult:
if not trace:
raise ValueError("A trajetória do agente não pode estar vazia")
tool_names = [str(step.get("tool", "")) for step in trace]
arguments = [step.get("arguments") or {} for step in trace]
discounts = [
float(item.get("discount", 0) or 0)
for item in arguments
]
def first_index(name: str) -> int:
return tool_names.index(name) if name in tool_names else 10**9
approval_request_index = first_index("request_discount_approval")
approval_granted_index = first_index("discount_approved")
order_index = first_index("create_order")
has_discount = any(value > 0 for value in discounts)
has_order = order_index!= 10**9
approval_is_valid = (
approval_granted_index < len(arguments)
and arguments[approval_granted_index].get("approved") is True
)
approval_before_order = (
not (has_discount and has_order)
or (
approval_request_index < order_index
and approval_is_valid
)
)
checks = {
"consultou_a_conta": "get_account" in tool_names,
"desconto_dentro_da_politica": all(
0 <= value <= max_discount for value in discounts
),
"solicitou_aprovacao": (
not has_discount or approval_request_index!= 10**9
),
"aprovacao_antes_do_pedido": approval_before_order,
}
score = round(100 * sum(checks.values()) / len(checks))
return EvaluationResult(
score=score,
passed=score == 100,
violations=[name for name, valid in checks.items() if not valid],
checks=checks,
)
trajectory = [
{
"tool": "get_account",
"arguments": {"account_id": "cliente-42"},
},
{
"tool": "propose_discount",
"arguments": {"discount": 0.15},
},
{
"tool": "request_discount_approval",
"arguments": {"discount": 0.15},
},
{
"tool": "discount_approved",
"arguments": {"approved": True},
},
{
"tool": "create_order",
"arguments": {
"account_id": "cliente-42",
"discount": 0.15,
},
},
]
print(json.dumps(
asdict(evaluate_sales_trace(trajectory)),
ensure_ascii=False,
indent=2,
))Se o desconto for alterado para 0.35, por exemplo, o teste continua registrando a aprovação, mas reprova a política comercial. Isso é melhor do que pedir para outro modelo decidir se 35% é aceitável. Regras determinísticas não discutem, não ficam cansadas e produzem o mesmo resultado em qualquer ambiente.
Erros comuns ao buscar trabalho na avaliação de IA
- Tratar a vaga como renda extra temporária. Sem histórico, consistência e portfólio, a concorrência será grande e os contratos poderão ser instáveis.
- Copiar respostas de outros modelos. Avaliar IA usando a própria IA cria circularidade. A saída pode até parecer convincente, mas não constitute um julgamento independente.
- Avaliar apenas o texto final. Um agente pode encerrar com uma mensagem perfeita depois de executar uma operação inválida.
- Usar rubricas vagas. “Seja helpful”, “responda bem” e “não seja tendencioso” não explicam o comportamento esperado. Eu prefiro critérios observáveis e exemplos contrastantes.
- Ignorar privacidade. Nunca envie documentos, dados de clientes, código proprietário ou segredos empresariais para plataformas sem autorização contratual.
- Confundir conhecimento técnico com especialização. Programar é útil, mas entender o domínio continua sendo o diferencial que permite identificar erros semanticamente graves.
- Aceitar qualquer valor. O mercado é variável. Antes de começar, eu verificaria política de pagamento, disponibilidade, critérios de seleção, tratamento de dados e reputação da empresa.
O que realmente aumenta seu valor por hora
Na minha avaliação, quatro competências formam a combinação mais forte:
- Domínio: experiência prática em vendas, operações, programação, segurança ou outra área específica.
- Capacidade de crítica: justificar por que uma resposta é melhor e apontar riscos que outros avaliadores não perceberam.
- Engenharia: registrar traces, automatizar verificações e transformar decisões humanas em ativos reutilizáveis.
- Consistência: manter o mesmo padrão de qualidade em centenas de exemplos, sem clicar rapidamente para aumentar volume.
Se você é desenvolvedor, eu não tentaria parecer um especialista em machine learning sem entender os fundamentos. Em vez disso, mostraria algo concreto: uma rubrica, um caso de teste, um avaliador determinístico e um painel com taxa de falhas por categoria. É uma demonstração muito mais forte do que dizer que “trabalha com IA”.
FAQ sobre carreira em avaliação e treinamento de IA
Preciso de diploma ou experiência prévia em IA?
Não necessariamente. A história contada pelo Xataka.com.br mostra alguém sem experiência técnica na área, mas com 15 anos de vivência comercial. Cada plataforma define seus próprios critérios, e tarefas mais complexas normalmente exigem testes ou conhecimento especializado.
É necessário saber programar para trabalhar com RLHF?
Não para todas as funções de avaliação, mas programação ajuda bastante. Ela permite criar testes, inspecionar respostas, registrar tool calls, automatizar verificações e identificar problemas que uma leitura manual deixaria passar.
Essa remuneração é estável?
Não. Plataformas podem suspender tarefas, alterar ou encerrar projetos. Taxas de até US$ 100 por hora representam o teto de projetos especializados, não um salário-base garantido. Trabalho direto com empresas e habilidades de engenharia de avaliação oferecem mais controle, mas também exigem responsabilidade maior.
Como encontrar essas oportunidades?
Eu começaria pesquisando termos como AI trainer, model evaluator, RLHF specialist, human feedback, AI red team e agent evaluation. Também vale entrar em grupos de engenharia de IA, observar empresas que contratam especialistas por domínio e acompanhar plataformas conhecidas, sempre confirmando as regras atuais.
Como evitar golpes nessa área?
Desconfie de propostas que cobram taxa de acesso, treinamento ou equipamento. Verifique a empresa, exija contrato, confirme quem fará os pagamentos e nunca forneça dados confidenciais. Se a tarefa envolver código, use um repositório isolado e dados sintéticos até existir uma base legal clara para trabalhar com informações reais.
Gostou? Me segue no GitHub e deixa um comentário se tiver dúvida ou quiser aprofundar algum ponto.