T
AI Quality Analyst - English / Avaliação de Personalização do Gemini
Turing · Remoto · Nerdin
A combinarCLT
Sobre a vaga
🔍 Oportunidade remota para analistas com bom inglês e olhar crítico! Esta vaga é oferecida pela Turing, aceleradora de pesquisa para os principais laboratórios de IA do mundo. Inscreva-se pelo link abaixo: 👉 https://work.turing.com/r/Qn_JlY8Xjz Como AI Quality Analyst, você vai avaliar uma nova funcionalidade de personalização do Gemini, medindo o quanto o modelo usa informações das suas conversas anteriores, do Gmail, do Google Search e da sua atividade no YouTube para deixar as respostas mais relevantes e úteis. A função exige uma mistura rara de criatividade e rigor analítico: você cria os prompts a partir das suas experiências pessoais e depois avalia a qualidade das respostas personalizadas em dimensões como fundamentação, integração e utilidade. ATENÇÃO, requisito incomum: é necessário usar sua conta pessoal principal do Google, e não uma conta de teste, com as fontes de dados pessoais habilitadas para que a avaliação seja genuína. Avalie se você está confortável com isso antes de se candidatar. Principais atividades: - Criar e executar prompts conversacionais de múltiplos turnos (normalmente de 1 a 5) que exijam que a IA use suas informações e experiências pessoais - Avaliar as respostas do modelo com base na sua intenção original, verificando se a personalização foi aplicada de forma adequada - Analisar problemas de fundamentação, garantindo que afirmações sobre você tenham respaldo em evidência e não sejam inferências equivocadas ou alucinações - Avaliar a qualidade da integração, verificando se os dados pessoais foram incorporados de forma natural, sem narração robótica e excessiva - Comparar e ranquear duas respostas do modelo lado a lado para determinar qual é mais útil, fácil de usar e agradável - Escrever justificativas claras e defensáveis para cada comparação, apontando exatamente em que turno da conversa o problema ou o acerto ocorreu - Extrair e verificar as informações de debug do modelo para confirmar que os resumos de conversa e as fontes de dados foram usados corretamente - Manter higiene de dados rigorosa, apagando as conversas de avaliação para não poluir seu histórico futuro Detalhes do compromisso: - Ao menos 4 horas por dia e até 40 horas por semana - 4 horas de sobreposição com o fuso PST (horário do Pacífico dos EUA) - Contrato de 3 meses, em regime de prestação de serviços - Disponibilidade em tempo integral no seu fuso local, já que o time opera 24 horas Processo seletivo: candidatos pré-selecionados recebem um formulário de interesse. Após a análise do perfil, é enviada uma avaliação que precisa ser concluída em 24 horas. Aprovados nessa etapa são contatados para discutir os requisitos de pré-onboarding.
Candidatura
Publicado mês passado
Mais vagas em Turing
T
Turing
Vagas abertas nesta empresa: 4