Engenheiro de ML III (Habilitação para Pesquisa)

Requisitos

• 4+ anos de experiência na carreira
• Inglês avançado
• CI/CD
• Terraform
• AWS
• Kubernetes
• Linux
• Docker
• Python
• PyTorch

Conhecimentos Desejáveis

• Infraestrutura como Código
• Engenharia de plataforma
• Computação distribuída
• MLOps
• Kernels de GPU customizados
• Otimização de inferência
• Clusters de GPU

Tarefas e Responsabilidades

Sobre a Vaga

Acelere a pesquisa em machine learning construindo as fundações de engenharia, fluxos de trabalho e ferramentas compartilhadas de que os pesquisadores precisam para iterar em escala. Integrado à equipe de IA, você trabalhará com pesquisadores e engenheiros para transformar necessidades de pesquisa em evolução em capacidades confiáveis e reutilizáveis.

Diferente de uma vaga convencional de MLOps focada em implantar um único modelo ou funcionalidade bem definido, esta posição apoia um conjunto amplo e mutável de fluxos de trabalho de pesquisa, nos quais os modelos e os pipelines de ML são eles mesmos o produto. O candidato ideal tem sólida experiência em engenharia de plataforma, MLOps ou DevOps/infraestrutura, entende o ciclo de vida de ML e está motivado a ajudar pesquisadores a resolver problemas ambíguos mais rapidamente.

Principais Responsabilidades

• Parceriar com pesquisadores de ML em equipes de IA generativa para identificar gargalos e melhorar a velocidade, a escala e a confiabilidade da iteração de pesquisa
• Projetar, construir e manter infraestrutura de pesquisa reutilizável, fluxos de trabalho, templates, interfaces e automação para experimentação, treinamento, avaliação, processamento de dados e empacotamento de modelos
• Permitir experimentos reproduzíveis por meio de ambientes consistentes, gerenciamento de dependências, versionamento de artefatos e modelos, configuração, observabilidade e práticas de CI/CD
• Apoiar cargas de trabalho de ML escaláveis envolvendo grandes conjuntos de dados, clusters de GPU, computação distribuída e múltiplos modelos, serviços e componentes algorítmicos interconectados
• Entregar capacidades pragmáticas de habilitação de pesquisa para necessidades imediatas, mantendo-as alinhadas à arquitetura e ao roadmap da plataforma central de ML
• Atuar como ponte técnica entre pesquisadores e a equipe da plataforma de ML: traduzir pontos de dor da pesquisa em requisitos claros de plataforma, validar novas capacidades e ajudar as equipes de pesquisa a adotar a plataforma compartilhada
• Melhorar o caminho da pesquisa para o produto, tornando os resultados de pesquisa mais fáceis de reproduzir, integrar e testar
• Contribuir para padrões e arquitetura de engenharia de ML compartilhados entre equipes, e promover fortes práticas de engenharia por meio de colaboração prática, orientação técnica e compartilhamento de conhecimento
• Avaliar e introduzir tecnologias que melhorem substancialmente a velocidade, a confiabilidade, a escalabilidade e a eficiência de custos da pesquisa

Requisitos

• Bacharelado em Ciência da Computação, Engenharia da Computação ou área relacionada
• 4+ anos de experiência em engenharia de plataforma, DevOps, engenharia de backend, infraestrutura de ML, MLOps ou campo relacionado
• Experiência comprovada em construir infraestrutura, ferramentas ou plataformas de desenvolvimento reutilizáveis que habilitam múltiplos engenheiros ou pesquisadores, não apenas um pipeline para um único modelo ou funcionalidade predefinida
• Sólida proficiência em Python e Linux, incluindo a escrita de software mantível, automação e serviços
• Experiência prática com Docker, Kubernetes, pipelines de CI/CD, ambientes em nuvem como AWS e Infrastructure as Code como Terraform
• Compreensão prática do ciclo de vida de ML de ponta a ponta, incluindo preparação de dados, experimentação, treinamento, avaliação, gerenciamento de modelos e artefatos, empacotamento, implantação e monitoramento
• Experiência em apoiar cargas de trabalho intensivas em computação ou distribuídas e diagnosticar gargalos de confiabilidade, desempenho, recursos e custos
• Conhecimento prático de frameworks modernos de ML, como PyTorch, com familiaridade suficiente com o comportamento e as restrições de modelos para colaborar efetivamente com pesquisadores (esta não é uma vaga de pesquisador científico)
• Capacidade de trabalhar a partir de requisitos ambíguos e em evolução, descobrir a necessidade subjacente e transformá-la em capacidades de engenharia simples e reutilizáveis
• Fortes habilidades de comunicação e colaboração entre equipes de pesquisa, engenharia e plataforma

Competências Essenciais

• Pensamento sistêmico: ver fluxos de trabalho de pesquisa como um sistema interconectado que abrange dados, computação, experimentos, modelos, avaliação, plataformas e transições para produção
• Habilitação de pesquisa: empatia com pesquisadores e foco em remover atritos sem impor soluções projetadas para casos de uso mais estreitos e fixos
• Resolução de problemas: excelência técnica e curiosidade ao trabalhar em problemas abertos, requisitos incompletos e gargalos operacionais
• Responsabilidade: identificar proativamente lacunas de alto impacto, levar soluções até a conclusão e melhorar o ambiente além das tarefas atribuídas
• Adaptabilidade: conforto em construir para necessidades imediatas enquanto evolui soluções em direção a uma plataforma compartilhada de longo prazo
• Comunicação e colaboração: traduzir efetivamente entre pesquisadores e engenheiros de plataforma, construir alinhamento e compartilhar conhecimento entre equipes

Desejável

• Experiência em habilitar pesquisa em domínios de ML, como modelagem de linguagem, tradução de idiomas, visão computacional, IA multimodal ou generativa, robótica e sistemas autônomos
• Experiência em escalar clusters de GPU para treinamento, computação distribuída e processamento de dados em larga escala
• Experiência em construir plataformas de ML voltadas para pesquisadores, ambientes de experimentação de autosserviço e ferramentas usadas em muitos fluxos de trabalho de pesquisa em evolução
• Experiência em ajudar equipes de pesquisa a migrar para ou adotar uma plataforma de ML compartilhada
• Conhecimento de técnicas de otimização de inferência, como kernels de GPU personalizados (valioso, mas secundário em relação à experiência em habilitação de pesquisa e infraestrutura de ML)

Informações Adicionais

• Esta posição não possui responsabilidades de supervisão