Natural Language Measurement Specialist

🕒 il y a 28 jours

🇺🇸 États-Unis – Télétravail

💵 $88 000 - $145 000 / an

⏰ Temps Plein

🟡 Intermédiaire

🟠 Senior

👻 Score fantôme 0%

Ce que ça veut dire : la probabilité que cette offre reste ouverte sans recrutement actif.Comment le lire : 60 % ou plus, on pense que c'est une offre fantôme. Un score plus bas est moins inquiétant.Comment on la calcule : ancienneté, republications, postes ouverts vs taille de l'équipe, rapidité de clôture, et si le salaire est indiqué.À noter : une estimation à partir de données publiques, pas un jugement sur l'entreprise. De vraies offres peuvent avoir un score élevé, alors prenez-le comme un indice, pas comme un fait.

Postuler Maintenant

Trouver des Emplois à Distance Similaires

Configurer une alerte email pour les nouveaux emplois

📊 Vérifiez votre score de CV pour ce poste

Améliorez vos chances d'obtenir un entretien en vérifiant votre score de CV avant de postuler.

Télécharger le CV

The College Board

Site WebLinkedInTous les Emplois

1001 - 5000 employés

Fondée en 1900

📚 Éducation

🤝 À but non lucratif

Education • Non-profit

Le College Board est une organisation à but non lucratif, guidée par sa mission de promouvoir l'excellence et l'équité dans l'éducation. Il relie les étudiants au succès et aux opportunités universitaires en les soutenant dans le développement des compétences essentielles pour l'enseignement supérieur et en éliminant les obstacles à l'accès. Le College Board opère en se concentrant sur le respect, la diversité, l'inclusion et la collaboration, avec une équipe diversifiée et dévouée de professionnels. Basés dans plusieurs endroits à travers les États-Unis, ils s'efforcent de moderniser leurs opérations et d'augmenter leur empreinte numérique, soutenant les étudiants et les familles à l'échelle nationale.

Description

• Help define and advance how language-based performance is measured in high-stakes educational settings • Translate measurement constructs into LLM-based feedback and annotation systems • Design and conduct studies that establish their validity, fairness, and reliability • Serve as the measurement authority for cross-functional partners—psychometricians, engineers, and data scientists • Apply psychometric principles—reliability, validity, dimensionality, and measurement invariance—to LLM-based feedback and annotation systems • Develop and apply methods for detecting and mitigating bias in language-based scores • Establish/recommend annotation guidelines, feedback quality criteria, and standards for acceptable model performance • Contribute to prompt design, fine-tuning, and evaluation of LLM-based feedback and annotation systems • Collaborate with senior team members to translate measurement findings into production systems • Lead and contribute to research studies that evaluate model performance and support assessment validity

🎯 Exigences

• A Master’s or PhD (or near completion) in a quantitative field such as Psychometrics, Educational Measurement, Quantitative Psychology, Statistics, Data Science, or a related discipline (measurement-focused training strongly valued) • A solid foundation in measurement theory, including reliability, validity, and fairness; familiarity with IRT, generalizability theory, or related frameworks is highly desirable • Experience analyzing language or text data, with exposure to NLP or large language models • Programming skills in Python and familiarity with data science libraries (e.g., pandas, NumPy, PyTorch) • Demonstrated ability to conduct rigorous research (e.g., thesis, publications, or applied research projects) • Strong skills in statistical analysis and experimental design • Familiarity with working with structured and unstructured data • Strong attention to detail and a commitment to producing high-quality, reproducible work • The ability to travel 5-10 times a year to College Board offices or on behalf of College Board business. • Curious and eager to learn new tools, methods, and domains • Thoughtful about the implications of AI systems, including fairness and validity • Able to communicate technical and measurement concepts clearly to diverse audiences • Comfortable working in a collaborative, cross-functional environment

🏖️ Avantages

• Annual bonuses and opportunities for merit-based raises and promotions • A mission-driven workplace where your impact matters • A team that invests in your development and success