Natural Language Measurement Specialist

🕒 vor 1 Monat

🇺🇸 Vereinigte Staaten – Remote

💵 $88.000 - $145.000 / Jahr

⏰ Vollzeit

🟡 Mittelstufe

🟠 Senior

👻 Geisterscore 1%

Was es bedeutet: wie wahrscheinlich diese Stelle offen bleibt, ohne dass aktiv eingestellt wird.So liest du es: 60 % oder höher heißt, wir halten das für einen Geisterjob. Niedrigere Werte sind weniger bedenklich.Wie wir werten: Dauer offen, Neuveröffentlichungen, offene Stellen vs Teamgröße, wie schnell Stellen geschlossen werden, und ob ein Gehalt angegeben ist.Hinweis: eine Schätzung aus öffentlichen Daten, kein Urteil über das Unternehmen. Echte Stellen können hoch punkten, nutze es also als Hinweis, nicht als Fakt.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

The College Board

WebsiteLinkedInAlle Stellen

1001 - 5000 Mitarbeiter

Gegründet 1900

📚 Bildung

🤝 Non-Profit

Education • Non-profit

Der College Board ist eine missionserfüllte, gemeinnützige Organisation, die sich der Förderung von Exzellenz und Chancengleichheit im Bildungswesen widmet. Sie verbindet Studierende mit Erfolgen und Möglichkeiten im Studium, indem sie sie beim Aufbau essentieller Fähigkeiten für die Hochschulbildung unterstützt und Zugangsbarrieren abbaut. Der College Board operiert mit einem Fokus auf Respekt, Vielfalt, Inklusion und Zusammenarbeit, mit einem vielfältigen und engagierten Team von Fachleuten. Mit mehreren Standorten in den Vereinigten Staaten setzen sie sich dafür ein, ihre Abläufe zu modernisieren und ihre digitale Präsenz zu erhöhen, um Studenten und Familien im ganzen Land zu unterstützen.

Beschreibung

• Help define and advance how language-based performance is measured in high-stakes educational settings • Translate measurement constructs into LLM-based feedback and annotation systems • Design and conduct studies that establish their validity, fairness, and reliability • Serve as the measurement authority for cross-functional partners—psychometricians, engineers, and data scientists • Apply psychometric principles—reliability, validity, dimensionality, and measurement invariance—to LLM-based feedback and annotation systems • Develop and apply methods for detecting and mitigating bias in language-based scores • Establish/recommend annotation guidelines, feedback quality criteria, and standards for acceptable model performance • Contribute to prompt design, fine-tuning, and evaluation of LLM-based feedback and annotation systems • Collaborate with senior team members to translate measurement findings into production systems • Lead and contribute to research studies that evaluate model performance and support assessment validity

🎯 Anforderungen

• A Master’s or PhD (or near completion) in a quantitative field such as Psychometrics, Educational Measurement, Quantitative Psychology, Statistics, Data Science, or a related discipline (measurement-focused training strongly valued) • A solid foundation in measurement theory, including reliability, validity, and fairness; familiarity with IRT, generalizability theory, or related frameworks is highly desirable • Experience analyzing language or text data, with exposure to NLP or large language models • Programming skills in Python and familiarity with data science libraries (e.g., pandas, NumPy, PyTorch) • Demonstrated ability to conduct rigorous research (e.g., thesis, publications, or applied research projects) • Strong skills in statistical analysis and experimental design • Familiarity with working with structured and unstructured data • Strong attention to detail and a commitment to producing high-quality, reproducible work • The ability to travel 5-10 times a year to College Board offices or on behalf of College Board business. • Curious and eager to learn new tools, methods, and domains • Thoughtful about the implications of AI systems, including fairness and validity • Able to communicate technical and measurement concepts clearly to diverse audiences • Comfortable working in a collaborative, cross-functional environment

🏖️ Vorteile

• Annual bonuses and opportunities for merit-based raises and promotions • A mission-driven workplace where your impact matters • A team that invests in your development and success