Senior Data Engineer

🕒 vor 2 Monaten

🗽 New York – Remote

🗽 New York – Remote

💵 $128.200 - $157.000 / Jahr

⏰ Vollzeit

🟠 Senior

🚰 Dateningenieur

🦅 H1B-Visum-Sponsor

Dieses Unternehmen hat in der Vergangenheit H1B-Visa gesponsert.

Jetzt Bewerben

Ähnliche Remote-Jobs finden

E-Mail-Benachrichtigung für neue Jobs einrichten

📊 Überprüfen Sie Ihre Lebenslauf-Bewertung für diese Stelle

Verbessern Sie Ihre Chancen auf ein Vorstellungsgespräch, indem Sie Ihre Lebenslauf-Bewertung vor der Bewerbung überprüfen.

Lebenslauf hochladen

Avaya

WebsiteLinkedInAlle Stellen

5001 - 10000 Mitarbeiter

🤝 B2B

💰 Post-IPO Debt im 2022-06

AI • B2B • Communications

Avaya ist ein führender Anbieter von Lösungen für Kundenerlebnisse und Kommunikationslösungen, der Unternehmen befähigt, ohne Unterbrechungen zu innovieren. Das Unternehmen bietet eine umfassende Suite von KI-gesteuerten Technologien, die darauf ausgelegt sind, Kundenreisen zu verbessern, die Mitarbeiterbindung zu optimieren und das Unternehmenswachstum zu fördern. Dies gewährleistet konsistente, hochwertige Interaktionen über alle Kanäle hinweg. Die Plattformen von Avaya, wie die Avaya Experience Platform und die Communication & Collaboration Suite, ermöglichen nahtlose kanalübergreifende Kommunikation und kollaborative Arbeitsabläufe für Organisationen in einer Vielzahl von Branchen.

Beschreibung

• Design, build, and operate low-latency streaming pipelines (Kafka, Spark Structured Streaming) and robust batch ETL/ELT on Databricks Lakehouse. • Establish reliable orchestration and dependency management (Airflow), with strong SLAs and on-call readiness for business-critical data flows. • Model, optimize, and document curated datasets and interfaces that serve analytics, product features, and AI workloads. • Implement data quality checks, observability, and backfills; drive root-cause analysis and incident prevention. • Partner with application teams (Go/Java), analytics, and ML/AI to ship data products into production. • Build and maintain datasets and services that power RAG pipelines and agentic AI workflows (tool-use/function calling). • When Spark/Databricks isn’t optimal, design and operate custom processors/services in Go to meet strict latency or specialized transformation requirements. • Instrument prompt/response and token usage telemetry to support LLMOps evaluation and cost optimization; provide datasets for labeling and golden sets. • Improve performance and cost (storage/compute), review code, and raise engineering standards.

🎯 Anforderungen

• 6+ years building production-grade data pipelines at scale (streaming and batch). • Deep proficiency in Python and SQL; strong Spark experience on Databricks (or similar). • Advanced SQL: window functions, CTEs, partitioning/z-ordering, query planning and tuning in lakehouse environments. • Hands-on with Kafka (or equivalent) and an orchestrator (Airflow preferred). • Strong data modeling skills and performance tuning for low latency and high throughput. • Production mindset: SLAs, monitoring, alerting, CI/CD, and on-call participation. • Proficient using AI coding assistants (Cursor, Claude Code) as part of daily development. • Proficiency building data services/processors in Go (or willingness to ramp quickly), and familiarity with alternative frameworks (e.g., Flink/Beam) is a plus.

🏖️ Vorteile

• performance-related bonus • benefits