Senior Databricks Data Engineer

Fișă de Post: Senior Databricks Data Engineer / Dezvoltator DWH (Data Warehouse) cu Expertiză Databricks

I.  Scopul Postului

Dezvoltarea, implementarea și optimizarea soluțiilor complexe de Data Warehouse (DWH) și Data Lakehouse folosind platforma Databricks (inclusiv Delta Lake, Unity Catalog și Spark) pentru a asigura o fundație de date scalabilă, performantă și guvernată pentru analiză, raportare și Machine Learning.

II.  Responsabilități Principale

A. Dezvoltare și Arhitectură Databricks

• Proiectare și Implementare Avansată: Proiectarea și implementarea de pipeline-uri de date ETL/ELT robuste, scalabile și de înaltă performanță utilizând PySpark/Scala și Databricks SQL pe platforma Databricks.
• Delta Lake: Expertiză în implementarea și optimizarea arhitecturii Medallion (Bronze, Silver, Gold) folosind Delta Lake pentru a asigura calitatea, coerența și istoricitatea datelor.
• Lakehouse Platform: Implementarea eficientă a arhitecturii Lakehouse pe Databricks, combinând cele mai bune practici din DWH și Data Lake.
• Optimizarea Performanței: Optimizarea clusterelor Databricks, a operațiunilor Spark și a tabelelor Delta (ex: Z-ordering, Compaction, Tuning Queries) pentru a reduce latența și costurile de calcul.
• Streamare: Proiectarea și implementarea de soluții de procesare a datelor în timp real/cvasireal (streaming) folosind Spark Structured Streaming și Delta Live Tables (DLT).

B. Guvernanță și Securitate

• Unity Catalog: Implementarea și administrarea Unity Catalog pentru guvernanța centralizată a datelor, securitate fină (row/column-level security) și lineage de date.
• Calitatea Datelor (Data Quality): Definirea și implementarea standardelor și a regulilor de calitate a datelor (ex: folosind DLT sau Great Expectations) pentru a menține integritatea datelor.

C. Operațiuni și Colaborare

• Orchestrare: Dezvoltarea și gestionarea fluxurilor de lucru (workflows) complexe folosind Databricks Workflows (Jobs) sau instrumente externe (ex: Azure Data Factory, Airflow) pentru automatizarea pipeline-urilor.
• DevOps/CI/CD: Integrarea pipeline-urilor Databricks în procese de CI/CD folosind instrumente precum Git, Databricks Repos și Bundles.
• Colaborare: Lucrul îndeaproape cu Data Scientists, Analisti și Arhitecți pentru a înțelege cerințele de business și pentru a oferi soluții tehnice optime.
• Mentorat: Oferirea de îndrumare tehnică (mentorship) dezvoltatorilor juniori și promovarea celor mai bune practici.

III.  Calificări și Competențe Tehnice

A. Cunoștințe Obligatorii (Nivel Expert)

• Databricks Platform: Experiență demonstrată, de nivel expert, cu întregul ecosistem Databricks (Workspace, Cluster Management, Notebooks, Databricks SQL).
• Apache Spark: Cunoștințe aprofundate ale arhitecturii Spark (RDD, DataFrames, Spark SQL) și a tehnicilor avansate de optimizare.
• Delta Lake: Expertiză în implementarea și administrarea Delta Lake (ACID properties, Time Travel, Merge, Optimize, Vacuum).
• Limbaje de Programare: Python (cu PySpark) și/sau Scala (cu Spark) la nivel avansat/expert.
• SQL: Competențe avansate/expert în SQL și Data Modeling (Dimensional, 3NF, Data Vault).
• Cloud: Experiență solidă cu o platformă Cloud majoră (AWS, Azure sau GCP), în special cu serviciile de stocare (S3, ADLS Gen2, GCS) și rețelistică.

B. Cunoștințe Suplimentare (Avantaj Major)

• Unity Catalog: Experiență practică cu implementarea și administrarea Unity Catalog.
• Lakeflow: Experiență cu Delta Live Tables (DLT) și Databricks Workflows.
• Noțiuni de ML/AI: Înțelegerea conceptelor de bază MLOps și experiență cu MLflow pentru a facilita integrarea cu echipele de Data Science.
• DevOps: Experiență cu Terraform sau echivalent pentru Infrastructure as Code (IaC).
• Certificări: Certificările Databricks (ex: Databricks Certified Data Engineer Professional) reprezintă un avantaj semnificativ.

IV.  Educație și Experiență

• Educație: Licență în Informatică, Inginerie, Matematică sau un domeniu tehnic relevant.
• Experiență Profesională: Minimum 5+ ani de experiență în Data Engineering, dintre care cel puțin 3+ ani cu Databricks și Spark la scară largă.

Recomandare pentru Titlu:

Pentru a sublinia nivelul de expertiză, titlurile pot fi:

• Senior Databricks Data Engineer
• Expert DWH Developer (Databricks Focus)