大數據工程師
崗位定位
數據湖與數倉的核心建設者，承擔多源數據接入、ETL流程構建、數倉建模、數據清洗及實體對齊等數據準備工作，為知識圖譜與AI應用提供高質量的數據底座

職責
- 設計并搭建集團級數據湖/數倉體系架構（涵蓋ODS、DWD、DWS、ADS分層）
- 構建多源數據接入通道（覆蓋ERP、MES、HR、CRM等系統，支持CDC與批量模式）
- 開發離線計算任務（基于Spark + Hive），支撐數倉各層級建設與圖譜數據預處理
- 制定并實施數據清洗規則，推進跨系統數據標準化與實體統一（包括ID映射、異常數據識別與處理）
- 推進數據質量管理體系落地，實現數據血緣追蹤及數據標準文檔的持續維護
- 負責數據湖存儲層技術選型與管理（Iceberg / Hudi / Delta Lake）

任職要求
必須具備：
- 3年以上大數據開發經驗
- 熟練掌握Spark技術棧（精通Spark SQL與Spark Streaming）
- 深度使用Hive進行離線數倉建設（熟悉HQL優化、存儲與計算調優）
- 具備完整的數倉建模實踐經驗（熟悉Kimball維度建模方法，有分層設計經歷）
- 精通SQL（能編寫復雜查詢、熟練運用窗口函數，具備性能調優能力）

強烈偏好：
- 熟悉主流數據湖技術之一（Iceberg / Hudi / Delta Lake）
- 具備多源異構系統數據接入經驗（如CDC工具：Canal、Debezium或DataX）
- 有跨系統數據對齊或主數據管理（MDM）項目經歷
- 了解數據質量治理框架并有實際落地經驗
- 使用過數據血緣追蹤相關工具

加分項：
- 具備Flink實時計算開發經驗
- 有ClickHouse使用實踐
- 接觸過時序數據庫（如IoTDB、TDengine）
- 參與過制造業領域數倉建設項目
- 熟悉任務調度平臺（Airflow、DolphinScheduler）

5.5天制，包吃住
辦公地址：江西省九江市修水