欧美经典日韩精品_日韩高清亚洲日韩精品一区_日韩精品无码综合视频网_国产v亚洲v天堂?无码久久_中文字幕免费无码专区

MySQL+Hadoop+DataX+Flume+Hive+Spark+DolphinScheudler+Python+Shell+Superset等

1.基于電商的業務數據需求分析和指標體系建立
2.原始數據(業務數據和日志數據)探索
3.用戶、商品、訂單、訂單詳情、訂單支付、收獲地址、供應商、時間維度、地區維度等相關業務數據全量和增量同步
4.業務數據同步任務開發、上線、測試及數據同步問題的數據補跑
5.用戶瀏覽、點擊、交互、啟動、安裝、滑動、輸入和搜索等相關行為數據采集和任務上線運行
6.廣告投放外部數據采集和任務上線運行
7.用戶、訂單、交易、營銷等主題的DWD、DWS和ADS層開發
8.維度層數據加工與開發處理
9.ADS層數據導出到MySQL，配置相關任務，上線運行
10.使用Superset BI可視化工具實現各個主題報表配置、看板配置與看板發布

ECS、RDS、DataHub、MaxCompute、DataWorks、QuickBI

1 部署一站式ODPS大數據環境
2 探索商城多種C端、B端和物流端等業務與數據，梳理相關業務指標體系
3 ODS層建立對應模型，應用ODPS的數據集成模塊，將業務數據同步至ODS層
4 DWD和DIM層數據建模，將ODS層數據加工處理到DWD和DIM層
5 構建DWS層用戶行為、商品、購物車和訂單等寬表模型，并將DWD層數據加工到對應的寬表
6 ADS面向應用構建需求模型，將DWS層的數據再次加工到ADS層各個表中
7 使用QuickBI制作數據報表與可視化看板操作
8 數據質量監控開發和數據權限控制設置

Hadoop、Hive、Spark、DolphinScheudler、Hue、Shell

1 用戶和課程標簽體系建設
2 ID-Mapping打通
3 用戶基礎標簽與聚合標簽模型構建與加工
4 物品基礎標簽與聚合標簽的模型構建與加工等
5 畫像標簽落盤與維護
6 畫像標簽的應用與服務

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、Superset、Hue、DolphinScheduler 或采用阿里云大數據服務

1 電商業務需求討論與評審
2 業務評審、架構評審和技術評審
3 電商相關指標體系，用戶、訂單、交易和商品等主題劃分
4 相關類別、地域和品牌等維度層數據加工，數據倉庫各層模型構建
5 電商業務數據同步和指標計算的任務排期、任務測試與上線部署
6 使用BI工具進行主題數據報表和看板制作與發布
7 企業級大屏數據抽取、加工、推送、露出全流程數據加工流轉方式

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、SuperSet、Hue、DolphinScheduler 等

1 問答系統業務需求討論與評審
2 問答系統數據倉庫架構構建
3 問答系統相關指標體系，用戶、問答和互動等主題劃分及各層模型建設
4 業務數據和行為數據的同步與采集
5 用戶、問答、互動和行為相關指標的計算
6 使用可視化工具對相關指標和數據進行展示
7 相關任務調度與上線配置

本項目工程組件： Spark MLlib + SpringBoot + Redis +HBase+ Milvus
本項目涉及算法: Word2Vec + ItemCF+ALS+GBDT+LR+BloomFilter
監控架構依然采用：Prometheus + Grafana + IM
本項目的組件監控： 推薦API+HBase[Metric]+Prometheus + Grafana +Supervisor+ IM

1 項目協同過濾模型
2 基于ItemCF模型的召回，將召回的特征數據桶方式存儲HBase中
3 基于ALS模型的召回，將召回的特征數據以HBase的桶方式裝載到HBase中
4 物品的基礎特征向量加工和存儲HBase
5 用戶基礎特征向量加工處理與存儲HBase
6 物品和用戶嵌入向量的加工處理與存儲HBase
7 推薦系統排序階段解析，LR和GBDT模型構建、訓練和測試
8 PMML跨平臺構建，Jpmml-SparkML的源碼研發，實現自定義Transformer，PMML模型文件保存
9 多路召回模型特征向量進行Union，并存儲HBase中
10 PMML模型文件加載，應用線上數據，對外開發推薦服務API
11 基于Promethuse和Grafana架構的推薦API服務監控