大数据工程师的工作内容简单通俗的来说就是分析历史、预测未来、优化选择。要具备大数据基础知识、大数据平台知识和大数据场景知识三方面的知识结构。大数据基础知识:数学基础、统计学基础和计算机基础。具备数学基础、统计学基础知及计算机基础。能够搭建与优化大数据基础平台、大数据能力开放平台、大数据交易平台;基于大数据平台的数据仓库工具Hive/Spark/HBase, ETL调度工具,数据同步工具的开发、使用、集成和自动化运维,以及多租户与权限控制策略的实现;研发基于大数据平台的数据仓库平台产品,目前来看大数据开发工程师发展前景是非常好的。
课程大纲
网站页面布局、HTML5+CSS3基础、jQuery应用、Ajax异步交互等。
大数据的开发的框架是搭建在Linux系统上面的,所以要熟悉Linux开发环境。而Hadoop是一个大数据的基础架构,它能搭建大型数据仓库,PB级别数据的存储、处理、分析、统计等业务。还需要了解数据迁移工具Sqoop、Flume分布式日志框架。
课程内容
-
学历
分布式计算框架和Spark&Strom生态体系,有一定的基础之后,需要学习Spark大数据处理技术、Mlib机器学习、GraphX图计算以及Strom技术架构基础和原理等知识。Spark在性能还是在方案的统一性方面都有着极大的优越性,可以对大数据进行综合处理:实时数据流处理、批处理和交互式查询。
详情了解 -
数据收集:分布式消息队列Kafka、非关系型数据收集系统Flume、关系型数据收集工具Sqoop与Canel;
详情了解
大数据技术:Spark、Storm、Hadoop、Flink等;
数据存储:分布式文件系统及分布式数据库、数据存储格式;
资源管理和服务协调:YARN、ZooKeeper。
数据分析已成为职场人的通用技能
痛点问题
产品用户增长如何实现?
产品活跃度如何快速提升?
产品版本迭代方向如何把控?
解决方案
AARRR 模型分析
留存分析模型
路径分析模型
黏性分析模型
A/B Test
痛点问题
用户运营策略如何设计?
用户活动运营人群如何圈定?
用户价值如何深层次挖掘?
解决方案
自动用户画像
自动标签系统
用户留存分析
RFM 分析方法
视频自动翻译与剪辑
RPA 办公自动化
痛点问题
销售线索数据如何管理?
优质客户识别如何识别?
销售额精准预测如何实现?
解决方案
智能销售数据管理
智能营销
销售线索打分
客户成交意向度
销售客户对话分析
适合人群