课程简介
大数据开发工程师周末就业班：课程内容：以实际业务应用及需求场景出发，帮助企业构建大数据应用
课程体系：本课程由渐入深，整体从业务需求角度切入，倒推技术实现逻辑及架构，从数据运营指标体系的BI构建，到用户画像的标签体系构建，进而实现精准营销。
课程贯穿常用大数据平台技术应用及实践，通过业务、功能、技术三方架构串联，形成完整的大数据链路体系。
帮助学员能够快速熟悉业务适用场景，从而高效搭建大数据相关业务应用平台。
学习目标
1
掌握Linux、Java、SQL基本知识
2
掌握商业智能平台构建思路
3
掌握常见数仓平台架构
4
掌握报表开发能力、用户画像的原理
5
掌握用户画像系统技术架构
6
掌握标签的各种加工方式
7
掌握精准营销思路、flink技术架构
8
掌握精准营销流程、实时数仓搭建，掌握docker的技术架构原理
9
熟悉docker相关命令、docker容器数据卷，熟悉docker应用部署、docker的私有仓库相关技术
学习对象
计算机、大数据等专业的高校生，想求职于大数据分析岗位
之前从事开发等技术岗想转型业务大数据分析等待就业技术人群
从传统数仓到大数据平台转型的数据分析人士
有一些编程基础，之前从事传统运营、营销想转行大数据分析的业务人士
希望快速在工作中应用大数据分析处理商业智能、营销、运营等有编程基础的人士
课程大纲
阶段一：BI大数据-商业智能应用
1商业智能、报表的商业价值
2商业智能、报表应用场景与现状
3MySQL电商数据分析案例
1商业智能、报表的商业价值
2商业智能、报表应用场景与现状
3MySQL电商数据分析案例
阶段一：BI大数据——MySQL深度性能优化
1MySQL数据库框架
2数据库服务器性能
3数据类型优化
4索引优化
5查询性能优化
6MySQL高级特性
7优化服务器设置
8可扩展的MySQL
9高可用性
10应用层优化
1MySQL数据库框架
2数据库服务器性能
3数据类型优化
4索引优化
5查询性能优化
6MySQL高级特性
7优化服务器设置
8可扩展的MySQL
9高可用性
10应用层优化
阶段一：BI大数据——商业智能数据架构及平台搭建
1商业智能系统技术架构解讲解
2Hadoop、Hive、Sqoop原理讲解
3商业智能系统数据平台搭建
4高速公路收费数据案例讲解
1商业智能系统技术架构解讲解
2Hadoop、Hive、Sqoop原理讲解
3商业智能系统数据平台搭建
4高速公路收费数据案例讲解
阶段一：BI大数据——商业智能可视化
1Tableau概述&应用
2常用数据分析图表制作
3仪表板制作
4BI数据分析&可视化交互
1Tableau概述&应用
2常用数据分析图表制作
3仪表板制作
4BI数据分析&可视化交互
第二阶段：标签开发算法实战——标签开发一
1数据应用体系层级划分
2大数据精准营销架构
3标签体系整体框架
4基础标签
5统计标签、规则类标签及Hive实践
1数据应用体系层级划分
2大数据精准营销架构
3标签体系整体框架
4基础标签
5统计标签、规则类标签及Hive实践
第二阶段：标签开发算法实战——hive性能优化
1妙用Hive视图功能
2Hive索引的使用
3使用EXPLAIN优化查询代码
4limit限制调整优化
5join优化
6调整mapper与reducer个数
1妙用Hive视图功能
2Hive索引的使用
3使用EXPLAIN优化查询代码
4limit限制调整优化
5join优化
6调整mapper与reducer个数
第二阶段：标签开发算法实战——标签开发二
1scala开发环境配置
2值与变量
3常用数据类型
4方法定义
5条件表达式与循环
6Lazy value的应用
7数组、元组与Map
8类、抽象类、特质
9模式匹配、样例类
10文件访问
11Spark简介
12SparkML简介
13SparkML Piplines
14SparkML特征（文本）提取、转换、加载
15文本提取案例：用户评论情感标签提取
1scala开发环境配置
2值与变量
3常用数据类型
4方法定义
5条件表达式与循环
6Lazy value的应用
7数组、元组与Map
8类、抽象类、特质
9模式匹配、样例类
10文件访问
11Spark简介
12SparkML简介
13SparkML Piplines
14SparkML特征（文本）提取、转换、加载
15文本提取案例：用户评论情感标签提取
第二阶段：标签开发算法实战——标签开发三
1算法标签
2机器学习基础
3回归：线性回归与SparkML特征处理
4分类：逻辑回归及Spark实现
5聚类：Kmeans及Spark实现
6复杂网络：图计算
7算法实战：营销预测案例
1算法标签
2机器学习基础
3回归：线性回归与SparkML特征处理
4分类：逻辑回归及Spark实现
5聚类：Kmeans及Spark实现
6复杂网络：图计算
7算法实战：营销预测案例
第二阶段：标签开发算法实战——标签数据的存储和查询
1标签数据的应用场景及存储需求分析
2Hive、Hbase、Elasticsearch等在标签数据存储中的应用
第三阶段：实时计算精准营销——流式计算开发
1流式计算概述
2Spark Streaming的架构原理
3Dstream操作（转换、输出）
4Spark Streaming外部数据源介绍
5Structured Streaming原理及编程模型
6Kafka原理及应用讲解
1标签数据的应用场景及存储需求分析
2Hive、Hbase、Elasticsearch等在标签数据存储中的应用
第三阶段：实时计算精准营销——流式计算开发
1流式计算概述
2Spark Streaming的架构原理
3Dstream操作（转换、输出）
4Spark Streaming外部数据源介绍
5Structured Streaming原理及编程模型
6Kafka原理及应用讲解
第三阶段：实时计算精准营销——实时计算系统
11flink部署与使用
12flink运行架构分析
13DataStream与DataSet
14TableAPI&SQL
15flink状态机制
11flink部署与使用
12flink运行架构分析
13DataStream与DataSet
14TableAPI&SQL
15flink状态机制
第三阶段：实时计算精准营销——实时精准营销行业案例分析
11决策树
12集成算法（随机森林）
13机器学习算法与flink的连接
14实时精准营销案例及代码实践
11决策树
12集成算法（随机森林）
13机器学习算法与flink的连接
14实时精准营销案例及代码实践
第三阶段：实时计算精准营销——推荐系统
11推荐系统概述
12冷启动与EE问题
13精细化运营与推荐系统
14推荐算法-协同过滤
11推荐系统概述
12冷启动与EE问题
13精细化运营与推荐系统
14推荐算法-协同过滤
第三阶段：实时计算精准营销——数据中台的大数据架构
11大数据架构
12数据中台
11大数据架构
12数据中台
第四阶段：云计算之容器技术——docker技术架构原理及相关命令
11Docker简介、什么是Docker、Docker应用场景
12Docker架构
13Docker引擎、仓库、镜像、容器等概念
14Docker安装、卸载
15Docker配置镜像加速器
16Docker镜像管理
17Docker容器管理
18Docker复制
19Docker查看日志命令
110Docker数据卷
111Docker安装Nginx
112Docker安装MySQL
113Docker安装Redis
114Docker安装RabbitMQ
11Docker简介、什么是Docker、Docker应用场景
12Docker架构
13Docker引擎、仓库、镜像、容器等概念
14Docker安装、卸载
15Docker配置镜像加速器
16Docker镜像管理
17Docker容器管理
18Docker复制
19Docker查看日志命令
110Docker数据卷
111Docker安装Nginx
112Docker安装MySQL
113Docker安装Redis
114Docker安装RabbitMQ
第四阶段：云计算之容器技术——docker容器数据卷及应用部署docker私有仓库相关技术docker实操
11Dockerfile常用命令
12Dockerfile实战案例（4个案例）掌握全方面Dockerfile编写
13官方镜像Tomcat源码解析(Dockerfile)
14Docker部署SpringBoot微服务项目,微服务镜像制作
15快速部署分布式应用（实现动态扩容、资源高效利用）
16Docker-compose之Tomcat集群搭建
17Docker-compose之Redis集群搭建
11Dockerfile常用命令
12Dockerfile实战案例（4个案例）掌握全方面Dockerfile编写
13官方镜像Tomcat源码解析(Dockerfile)
14Docker部署SpringBoot微服务项目,微服务镜像制作
15快速部署分布式应用（实现动态扩容、资源高效利用）
16Docker-compose之Tomcat集群搭建
17Docker-compose之Redis集群搭建
