大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
教学环境
只有想不想学，没有能不能学
1基础差，基础差入学勤能补拙。
2想转行，现有工作枯燥，工资太低。
3技能提升，已有的技术太落伍，担心被企业淘汰。
4应届毕业生，求职压力大，同专业市场需求饱和。
5在校大学生，对所学专业没兴趣，为就业提早打算。
立即预约课程
就业服务中公优就业将根据学员学习情况、学员自身意愿，提供就业服务
免费食宿4人标准化宿舍，酒店式公寓
免费贷款携手百度0息贷款服务，利息由优就业承担
免费试学免费试学5天，先体验后报名
网课赠送赠送课程相关网课，查漏补缺，复习更简单
免费重修两年内可免费再学，享全系课程更新迭代
课程简介
中公教育手把手教学，每一位学员的疑问随时解决，不拖延！四分理论六分实战的合理教学，干货满满，课程实在，不闲扯！真实项目Leader，价值千万行业经验、案例精髓，毫无保留倾囊相授！10天真实项目实战，作品真正上线，学习的成果显而易见！职业测评、简历修改、面试指导，企业推荐，量身打造个性化、差异化就业流程，为你的求职之路助一臂之力！封闭教学包食宿，学习效果事半功倍，交通补助各项优惠，为你的学习做好360度服务！
咨询详情
其他机构大班授课，老师精力有限，学员问题无法及时得到解决。纯理论填鸭式教学，知识点抽象干瘪，不能学以致用。案例陈旧，无法适应新需求，小众非典型案例，不具行业代表性。短暂虚拟操作，方法一带而过，学员对知识一知半解。 指导学员简历作假，或干脆无就业服务，无法按学员真实情况推荐就业，就业不稳定或薪资达不到预期。日常管理散漫，食宿自理，后续费用接踵而至，经济压力大，影响学习质量。
理论、实战双向并行，奠定入行扎实基础
猜字游戏、猜拳游戏、数字炸弹、控制台版本双色球项目、滴滴嗒嗒租车系统、打印机项目、个人记账本、**号注册验证、中公教育JAVA学生系统的登陆注册、文件复制、 时间的跳动、双色球随机版、中公教育java学生系统、妈妈叫你去打酱油、文件在线下载、开心聊天室
JavaWeb 1、认识前端、常用标签、表格、表单，css选择器、常用样式、浮动、定位；
2、新增结构化标签、表单新特性、多媒体支持，新增选择器、新增样式属性、2D和3D变形、动画过渡和动画;
3、ECMAScript基础、内置对象、事件处理、正则、DOM操作、BOM操作;
4、jQuery选择器、文档操作、元素遍历、动效、事件委托;
5、MySQL数据库安装、管理工具SQLyogEnt/Navicat安装、基本建库、建表、插入数据、修改数据SQL语句;
6、MySQL查询、子查询、多表连接查询、索引、视图、函数、触发器、存储过程、用户管理、数据备份与还原;
7、数据库设计;
8、MySQL数据库优化的方法和技巧、数据库常见问题总结、面试题讲解、阶段测试;
9、JDBC连接MYSQL数据库、CRUD（增删改查）基本数据操作、jdbc工具类简化CRUD开发、批量提交、TEXT二进制数据存取;
10、JDBC事务的概念及特性;
11、WEB服务器的工作原理、Tomcat的安装与启动运行、Tomcat的体系结构、在Tomcat中配置WEB虚拟目录与发布WEB应用程序的方式、设置目录的默认网页、使用Tomcat配置虚拟主机、WAR文件生成与使用;
12、HTTP协议详解;
13、数据库连接池原理分析、常用数据库连接池的配置及使用;
14、Servlet介绍、一个Servlet程序、Servlet的工作流程及生命周期,使用@WebServlet注解,web.xml配置,Web目录结构、线程安全、ServletConfig、ServletContext
15、HttpServletRequest,HttpServletResponse请求与响应;
16、JSP入门：Jsp内置对象及属性范围，JSTL标签库，Taglib自定义标签 @page @include @taglib,EL表达式;
17、MVC设计模式;
1、电商项目数据库设计以及所涉及的sql查询语句;
2、封装jdbc工具类、简化开发;
3、使用MyEclipse开发工具，整合Servlet+JSP+MySQL+JDBC遵循MVC开发模式，完成商品信息的发布以及查询；使用response响应头字段完成文件下载、自动刷新;
4、在3的基础上，开发用户注册及登录功能。并且使用Session进行登录校验，使用Cookie开发“记住密码”功能;
5、配置Filter全局编码过滤器、登录校验过滤器
JavaEE高级Linux课程+分布式计算 1、框架原理介绍，IOC思想与DI相关概念，创建Bean的方式及实现原理， Bean种类，Bean生命周期，Bean的作用域，Bean的注值方式，SpEL，注解装配Bean.AOP思想，AOP原理解剖，传统方式实现AOP开发，AspectJ介绍及实现AOP开发.(c3p0,dbcp)数据源的配置，声明式事务介绍及原理分析，声明式事务管理实现，注解实现事务管理;
2、MyBatis架构流程,工作原理,MyBatis入门、安装和配置MyBatis,mybatis的入门使用,以及原始DAO开发模式和mapper代理开发模式.使用映射语句(输入输出映射详解)、执行非查询语句、使用高级查询技术、事务、使用动态SQL.MyBatis延迟加载,查询缓存(以及缓存,二级缓存,echcache分布式缓存)提高性能,Spring整合MyBatis、MyBatis逆向工程;
3、SpringMVC 概述、Springmvc核心流程图，核心组件、Spring MVC 一个程序 、控制器定义、@RequestMapping详解.Action参数类型、数据类型转换、数据格式化、Action返回值类型.表单标签库、视图和视图解析器、Spring MVC验证器Validator、JSR303验证器、使用jQuery扩展插件Validate实现前端校验、文件上传,下载.spring mvc集成spring、MyBatis(SSM框架集成);
4、nio、JVM;
5、Maven的介绍、Maven的构建、Maven的依赖管理、Maven和eclipse的整合,以及maven构建SSM,SSH应用环境;
6、Linux的常用命令，熟悉Linux上下文编辑器，掌握Linux的文件管理控制等；LINUX下基本软件安装（JDKMYSQLTOMCAT）、卸载、shell编程初步入门;
7、MYSQL高并发：MYSQL主从配置、MYSQL分库分表、读写分离;
8、Solr搜索引擎：Solr安装与配置、数据库导入到搜索引擎、JAVA调用Solr、仿京东商品搜索;
9、Redis安装，Redis配置、基本使用、Redis和JAVA集成、Spring框架集成;
10、掌握ActiveMQ消息队列的安装以及和JAVA的集成、JMS接口规范。Spring整合ActiveMQ;
11、分布式计算Dubbo：Zookeeper安装配置、Dubbo注册与监控中心安装与配置、基于Dubbo的分布式程序开发入门;
12、办公自动化（OA）平台实战
1、讲解使用SSM+MySql开发通用教学管理系统,包括需求的讲解以及数据库的设计,来完成普通院校通用的教学管理系统,包括学籍管理,课程管理以及排课,选课等功能;
2、JVM调优;
3、maven项目构建;
4、阿里云实际LINUX主机安装、使用、部署：手机号码归属地系统;
5、MYsql分库、分表、主从复制、读写分离实际演练;
6、基于Solr搜索引擎的电商商品搜索系统;
7、基于消息队列的多任务系统实战;
8、基于Dubbo的电商商品管理开发
离线数据分析平台Hadoop 1、初识Hadoop以及Hadoop生态系统、Hadoop的发展史、Hadoop的优缺点、Hadoop的核心组件、Hadoop发行版的选择；Hadoop环境搭建，Hadoop shell命令;
2、Hadoop分布式文件系统HDFS、Hadoop的设计目标、架构及副本的脚本，搭建单节点伪分布式HDFS的实验环境；使用hdfs shell以及Java API的方式操作HDFS文件系统；解析HDFS文件的读写流程;
3、分布式计算框架MapReduce；MapReduce应用程序的开发、配置JobHistory Server;
4、Hadoop HA高可用集群搭建和配置;
5、数据仓库Hive的安装和使用、分桶作用、创建点击流数据数据仓库、点击流数据分析（HiveSql）;
6、Flume分布式日志框架、点击流日志系统解决方案、点击流日志系统部署及电商项目集成、Hadoop分布式集群搭建；搭建一个多节点的分布式Hadoop集群环境；Hadoop集成Spring的使用;
7、数据迁移工具Sqoop、HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递;
8、HBase基础、面向列的实时分布式数据库、HBase与RDBMS的对比、HBase集群及其管理;
9、分布式资源调度YARN；YARN的产生背景、YARN的架构及执行流程；搭建单节点伪分布式YARN的实验环境;
课程简介
基于Hadoop的离线数据电商分析平台、日志文件的收集、Hive日志文件数据分析、定时触发、HBASE集群
实时数据分析平台Storm 1、python介绍、安装、基本操作、基本语法、数据结构、内建函数、异常、模块;
2、Storm介绍、Storm应用场景及行业案例、Storm特点、Storm编程模型部署;
3、Storm集群搭建、配置集群、通信机制;
4、Component组件、spout水龙头、bolt转接头、spout的tail特性、网站日志处理案例、将接收到日志的会话id打印在控制台案例、动态增加日志，查看控制台打印信息案例、分组策略和并发度、实时单词统计案例、实时计算网站PV案例、实时计算网站UV去重案例、常见问题总结;
5、消息队列Kafka、使用Flume收集数据到Kafka、Mahout的离线计算数据、Kafka基础与常用API;
基于storm体系的“双十一实时数据分析平台”、Grouping策略及并发度、计算网站、storm事务、Storm集群和作业监控、点击流日志分析、Python爬虫
Scala语言与Spark 1、Scala介绍、Scala安装配置、基本语法、数据结构、模式匹配、高阶函数 & 类 & 对象等、Scala Akka实例实操;
2、Spark基础、SparkCore应用解析、 RDD，KeyValueRDD，RDD的常用Transformation和Action操作;
3、SparkStreaming、 SparkGraphX、Spark内核解析、Spark优化解析;
4、Spark-Mllib机器学习、回归算法、决策树、推荐系统、分类算法等;
5、升级Hive执行引擎为Spark、使用Spark Sql完成点击流日志业务需求、打通Spark数据收集、存储、计算、展示流程;
实战项目：
基于Spark的个性化推荐系统、spark集群、SparkStreaming外挂、k-means和贝叶斯算法、点击流日志分析
课程内容：
1、简历制作、面试礼仪，对学员进行简历指导及多轮模拟面试;
2、常见面试题的讲解，技术简历的指导与优化，技术面试指导，强化实战项目;
立即预约课程
对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全*，并且运维困难，需要更强壮的解决方案。
