数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
大数据分析和数据分析师的含义
课程大纲
1、数据分析入门
2、数据分析的意义
3、数据分析的流程控制
4、数据分析的思路与方法
1、xmind简介与基本使用
2、学习方法课堂案例
3、滴答拼车实战演练
4、其他思维导图介绍
1、专业展现——PPT
2、基本简介
3、几个不得不说的真相
4、经验分享
5、实战动画
1、Excel工具的安装、配置与环璄测试
2、Power BI工具的安装、配置与环璄测试
3、Tableau工具的安装、配置与环璄测试
4、MySQL数据库的安装、配置与环璄测试
5、SPSS数据挖掘工具安装、配置与环璄测试
6、SAS数据挖掘工具安装、配置与环璄测试
7、Python开发工具的安装、配置与开发环璄测试
1、虚拟机的安装配置
2、虚拟机网络配置
3、安装Linux
4、利用SSH连结Linux
5、Linux基础命令
6、Linux系统管理
1、python课程的目的
2、使用JupyterLab
3、python数据类型
4、元组、列表、字典
5、python分支结构
6、python字符串处理+随机函数
7、pthon循环结构
8、python面向过程函数操作
9、python面向对象
问题定义与数据获取
1、问题界定
2、问题拆分
3、指标确定
4、数据收集
5、报告方案
6、趋势预测
7、数据分析
8、趋势预测
9、报告方案
1、边界：明确问题的边界
2、逻辑：确定业务的关键指标和逻辑
3、定性分析与定量分析
1、5W2H
2、SWORT
3、4P管理模型
4、CATWOE
5、STAR原则、波士顿5力模型
1、数据科学过程 2、数据清洗定义
3、数据清洗任务 4、数据清洗流程
5、数据清洗环境 6、数据清洗实例说明
7、数据标准化 8、数据格式与编码
9、数据清洗常用工具 10、数据清洗基本技术方法
11、数据抽取 12、数据转换与加载
1、产品数据 2、用户数据
3、行为数据 4、订单数据
外部公开数据
1、开放网站 2、政务公开数据
3、数据科学竞赛 4、数据交易平台
5、行业报告 6、指数平台
1、用户画像
2、 销售影响因素
3、市场变化因素
4、AARRR流量模型
5、金定塔思考方法
Web网站数据抓取
1、财经数据抓取 2、投资数据抓取
3、房产数据抓取 4、舆情数据抓取
5、娱乐数据抓取 6、新媒体数据抓取
数据查询与提取 SQL基础操作
1、建库 2、建表
3、建约束 4、创建索引
5、添加、删除、修改数据 。。。。。。。
mysql的binlog日志介绍
Binlog是mysql以二进制形式打印的日志，它默认不**，不压缩。binlog二进制日志包含了所有更新了数据或者已经潜在更新了数据（例如，没有匹配任何行的一个DELETE）的所有语句。语句以“事件”的形式保存，它描述数据更改文件位置和格式：当用--log-bin[=file_name]选项启动时，mysqld写入包含所有更新数据的SQL命令的日志文件。如果未给出file_name值， 默认名为-bin后面所跟的主机名。如果给
出了文件名，但没有包含路径，则文件被写入数据目录。
删除mysql的binlog日志有两种方法：自动删除和手动删除
1.自动删除（推荐）
永久生效：修改mysql的配置文件my.cnf，添加binlog过期时间的配置项：expire_logs_days=30，然后重启mysql，这个有个致命的缺点就是需要重启mysql。
临时生效：进入mysql，用以下命令设置全局的参数：set global expire_logs_days=30;
（上面的数字30是保留30天的意思。）
2.手动删除
可以直接删除binlog文件，但是可以通过mysql提供的工具来删除更安全，因为purge会更新mysql-bin.index中的条目，而直接删除的话，mysql-bin.index文件不会更新。mysql-bin.index的作用是加快查找binlog文件的速度。
（1）直接删除
找到binlog所在目录，用rm binglog名 直接删除
例：rm mysql-bin.010
（2）通过mysql提供的工具来删除
删除之前可以先看一下purge的用法：help purge;
删除举例：
RESET MASTER;//删除所有binlog日志，新日志编号从头开始
PURGE MASTER LOGS TO 'mysql-bin.010';//删除mysql-bin.010之前所有日志
PURGE MASTER LOGS BEFORE '2003-04-02 22:46:26';// 删除2003-04-02 22:46:26之前产生的所有日志
