1. 大数据职业介绍

职业路径

技能要求     

工作情况

职业前景

2. 初识大数据

大数据的基础知识

大数据类型

企业面临的大数据挑战类型  

模块二   大数据存储技术

3.  数据库基础

 数据库简介

关系型数据库

实验：搭建一个零售关系型数据库

实验：在零售关系型数据库搭建一个数据仓库

HADOOP与分布式数据存储

实验：将数据仓库的数据导入HADOOP

实验：将网站APACHE  LOG数据导入HADOOP

HDFS

分析型可视化工具TABLEAU  

数据可视化的未来发展

任务：BI，显示每天的爆款

模块三 数据项目质量控制

4. 数据项目质量控制

数据质量控制理论 

评估数据的质量及其对项目的影响

数据预处理

实验：电商销售数据清洗（如何发现，如何处理，不处理的影响）

数据脱敏

实验：UDF脱敏（MAXCOMPUTER）

数据项目的质量控制

任务：其他脏数据（领导需要部分数据给外部企业，脏数据处理，脱敏）

模块四 数据编程

5. 数据编程基础

面向分析的数据编程范例

实验：广告效果评估

编程效率和程序运行效率

编程质量控制流程

实验：客户关系管理之流失客户分析

任务：客户PROFILING的分析用数据表

模块五 数据项目设计与执行

6. 数据项目设计与执行

数据分析项目计划管理流程 

数据项目设计方法

数据分析师的项目管理

常见分析项目介绍

实验：根据业务要求提供一个顾客列表

项目前分析和项目绩效考评

案例：可控实验环境下评估直邮的转化率提升效果

任务：库存成本降低（研究供货量，销量）

模块六 数据挖掘

7. 基于数据挖掘技术的解决方案

决策树

实验：商业决策规则的生成

聚类分析

实验：同类型客户群体的发现

关联分析

实验：客户最可能同时购买的商品组合

实验：客户细分（使用上述客户PROFILING数据表，关联+分类）

任务：客户关系管理之流失客户分析

综合项目：银行数据分析

【课程目的】

本课程以数据分析的基本原理如数据库知识、数据质量控制、数据编程为主线，辅以Hadoop 和云计算技术，介绍了数据分析在行业中的实际应用与项目管理方法，及相关的数据技术和技能，同时结合了数据职业的特点讨论了职业道德。理解数据分析职业的硬技术和软技能要求，掌握流行的数据编程语言，对分布式存储有概念并基本能操作数据的处理，能与业务部门沟通了解数据分析项目需求并实际执行完成大数据项目，能胜任数据分析师或数据工程师的日常工作。