Spark+ClickHouse实战企业级数据仓库，进军大厂必备
课程介绍：
现阶段的数据开发领域，数据仓库作为企业战略决策的“大脑”，地位日益凸显，对数仓技术的掌握程度也成了大厂面试必考的一环。本课程结合ClickHouse+Spark 这一对数据处理的“黄金搭档”，选取“大数据量企业数据仓库“这一典型场景，实战大数据量下数仓的建模、设计与调优等实用技巧，快速掌握ClickHouse+Spark核心技能，为晋级大数据架构师铺路！
Spark+ClickHouse实战企业级数据仓库，进军大厂必备
课程目录：
第1章 从0到1搭建项目开发环境，快速上手大数据开发 试看7 节 | 55分钟
本章将从0到1搭建大数据开发环境，通过IDEA+Maven构建多module项目，实现源码、启动脚本、配置等自动构建打包。
第2章 项目关键技术准备，学习通用的数据处理技术13 节 | 88分钟
本章对项目所用到关键技术进行封装，通过Spark UDF整合IP地址相关的转换功能、二分查找算法、通用Grok数据解析器等，并通过rewrite方式修改Grok组件源码，学习源码整合的思路。
第3章 项目数据准备，操练基于Spark的数据开发与优化8 节 | 61分钟
本章主要是基于Spark，模拟生成项目所需要的基础数据和安全访问日志数据，操练基于Spark对数据进行处理与优化技术。
第4章 初识OLAP数仓架构5 节 | 17分钟
本章主要介绍构建数仓的主流数据技术架构，以及基于ClickHouse的OLAP架构相比典型大数据架构的优势。
第5章 详解数据仓库基础理论，掌握数据仓库的实施流程 试看10 节 | 48分钟
本章介绍数仓的基础理论、数据仓库的架构以及建模方法。基于当前主流的维度建模，学习数据仓库的构建流程以及分层模型的划分。
第6章 【项目实战第一篇】项目业务流程与ODS层数据同步8 节 | 57分钟
本章首先介绍项目的业务流程与实现的效果。根据项目ODS层的规划，封装基于HDFS API同步工具，搭配多线程，实现高性能的数据同步。 针对业务数据库，封装了通用的关系型数据库的数据同步，实现将任意的库表数据同步至HDFS，可指定任意的文件格式、配置项。…
第7章 快速上手OLAP分析引擎ClickHouse10 节 | 64分钟
本章将介绍clickhouse的主要特性和架构，并通过搭建单机版本的clickhouse，快速学习掌握ClickHouse的基本使用。同时，分享了ClickHouse学习的几点建议，以帮助同学们更深入地学习和掌握clickhouse。
第8章 基于Spark源码自定义ClickHouse外部数据源，简化数据写入流程6 节 | 90分钟
本章将带领大家，自定义Spark的ClickHouse外部数据源，实现类似Spark的文件和JDBC数据源的功能，屏蔽底层实现细节，极大简化数据写入流程。
第9章 数仓高级之维度模型设计 试看10 节 | 54分钟
本章将系统地介绍维度设计的流程以及如何进行维度的模型设计， 通过具体的案例分析如何进行维度的整合、拆分，如何处理缓慢变化的维度， 维度的层次模型如何设计、优化，以及几种常见的维度模型等。
第10章 【项目实战第二篇】构建项目公共维度层 9 节 | 59分钟
本章基于维度模型设计的理论，采用反规范化、维度合并、维度拆分以及维度层次扁平化等维度设计方法，建立项目的公共维度层的表模型，实现易用性和性能提升，并保证维度模型的稳定性。
第11章 ClickHouse的MergeTree系列引擎原理、实践与优化
本章对ClickHouse MergeTree引擎进行了深入的解析，重点介绍了MergeTree系列引擎的主要特性和使用。 通过模拟大数据量的场景，实践了跳数索引以及Projection两大性能优化利器对性能提升的效果。针对MergeTree不擅长更新删除的特点， 介绍了如何对数据进行实时的更新和删除的方案…
第12章 数仓高级之事实表模型设计
本章系统地介绍了数据仓库的六种类型的事实表以及事实表的四步设计过程。从实践应用的角度出发，详细介绍如何根据业务过程建模和分析主题建立各类事实表模型。
第13章 【项目实战第三篇】数据清洗加工，构建项目数据明细层
本章根据安全访问日志的业务处理过程，面向业务过程建模，建立事务事实表、周期性快照事实表、累积快照事实表的模型。在大数据量的场景下， 优化Spark数据处理的性能。通过Projection以及视图封装周期性快照事实表，提升性能。…
第14章 构建ClickHouse分布式集群，掌握分布式环境的数据查询、写入优化方案
本章详细演示了如何从零开始，构建一个分布式的ClickHouse的集群，并验证集群的高可用、容错等功能。详细解析在分布式环境下，如何对clickhouse进行数据的写入和查询的优化的实践方案。
第15章 【项目实战第四篇】负载均衡与高可用方案实践，自定义Spark写本地分片表策略
本章从JDBC代码、Nginx反向代理、CHProxy、Spark等几个方面实践数据负载均衡可高可用。Spark的负载均衡和高可用支持通过自定义本地表的数据写入，支持轮询、随机等更灵活地分片写入策略。在集群环境，演示大数据量的数据写入与优化。…
第16章 【项目实战第五篇】如何选择合适的维度表存储方案
本章介绍几种常见的表引擎以及ClickHouse的字典，确定在不同的场景下，如何选择维度表的存储方案。
第17章 【项目实战第六篇】数据汇总层与应用查询优化
面向主题建模，生成数据仓库数据汇总层(DWS)的表。在集群环境，对超千万级的项目数据进行分析、SQL优化、参数调优，演示调优前后的效果。
第18章 【项目实战第七篇】基于轻量级BI工具的数据展示与可视化监控
