思考该项目（网站流量分析）： 1）执行该项目的背景和意义 2）如何去开展网络流量分析（业务） 3）项目整体的框架的流程图+架构 技术流程：围绕着数据的流转（数据从哪里来 数据到哪了） 整体的框架：基于数仓的框架 4）模块开发 数据采集：从零到有：web服务器自带的日志，+自定义收集（埋点采集） 埋点的采集：预先在网页上写下js代码，设置事件，当用户触发这个事件时，会收集相关的信息。 数据的搬迁以及采集： flume

1.该项目的背景以及意义（网站用户行为分析）： why？ 1）有2种网站不需要分析用户：公益性网站+政府网站。其他网站的目的都是盈利 2）该网站是否盈利取决的是用户（比如说爱奇艺是不是充钱变成会员） 3）我们分析用户的行为习惯，根据用户的喜好，推荐用户相关的产品等等，让用户沉淀下来，变成长久性客户（淘宝京东都是如此）

2.如何开展网站分析？ 整体是一个金字塔结构（漏斗）形状，分三个部分：流量分析、内容分析、转化分析 塔尖：RIO（投资回报率）。不管从那个角度分析，最终目的都是提高ROI赚钱 塔底：端到端的分析（数据来自于用户，经过分析最终反作用给用户）

质量分析（流程分析）： 理解：一个用户打开一个网站，能不能长久性的留下来？留下来时间越长，能不能带来收入 结论：在保证质量的前提下，用户越来越好

多维度分析（流量分析） 细分：通过不同的维度对指标进行分割 扩展：多维度分析模式（麒麟） 什么叫多维度？ 比如：统计分析过去3年来自于上海24岁未婚女性购物金额最多前3个。 维度：时间、地域、年龄、婚姻、性别 度量值：sum(金额)---->topN 甚至为了更好的开展多维分析，当下生态圈有一款软件火的一批。Apache kylin.

分析维度：A B C 零维：[] 一维：A B C 二维：AB AC BC 三维：ABC

内容分析：对得到用户的相关信息进行分析 转化分析： 理解：该网站是一个封闭渠道，引导用户按照流程实现最终的目的，意思就是付款 漏斗模型：层层递进 逐级流失 转化率 留存率 流失率

3.项目的流程和技术框架： 流程：先从数据的采集到后台接受到数据为主（now讲的） 1.数据采集分2种： 从无到有： 3.1使用web自带的日志记录功能 优点：简单方便 不需要配置 内置集成可使用 缺点：收集的数据有限 无法自定义 3.2使用前端自定义的埋点功能 埋点：预先在页面上写入js代码，设置事件，当满足一定情况时，触发事件，收集相关的信息 数据的搬运采集 Apache Flume（只针对于海量的日志文件）： 基于文件夹监控采集：（source）sqoordir 基于文件实时采集：exec tail -f

2.数据储存 Hadoop hdfs 3.数据预处理 在正式分析数据之前对数据处理动作 理解：变成结构化数据，后期在hive数仓中使用sql便于分析 技术选型 理论上 任何一款软件或者编程语言 只要可以接受数据处理数据并且输出数据 用于预处理。 本项目中：Hadoop MapReduce java语言程序 熟悉 可以去调用java各种已有工具类 MR是分布式程序 对应大量数据预处理可以并行执行 提高预处理效率 4.数据入库 入库：面向分析的数据仓库 ETL：将业务系统的数据经过抽取，清洗转换后加载到数据仓库的过程 5.数据分析 根据业务需求，编写sql计算各种指标 6.数据应用（可视化） 使用图形或者表格展示数据中的规律，人是视觉动物

以下是网站流量分析的流程图