神策数据创始人兼CEO桑文锋：大数据分析的四个重要环节-程序员宅基地
本文是神策数据创始人&CEO桑文锋在数据猿联合BitTiger、微软加速器，共同举办的“硅谷之声——大数据技术达人中国行专场”的精彩分享，本文主要围绕了什么是大数据，什么是基于大数据的数据驱动思维，如何具体实现数据驱动等方面。
桑文锋在百度工作了八年，并于两年前成立神策数据，总结了大量经验，见下文。
“用数据说话”是百度的文化之一，百度产品、决策、运营层面的工作，都需要依赖庞大的数据。大众有一个误区——只有数据规模大才需要数据分析。这是片面的。首先需要明确一个概念，什么是大数据？
大家可以从两个层面理解大数据：物理层面和抽象层面。
一、从物理层面来看，可以归结为四个字：大、全、细、时。
第一，“大”强调宏观的“大”，而非物理的“大”。大数据不是一味追求数据量的“大”，比如每天各地级市的苹果价格数据统计只有2MB，但基于此研发出一款苹果智能调度系统，就是一个大数据应用；
第二，“全”强调多种数据源。大数据采集讲求全量，而不是抽样。除了采集客户端数据，还需采集服务端日志、业务数据库，以及第三方服务等数据，全面覆盖。
第三，“细”强调多维度数据采集，即把事件的维度、属性、字段等都进行采集。如电商行业“加入购物车”的事件，除了采集用户的 click 数据，还应采集用户点击的是哪个商品、对应的商户等数据，方便后续交叉分析。
第四，“时”即数据的时效性。可以实时计算、得到反馈结果的数据，显然更有参考价值。
所以，小型创业公司，可以优化数据采集深度，把数据收集的更细、维度更多、时效性更强，同样也可以使用大数据服务进行数据分析。
二、从抽象层面来看，基于大数据的数据驱动思维非常重要。
大数据有如下几个环节：
第一个环节是数据采集。数据规模大导致数据采集本身有很大难度，需要通过多种手段对数据进行大而细的记录。
第二个环节就是数据建模。数据建模最重要的是整理数据，拥有完整有条理的数据表，才能进行进一步的细致分析。
第三个环节是数据分析。在已有数据的基础上进行用户行为分析、用户分群。
第四个环节是指标。对一个产品来说，如何获取新用户？每天增加了多少用户？拉新通过什么渠道？这些问题都需要具体到指标。
图1 数据金字塔
从具体操作的角度来看：
环节一：数据采集数据采集围绕“大、全、细、时”原则，全量采集尽量多维度的信息，保证数据的精细度和时效性，大数据不止体现在大。
“把数据源头的事情做好”，是桑文锋八年百度工作经验得出的最重要的心得。一个良好的数据源基础是成功的一半。如果数据源头不能控制，那么再厉害的分析模型和算法也无法拯救。
数据采集的三种方式：
在产品里通过后台配置，采集数据。这个方式的好处是不需要工程师干预太多，只需要业务人员、产品、运营自助式分析数据。弊端是自动采集手段目前还有很多局限性。许多时候，只能收集到宏观的数据，无法采集一些复杂信息。
通过代码去收集信息，埋入代码，记录数据。大部分的数据都是通过代码采集的。
通过工具采集。许多公司在数据采集方面都存在非常大的问题，比如公司人员的流动造成数据采集的混乱，所以要对数据采集进行监控，在哪些点进行了采集，都采集了什么样的维度，通过的有多少，没有通过的有多少。
另外，需要数据分析师参与到数据管理。在桑文锋创业的过程中，感受到很多公司数据负责人的缺失。数据采集不仅是科学技术上追求高效，也需要懂业务的人才真的把数据采集规范化。
为什么要建一个专业的数据平台呢？三个问题带我们找到答案：
要把数据表用于数据中心。如果把数据库里的表交给业务员、产品经理，他们理解程度有限，更不可能进一步使用。
性能不够。业务数据库的数据结构、数据表处理一般是高频化、小批量的，而数据分析的频次并不是很高，但是它的规模、吞吐量很大，不适用于在传统的数据库中进行处理。
数据不全。业务数据库的数据模型本身只能解决部分问题。数据建模是数据分析的前期准备工作，只有当数据模型易于理解，才能被大家更好地利用起来。还有需要高性能，才能满足数据分析的高速响应需求。互联网领域常用的数据分析模型是多维数据处理模型（OLAP），把数据拆成不同维度或指标。
数据分析可以助力产品改进。在有数据的情况下，产品迭代的工作可以对产品经理的经验有更高的容错率，数据会为产品改进提供强大的数据支持。
图2 产品改进流程对比图
运营监控非常重要，对于一个互联网产品来说，有三件事情很重要：
第一件事情是拉新，如何获取新用户；第二件事情是留存，怎么让这个用户不断地用你的产品；第三件事情是变现，怎么让客户掏钱付费。
一个科学的运营环节，应该分析哪些数据，可以从以下五个方面来看：
第一是触达，怎么让用户知道你；
第二是激活，让用户产生购买行为；
第三是留存，让用户留下来长期使用；
第四是引荐，让用户将产品推荐给其他用户；
第五是营收，让用户掏钱。
图3 运营监控AARRR
如何确定自己需要关心的指标？有两个方法：1.第一关键指标法，2.海盗指标法。
第一关键指标法：找出当前阶段的第一关键指标，衍生出其他指标，通过对子指标的改进达到对关键指标的提升。
海盗指标法：创业公司需要关注五个方面的指标：Acquisition（获取）、Activation（激活）、Retention（留存）、Referral（引荐）、Revenue（营收），简称 AARRR。
智能推荐
CSS 在全屏iphonex（刘海屏）中的适配_padding-top: env(safe-area-inset-top);-程序员宅基地
文章浏览阅读5.1k次，点赞3次，收藏6次。iphonex 已经上线有一段时间了，作为业界刘海屏幕第一款机型，导致全屏不能正常的全屏显示了，，所以需要对iphonx 适配，下面就详细说说如何适配先看一张适配前后的图:iphonex 提供的 meta 头<meta name="viewport" content="viewport-fit=contain"><meta name="vie..._padding-top: env(safe-area-inset-top);
Flume与实际项目中用到的_flume在实际中的应用-程序员宅基地
文章浏览阅读488次，点赞4次，收藏3次。http://flume.apache.org/安装1、上传2、解压3、修改conf/flume-env.sh 文件中的JDK目录 注意：JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项4、验证安装是否成功 ./flume-ng version5、配置环境变量 export FLUME_HOME=/home/apache-flume-1..._flume在实际中的应用
虚幻引擎图文笔记：自定义GameInstance（5月30日 更新）_虚幻获取mygameinstance-程序员宅基地
文章浏览阅读3k次，点赞3次，收藏8次。自定义一个 GameInstance类，这个流程很像 Godot中的 AutoLoad_虚幻获取mygameinstance
PHP-生成缩略图和添加水印图-学习笔记-程序员宅基地
文章浏览阅读82次。1.开始 在网站上传图片过程，经常用到缩略图功能。这里我自己写了一个图片处理的Image类，能生成缩略图，并且可以添加水印图。2.如何生成缩略图 生成缩略图，关键的是如何计算缩放比率。 这里,我根据图片等比缩放，宽高的几种常见变化，得出一个算缩放比率算法是，使用新图（即缩略图）的宽高，分别除以原图的宽高，看哪个值大，就取它作为缩放比率：...
dyld: Library not loaded: @rpath/libswiftCore.dylib ... Reason: image not found 解决-程序员宅基地
文章浏览阅读2.7k次。在室友Xcode继承一些framework时，爆出了如下错误：dyld: Library not loaded: @rpath/libswiftCore.dylib Referenced from: /private/var/containers/Bundle/Application/1761A6FE-9D6B-45F7-9F9F-922C94BF54A3/demo.app/Framewor..._library not loaded: @rpath/libswiftcore.dylib
linux gvim 快捷键tab,Linux中Vim的常用命令及快捷键-程序员宅基地
文章浏览阅读356次。光标控制命令h或^h向左移一个字符j或^j或^n向下移一行k或^p向上移一行l或空格向右移一个字符G移到文件的最后一行nG移到文件的第n行w..._gvim itab
随便推点
SQL Server 数据库查询速度慢的原因有很多常见的有那些呢_mssql server 响应变慢了-程序员宅基地
文章浏览阅读428次，点赞9次，收藏8次。例如耽搁查询的排序、连接、扫描和GROUP BY字句同时执行，SQL SERVER根据系统的负载情况决定最优的并行等级，复杂的需要消耗大量的CPU的查询最适合并行处理。13、在查询Select语句中用Where字句限制返回的行数,避免表扫描,如果返回不必要的数据，浪费了服务器的I/O资源，加重了网络的负担降低性能。如果表很大，在表扫描的期间将表锁住，禁止其他的联接访问表,后果严重。其次，看一下SQL SERVER的数据存放的结构：一个页面的大小为8K(8060)字节，8个页面为一个盘区，按照B树存放。_mssql server 响应变慢了
Linux 学习路线图_linux学习路径-程序员宅基地
文章浏览阅读2.4w次，点赞62次，收藏559次。1.应用场景更加高效地学习并达到运用Linux 2.学习/操作 linux运维学习需要分为四个阶段：初级入门、中级进阶、高级提升、资深方向细化。 第一阶段：初级入门 初级阶段需要把linux学习路线搞清楚，任何学习都是循序渐进的，所以学linux也是需要有一定的路线。 初级入门： Linux基础知识、基本命令（起源、组成、常用命令如cp、ls、fi..._linux学习路径
量子计算与通信技术：实现无线信息传递的新方法-程序员宅基地
文章浏览阅读893次，点赞19次，收藏19次。1.背景介绍量子计算与通信技术是当今科技界最热门的研究领域之一。随着计算机科学、物理学、信息论等多个领域的发展，量子计算与通信技术已经从理论研究阶段迈出了实际应用的第一步。在这篇文章中，我们将深入探讨量子计算与通信技术的核心概念、算法原理、具体操作步骤以及数学模型公式。同时，我们还将分析其在未来发展趋势与挑战方面的展望。1.1 量子计算与通信技术的发展背景量子计算与通信技术的研究起源于..._量子计算辅助无线移动网络
QPainter绘制图片填充方式（正常大小、剪切大小、自适应大小、平铺）-程序员宅基地
文章浏览阅读976次。Qt中QPainter提供了绘制图像的API，极大地方便了我们对图像的绘制。Qt中提供了QPixmap, QBitmap,QBitMapQImage,QPicture等图像绘图设备，它们的类关系如下图所示：QPixmap继承了QPaintDevice，您可用以建立QPainter并于上进行绘图，您也可以直接指定图案加载Qt所支持的图档，像是BMP、GIF、JPG、JPEG、PNG等，并..._qt paint 绘制图片不指定大小
主线程和子线程的区别_进程主线程子线程-程序员宅基地
文章浏览阅读4.2k次。主线程和子线程的区别每个线程都有一个唯一标示符，来区分线程中的主次关系的说法。 线程唯一标示符：Thread.CurrentThread.ManagedThreadID;UI界面和Main函数均为主线程。被Thread包含的“方法体”或者“委托”均为子线程。委托可以包含多个方法体，利用this.Invoke去执行。也可以定义多种方法体，放在Thread里面去执行。则此方法体均为子线程。注意_进程主线程子线程
ALBERT文本分类任务实现_albef分类任务-程序员宅基地
文章浏览阅读5.2k次，点赞2次，收藏15次。#! -*- coding:utf-8 -*-# 情感分析类似，加载albert_zh权重(https://github.com/brightmart/albert_zh)import jsonimport osimport numpy as npimport pandas as pdfrom keras_radam import RAdamfrom bert4keras.b..._albef分类任务