工业数据分析技术与实战之营销服务——昆仑数据田春华培训听课记录

  • 时间:
  • 来源:互联网

昆仑数据田春华老师在微信公众号的专栏培训:工业数据分析与实战。培训给出了一些实际的数据分析例子,包括“设备管理”、“运作优化”和“营销服务”三类;然后讲了数据分析的基本框架、方法和技术;最后给出了大数据时代,数据分析的认识误区和挑战。田老师发音不标准啊,好多词听好几遍,再关联上下文,连猜带蒙的才勉强能明白,不过有的也不一定对。记录以反复学习。
视频链接:
https://appgzdr0r6c3350.h5.xiaoeknow.com/v1/course/column/p_5e90181d2f5c2_Ut1xWLXN?type=3&share_user_id=u_5e91169429c27_G0xxVfLReS&share_type=2&scene=%E5%88%86%E4%BA%AB&access_entry=1%3Fentry%3D2&entry_type=2001&func_type=1&entry=2&is_redirect=1
————————————————
接上篇:
工业数据分析技术与实战之运作优化

这节课讲的可能大家接触比较多,用户画像,互联网上有很多这样的案例,这里从另外一个方面进行解释。这是早年参与的一个电信用户画像的例子。我们现在都觉着互联网上的数据最全,但是早年是电信部门的数据最全,但是碍于隐私碍于法律,电信不会做这些事情。你想想,你的手机,信号是跟某个基站支持的,根据基站信息情况,就能知道你在方圆几公里内活动,甚至知道你什么时间去了哪些地方。这些通过手机数据是都能够拿到的。另外还可以通过手机通话情况知道你朋友圈的信息,这远比互联网上盲搜的准确性高多了。另外其实手机消费信息里还能拿到你所有的消费情况数据,只是法律不允许供应商读取使用这些数据,还包括你从手机上浏览订阅哪些方面的消息,浏览量等等。其实电信供应商什么都能知道。这个例子是根据电信数据看你经常去哪些地方,是朝九晚五的上班族,还是送快递的天天跑,还是花天酒地天天逛夜店的。这是国外客户做的工作,我们国内现在法律还是不允许做这些分析。从这里我们可以看出来,数据维度的全,远远要比数据量大重要的多,知道你真正物理上的连接是什么,这在互联网行业大家也都意识到了,近几年通过各种数据交换数据手段来补全。
第二个介绍一个车联网的例子。这个客户有一个增值服务,第一年是免费的,但是到第二年他发现客户的续约率很低,他就想做一个营销,想确定一下哪些客户会订购这个服务。营销这个大家都知道,是不是豪车的会更不在乎这点儿钱,会续约,或者经常用的会续约。过去营销部门也自己做了一个模型,一个打分模型,首先根据是什么车型,什么档次的,第二根据过去的使用量,使用量高等等。后来发现营销效果并不好。他们就找到我们问有没有什么好的手段。我们就拿了他们一年的订阅数据简单做了一下。最早我们也单对车的价格做了分析,发现也是显著的,但是我们发现最显著的是时序行为,也就是对这个服务的使用行为,我们对使用行为进行了分类,是逐年上升,还是三分钟热度,买了新车用一阵,然后不用了,后来看快过期了,又用,这种V型的一种人群;还有一种是C字型的,一开始不太会用,或觉得没什么用,后来发现还挺好用的,再后来也没有想象的那么有用,就慢慢把它忘了。还有更复杂的。我们做了半天,发现V型的人绝对不要碰,他们就是占小便宜的,即使开豪车,营销对他们来说也没有任何价值。再就是看空间模型,看他们经常去哪些地方,是去CBD,还是哪里。所以说光看车的价格不能真正的反应出用户的消费习惯,反而看他们的使用行为更有效。
再一个例子是票房预测,现在因为疫情,票房都停了。正常情况下,一部电影上线时间也就一个月,好一点儿的再延长半月。所以一般首周的票房非常重要,首周的票房一般是整个票房的三分之一左右。所以在没上映的时候最关心的就是票房预测,这就会决定它排片的时候,到底排什么档期,什么厅,什么时间段。这些东西为什么重要呢?其实院线里面养着一批排片员,院线总部有排片指导,各个影院有自己的排片员。他们自己估票房估计的还不错,精度在50%左右,比如他说1个亿,不会超过5千万到1.5个亿,这样浮动还是挺大的,但是基本面的这些专业性都能抓住。总部的排片指导,他会天天看报纸,提前看影片,看各种评论,他对总票房的把握还是比较准的。但是各个院线的排片员的水平参差不齐,排片指导只是下一个大的指导意见,那么具体到这个影院,他的票房是多少,这特别依赖于排片员的经验。那他们就想问,能不能通过大数据,来预测头周票房,特别是前三天的票房。这个东西做呢,当时google发了一篇论文,通过google search,能够在北美票房预测中达到80%多的精度。那他们就也想,我们有百度,我们能不能根据百度的搜索数据预测票房。如果能预测准就太好了,百度搜索就能做,通过百度的搜索量,搜索热度,能反应电影的关注度。那我反过来问,抛开数据分析,抛开技术,你认为一个票房情况是由哪些因素造成的。那不外乎几个,影片的吸引度怎么样,观众的兴趣度是什么样的,再就是院线的环境是怎样的,不同院线的播放水平,院线周围居住人群都不同,再就是大的市场环境,比如疫情,春节档,国产电影节,甚至一些政治事件,都会影响到票房。我们先抛开数据分析,先梳理一下,看这个影片的吸引度,包括题材的吸引度,比如影片的类型,是喜剧还是悲剧,是小说改编的还是电视剧改编。话说回来,电视剧改编的票房一般都不好,小说改编的还可以。包括影片质量,影片质量怎么反应,一方面看导演,第二看演员,第三看投资,是不是大牌导演、演员,获过什么奖,奖项很重要;包括演员在社交媒体的吸引度怎么样,当时说为什么用社交媒体去做,就是因为这个演员怎么样,在社交媒体上是有所反应的,包括演员搭配怎样,比如刘德华和郑秀文,通常就比较搭,他们的票房就比较好。然后我们当时随便挖了一下,梁家辉和姓陈的导演,没有一个票房好的,大家开玩笑说这是命,其实就是一个巧合。这些东西,把他梳理出来,回头我们再看,都能够在社交媒体反应出来。那我们光看社交媒体,能做啥,我把导演演员的匹配度,把关注度,比如百度搜索,大众点评,官网点击量等都弄下来,加工出来,都试。我们期望是越简单越好,但是都没有想象的那么好。我们当年做的时候,王家卫的片子,因为他的影片都是文艺片,过去的票房都不是很好,那我们分析出来的模型也是一样,这个蓝色就是预估票房,都偏低,因为他的历史票房就是差,然后演员也带不起来,题材也带不起来,数据分析的时候更是这样,又不会去看片子怎么样,只能从历史数据情况来,但是一旦上映一天两天滚动预测的时候,很快就能跟上。但是其实也能看出,我们用数据分析的方法,使用历史预测未来,但是一旦历史预测不到未来,那预测值就会有很大偏差,这种情况下反而是人比较擅长,他们的发行看过影片后,都知道这个是个好电影,肯定要火,虽然王家卫过去的影片票房都不太好。这就是专家的一个分析,整理出来就可以看到,为了做这个分析,我需要票房数据,需要影院数据,需要影片数据,这些数据我需要从豆瓣去爬,需要去艺恩去拿,有的需要去百度,有的需要去官网等等,当然这些最后都是要做减法的,先用最少的数据去试一试精度行不行, 然后一点点的加,我们不会一下子都加进去。这里面我们能看到,有好多东西,比国外做的复杂很多,比如成都人喜欢恐怖片,上海人喜欢小资片,粤语片肯定在广东地区,哈尔滨就是抗战片,或者史泰龙的硬汉类型的片子。不同地区不一样,都可以通过数据挖出来。但是回到第一个问题,当时Google在北美只用一个搜索量就做了那么好的结果,为什么到了我们用了这么多数据还做的效果才好那么一点点?原因很简单,北美票房市场是一个非常稳定的市场,说白了你把去年数据复制一份放到今年,考虑一下档期,考虑一下导演演员的影响力,再乘以个经济增长量,基本上就是今年的票房了,用不用搜索量都是一样的。他讲是用的搜索,其实如果不用搜索,直接复制,都能达到70% 的精度,当然加上搜索量,能做到80%多,这样更好。但是国内市场不一样,好多院线都是成长期的,今年和去年不一样,整个的文艺产业也在一个发展的时机,这样如果通过搜索量去预测,可能会差很多。当然也有早年我们做的时候的一些不规范的现象,比如篡改搜索数据,买一些数据,包括票房的数据也有一些水分等等,这些都有,就造成我们在预测的时候不能简单的处理。
这几节课讲的三种类型设备管理、运作优化和营销服务各讲了三个例子,从这些例子可以看出,在实际做的过程中间,有好多问题看起来比较简单,做预测、做异常诊断,做分类,但是并不是把数据拿过来跑跑几个星期就能做出来的。实际的难点在每个里面都有各种异常情况,要不是样本问题,要不就是好多情况没有反应在数据之中,所以做的时候要特别的谨慎,因为我们数据分析师是解决一个实际问题,而不是像发一篇论文,研究一个算法,不对实际结果负责的时候,我们必须考虑现场的运营条件,运营体系,运行流程是什么样子,谁来用,用多久,做到60%是什么样子,做到90%对我意味着什么?包括我对数据的依赖度是什么样的,因为我对数据的获取是有成本的,要么通过数据交换,要么通过买数据,要不还得花成本去采集数据,而且这些数据还有时效性,比如五年前的数据今年还能不能用,这都是我们要反复反复思考的。这些东西,在我们数据分析教科书里都不会讲的,数据分析教科书都是假设数据是清洁的,假设数据是能反应实际情况的。但是实际情况下,很多东西并没有在数据中真实的反应,数据可能存在一些虚假的东西,那这时候就是我们数据分析师的责任,来分辨清楚。从这九个案例来看,其实在数据分析中间,算法是一块儿,问题是一块儿,整个的落地是第三块儿。就像我们刚开头讲的,OT、DT和IT,这三块儿都要考虑,这才是一个完整的数据分析项目。这种项目大家也可以看出,不可能存在一个交钥匙工程

本文链接http://element-ui.cn/news/show-398923.aspx