如何有效评估数据建模师的业绩?

今天就以案例的形式跟大家聊聊团队数据建模师OKR的设置经历,希望于大家有所启示。

Kpi, Indicators, Performance, Achievement, Analysis
2019年初,团队开始尝试引入OKR任务体系,灵感来源于这本书《OKR工作法》,所以引入OKR,首先是大数据能做的事很多,目标要达成一致就变得非常困难,其次大数据创新的速度加快,原来按年度考核的节奏就显得慢了,最后,很多互联网企业引入了OKR进行管理,自然有可取之处,也想学习一下。
OKR的核心是目标导向,而不是KPI导向,那么如何设置目标呢?
难度+具体是当前比较公认的判断好目标的方法,但目标导向其实是个很虚的东西,你还是需要通过KR等指标来诠释这个目标,但如果没具体实践过,就很难抓得住要点,OKR也很容易形同虚设。
今天就以案例的形式跟大家聊聊团队数据建模师OKR的设置经历,希望于大家有所启示。
1、好高骛远
有个智慧精选的短信产品,能实现广告的精准投放,为了提升投放的精准度,我们的建模师需要承担模型的优化工作。
第一季的OKR设置如下:
目标:提升智慧精选的转化率
KR1:月收入突破XXX万(起始XXX万)
KR2:月平均点击率XX%,复购率目标XX%
KR3:挖掘潜在客户XXX家,并提供至少XXX个场景解决方案和效果报告,形成教育行业的市场容量动态规划图,可视化展示市场潜力、已发展区域、推荐发展区域及触达场景案例。
我们把市场的目标也放到了建模师身上,希望建模师能够与市场共进退。现在回过头来想,还是too young,too simple。很多KR完全超出了建模师的能力圈,这些KR的设置毫无意义,变成了管理者的自嗨。
2、不求甚解
我们意识到了这个问题,然后进行了KR的精简。
第二季的OKR设置如下:
KR:月平均点击率X%(起始Y%, 点击率=所有营销类需求的点击用户/所有营销类需求的发送用户(剔除宣传类需求))
但对于一个投放产品来讲,其上承载的业务千差万别,比如我们的投放横跨了招聘、零售、教育、房地产等等各个行业,而每个行业的目标用户都不太一样,给建模师设置一个包罗万象的月平均点击率KR就显得有点托大。
虽然说创新要摸着石头过河,但河太宽了容易淹死。
3、KPI陷阱
这次我们分析了所有行业的业务量情况,选择教育行业为切入点进行模型提升。
第三季的OKR设置如下:
KR:教育行业月平均点击率X%(起始Y%)
如果你是团队的TL,你觉得这个OKR设置的怎么样?
业务的最终目的是转化,但我们发现在短信这种场景,点击率不是一个很好的评估效果指标,点击率和转化率也不是一回事,而很多讨巧的方法能让点击率提升,比如找到短信点击偏好的用户,但这些用户转化其实不高。
这凸显了OKR和KPI的区别。
4、数值诱惑
我们对于投放业务进行了分析,发现短信中一般都留有商家的电话号码,因此如果在投放后用户跟商家通话率很高,则更能反映模型的实际效果。注意这不是线上渠道,暂时还无法形成投放和效果的闭环。
第四季的OKR设置如下:
KR:教育行业月平均点击率不低于X%,平均通话率X%(三季度点击率X%,通话率Y%)
但我们发现虽然通话率是很好的指标,但通话率的提升到底要设置多少才合适呢?在业务类型多样、变动非常频繁的情况下,参考上季度的通话率就缺乏说服力,一个季度后,建模师说通话率从0.20%上升到了0.25%,你说到底是业务的波动还是模型的贡献?
我们还需要继续改进。
5、囿于训练
吸取了前面的教训,我们终于祭出了评估的大法,AB测试,这在互联网企业屡试不爽。
第五季的OKR设置如下:
KR:针对教育行业通话率指标,AB测试的效果提升在2倍以上
其实这个目标对建模师已经有了很好的指导意义,但还是不够的,因为我们的目标是业务转化,而不是让建模师拿着历史数据进行AB测试的自嗨。
6、更进一步
模型从训练完成到发布到生产环境再到可用其实有不少的路要走,我们更强调的是让模型在生产中发挥出规模化价值,而不是昙花一现。
第六季的OKR设置如下:
KR:在教育行业的投放中通话率AB测试的效果提升在2倍以上,并且覆盖80%的投放工单
这是团队通过6次迭代后达到的OKR目标设置水平。
我们发现,别人家的方法要为你所用,总是要经历不停探索和修正的过程。很多时候,我们是坚持不下来的,要么流于形式,要么说这个方法华而不实。
但笔者还是有个坚定的信念:OKR的本质是就要你体现出差异化的增量贡献,否则跟南谷先生就没什么区别。
希望于你有所启示。

本文为专栏文章,来自:傅一平,内容观点不代表本站立场,如若转载请联系专栏作者,本文链接:https://www.afenxi.com/91047.html 。

关注我们
关注我们
分享本页
返回顶部