如何评估数据科学项目(不了解数据科学) 

"数据驱动思维”由媒体社区的成员撰写,其中包含有关媒体数字革命的新想法。

今天的专栏是由美国应用数据科学总经理艾伦·休斯顿(Ellen Houston)撰写的 Civis Analytics.

在COVID-19危机的最后几个月中,您的分析团队很可能会努力工作,以了解消费者行为的状况。这是恢复策略的重要组成部分,但这并不容易。大流行对人们的观点,恐惧和行为产生了重大影响。趋势正在发生变化,您曾经知道可以预测的数据已跃入未知世界。如果您不是受过培训的专家,那么您如何评估分析团队项目的方法和结果,以及是否对所采取的发现有足够的信心呢?

作为一个稳步融入分析领域的职业营销人员,我经常遇到这种情况。这可能令人生畏,但是如果您提出正确的问题并理解一些简单的概念,您将更有信心,并有能力与分析团队合作。

也许更重要的是,您将可以在需要时致电BS。

让我们用公司目前面临的一些典型问题来说明如何更好地了解项目工作的来龙去脉,而无需再获得硕士学位。这通常涉及几个步骤:将数据放在一个地方,构建和完善模型,然后共享结果。 


数据怎么了?

任何数据科学家都会告诉您:没有任何数据集是完美的。这并不是说不完美的数据是坏的或无用的。你只需要了解 怎么样 它是不完美的,以及该缺陷可能对结论产生什么影响。例如,过去您可能只使用了会员计划中的数据。这种行为将与您的广大消费者群或普通市场不同(并且可能更积极)。

今天,一个常见的问题是:我的大流行前数据将如何帮助我理解未来的表现?答案是,这仍然存在很多不确定性。但是,要限制这种不确定性,您可以做一些事情。

首先,愿意承担一些经过深思熟虑的风险。与部分客户一起测试市场中的要约或消息,以了解他们在以前的类似要约上的效果如何比较,以了解影响的程度。

其次,开始了解您的客户群是如何变化的。这可以通过调查或使用公开数据对关键地理区域进行概要分析。目的是了解大流行如何影响了您的客户,而不仅仅是所有美国消费者。

经济困境是高于还是低于全国平均水平?您是否集中在受到大流行影响的任何地区?这将使您对组织中的客户需求有更深入的了解。

您在建模什么,如何做? 

仅使用术语“ AI”,“机器学习”或“专有算法”的对话应该引起人们的注意。所使用的算法有很多细微差别和优缺点,但是了解一些基本知识还有很长的路要走。如果团队不愿意或无法解释所使用的方法?这也是BS的危险信号。

首先,您想了解要预测的确切项目。例如,如果有人说销售是因变量,这是否意味着销售量(单位),销售收入(美元)或二进制购买的是或否?所有这些都极大地影响了您如何解释模型的结果,并且您越了解所预测的内容,您就会越了解如何应用建模的结果。

其次,您想了解使用了哪种类型的模型。同样,您不需要了解有关随机森林回归和逻辑回归的所有知识,但是您的团队应该能够清楚地说明他们使用的模型以及原因。在准确性和可解释性方面询问模型的优缺点,并让他们引导您了解一些用简单的英语改进模型的重要功能和过程。隐藏行话和高度专业化的术语并不能帮助会议室中的任何人共同努力以取得最佳结果。

最后,进行公开讨论。了解团队感觉进展顺利或他们希望拥有哪些其他数据源。询问他们看到了哪些限制。就像数据一样,没有模型是完美的。公开而富有成效的讨论使您能够充分了解当前的局限性,因此您可以根据结果做出最明智的决定。

结果和建议是什么?

好的,您了解数据。您遍历了模型,现在您需要了解如何对结果采取行动。

确保您了解工作的哪些部分导致了建议,以及如果实施了这些建议,则如何对其进行衡量。 Analytics(分析)是一个持续的过程,重要的是要进行迭代,并知道有时它是正确的,有时您需要学习。

对读数感兴趣。确保您了解可用的各种图表。所有轴都从零开始吗?您可以在幻灯片上向后解释并理解结论吗?

分析可以挑战传统知识,并帮助您变得更精确-但请不要忽视自己的直觉。如果结果与过去的行为完全不符,则分析团队应帮助您了解原因。如果他们做不到,那就是一个问题。

警惕有意或无意的误导性统计数据。例如,没有“ n”大小的百分比或索引可能会使结果看起来比实际情况更加极端。此外,别忘了关联与因果关系并不相同,过分专注于方向性发现会导致您忽略潜在的混淆因素或成为受害者 虚假相关.

当您评估一个分析项目时,不要只是看着复杂的数学模型而认为建议是正确的。花一些时间问问题,并深入研究您不了解的内容。有可能,房间里的其他人会很高兴您的询问。

关注Civis Analytics(@CivisAnalytics) and AdExchanger(@adexchanger)在Twitter上。

 

 

喜欢这个内容吗?

立即注册成为AdExchanger会员,即可无限制地访问此类文章,以及专有数据和研究,会议折扣,按需访问事件内容等!

今天参加!

 

添加评论

XHTML: 您可以使用以下标签: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>