解读 ┃ 多年经验老兵谈大数据AI本质：大多物流企业已陷入了误区

近日关注到某通物流新成立分公司招聘数据工程师，招聘要求如下：

任职要求：

1. 精通HiveSQL，有较丰富的HiveSQL性能调优经验

2. 优秀的分析问题和解决问题的能力，对解决具有挑战性问题充满激情

3. 熟悉至少一项分布式计算平台，例如Hadoop，Spark，Hive，Storm，Kafka等

4. 至少熟练使用Shell、Python、Perl等脚本语言之一

5. 了解数据仓库建设基本思路，有数据仓库建设项目经验

结合这样的招聘要求，今天我想以自身多年的系统开发及产品管理经验，给大家分享一些心得，希望对大家有所有帮助。

 一个误区：业务在线化尚未实现，已经在谈大数据及AI

首先，我们来看看大数据的含义：大数据是指数据量级大到现有的软硬件无法从中获取“合理的、科学的、或者有意义的知识”。一般常用的处理工具是Hadoop，Spark。

其次，人工智能（Artificial Intelligence），英文缩写为AI。简单的理解就是用计算机程序从已有的大量数据中计算出需要的结果。

毫无疑问，基于当前计算机技术能力的发展这两者必然会改变未来，尤其是物流行业这样一个操作密集型的行业。当下物流企业的高层技术管理人员，对这两者赋能物流企业寄予厚望。

从本文开头任职要求可以看出，这个大型物流企业在以处理大数据要求招聘数据开发工程师，那么作为新兴部门或企业，是否有必要招此类开发工程师？是否能接地气，实用性高不高？

数据处理分析就如同一个厨师将各种食材，进行加工处理，得出一道美味的菜肴。所以数据原材料是数据分析师处理的“食材”，数据处理加工的工具如同加工过程中的烹饪工具，处理结果就是最后的“菜肴”。那么如果烹饪工具很高级，厨师技术很高，但是食材缺乏，怎么能做出美味的“菜肴”？

食材分多种，有基础食材，有清洗后食材，有刀切完成的食材。下图表示数据分析与基础工作流程的嵌套逻辑：

上图还可以用另外一种实际操作场景予以表述：

1、底层表示最基础的数据采集层，比如商品出售时扫描商品码是第一个采集数据行为，然后客人用相应的支付宝账号进行付款，这是第二个需要采集的数据。最基础的数据采集，表示在第一现场做的行为的数据记录，这是我们进行数据分析的前提，这期间如果数据的采集量极其大，那么需要用处理性能高的服务器与工具，此时Spark就能发挥作用。这个底层系统我们一般称为基础业务系统；

2、中间第二，第三层是数据分析加数据采集，比如根据商品流动排名分析（这是第一层数据分析的结果），店主购买排名第一的销售商品，这是第二层的采集行为，其建立在第一层分析基础上，以分析结果作为第二层数据采集的起点，向后延伸采集更多的数据，这两层管理系统，我们称为业务管理系统。

3、最上面一层是数据结果层，比如该商品根据流出与采购下达，预计某个具体日期的库存量，并作出相应的补货或促销推荐。这是最后展示及可被系统自动推荐用于决策的数据。整个过程完成了所有数据处理及人工智能。一般这个层次是最后的数据呈现层，一般使用BI工具进行数据分发。

上面这个例子说明数据分析与流程嵌套之间的关系：没有基础采集准备就没有可分析的材料，没有数据分析的结果作为二层管理流程的起点就没有后续的采集节点。数据分析与流程相辅相成，这是为什么我在上一篇《联盟成网之“坑”》中说到依附于体系的流程探索如绣花，需要试错与积累，逐层细化，从而让系统流程覆盖率逐渐提高，数据协调能力提升，管理能力才能稳健的原因。

可以想象，巧妇在做无米之炊的时候，她只有两个选择：1.去自己找米；2.不做饭了。对数据开发工程师来说就是：1.我去填基础数据采集不全的坑；2.我离职不干了。

填坑的场景在物流网络中如下：你想让数据开发做分拨更优的人员模型配置，现在货物已经做了条码标记，流转过程中可以进行扫描记录，但是场地分拣货装卸操作过程中，库位未标记，人员标记也未记录到系统中，根本无法知道现有人员的效能。数据开发工程师等着业务部门去布设流程开发基础业务操作系统太慢了，自己直接冲进去做基础操作系统了。

上述情形说明一个优秀的数据分析工程师在条件完备的公司下可以很好地利用他的能力为管理者提供更好的决策依据。在一个条件尚不成熟的企业，宁可潜心做管理建设与体系打造，不要过早引入大数据分析工程师，造成企业成本浪费与优秀人才信任透支。

电商类行业以互联网为基础发展而来，本身是在线化产物，大数据AI的应用往往集中在此，这也是市面上近期大数据分析工程师这么火热的原因。物流行业本质上仍是传统行业，互联网信息技术只是帮助物流提高效率，国内物流任何一家企业说他在线化已经完全实现为时尚早，所以国内物流且应该更多反观自己内部的信息化进度，先少关注一点高精尖技术。

AI核心本质是人工建立的算法模型，让计算机语言将人脑中的算法模型予以表现。市面上经常会说一些数据分析的方法论：回归分析、聚类分析、神经网络方法等。在实际模型建设中，这些方法论能帮助实际应用模型的作用微乎其微。更多的是从实际场景与需求出发，把专业人士多年的经验从大脑中进行提取，归纳，抽象。人脑中的经验与精华才是人工智能的“本”，代码与软件实现是“末”。

此文系作者个人观点，不代表物流沙龙立场

-END-