大数据专栏

大数据应用是新东网现阶段及未来专注开发的重要业务领域，涉及渠道大数据，城市大数据、农业大数据、溯源大数据、舆情大数据、安全大数据等。2018年，新东网将建成大数据云平台（DOONE CLOUD INSIGHT），实现支持数据超市，提供数据公共服务能力及提供专题方式的图像化配置数据计算能力，支持接入政府云、阿里云和腾讯云服务能力。“大数据专栏”将陆续推出系列文章，每周三发布。

 

 

通信行业大数据应用背景

 

 

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。 动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。在国家层面上,我国在"十三五"规划（2016－2020）中提出："实施国家大数据战略，推进数据资源开放共享"。作为"'十三五'十四大战略"之一的"国家大数据战略"，我国《大数据产业"十三五"发展规划》也正在紧张制定中。"十三五"期间，大数据领域必将迎来建设高峰和投资良机。

 

在市场竞争日益激烈的大背景下，通信企业一方面考虑是否需要投入营销成本来占据更多市场份额；另一方面针对营销成本投入后营销效果如何、营销过程数据如何、如何为一线提供行之有效的营销策略、营销数据及营销工具，成为公司领导及管理层的切身痛点。

 

 

渠道大数据平台是什么

 

 

渠道大数据平台基于大数据挖掘技术，结合行业海量数据处理，通过面向各级承包经营者小CEO，以客户为中心，建立以“划小、经营、承包”三位一体的统一平台，为承包者及企业的生产经营提供有效的解决方案。

 

l 划小管理

 

引入“阿米巴”经营模式对企业经营单元进行划小管理。企业通过自下而上的倒三角管理模式实现量收成本、预算考核快速分配下达，再通过自上而下的经营发展来实现企业与小CEO双赢的格局。

 

l 承包管理

 

以网格为单位，开展以客户为中心的精准营销模式，实现网格化划小承包责任机制，由小CEO管控各自承包责任田的成本预算及利润。从而激发小CEO的营销动力，多发展多收益。

 

l 经营分析

 

以大数据分析技术作为导向，建立多样的经营分析模式：量收分析、发展分析、欠费分析、离网分析、商机发现等。通过大数据分析技术，分析用户消费行为，针对不同潜在欠费、离网用户及不同的业务场景，快速建立一套精准的营维体系。

 

渠道大数据平台整体解决方案

 

 

l 平台采用技术架构

 

 

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。

 

Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。HDFS（对于本文）的上一层是MapReduce 引擎，该引擎由 JobTrackers 和 TaskTrackers 组成。

 

l 平台数据逻辑架构

 

平台数据整体逻辑分层主要分为五层架构管理，包括有数据集成层、文件存储层、数据存储层、编程模型层以及数据分析层。来实现划小平台数据流的逻辑分层。实现安全、可靠、高效的数据架构工作流。

 

l 平台数据挖掘方案

 

 

 

如上图所示，平台数据挖掘核心思路分如下几大步骤：

 

1） 数据采集与预处理：数据采集是通过RFID射频技术、传感器以及移动互联网等方式获得的各种类型的结构化及非结构化的海量数据，并完成对已接收数据的辨析、抽取、清洗等操作

 

2） 数据存储与管理：大数据存储与管理技术是用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。主要解决大数据可存储、可处理及有效传输等关键问题。

 

3） 数据分析与挖掘：数据分析及挖掘技术是大数据的核心技术。主要是在现有的数据上进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。

 

4）数据展现与应用 ：大数据技术能够将隐藏于海量数据中的信息挖掘出来，从而提高各个领域的运行效率。

 

l新东网“渠道大数据平台”能做什么?

 

用于以下三大领域：商业智能、政府决策、公共服务。

 

 

1、 市场化承包机制

 

建立完善的承包管理机制，将企业经营单元划小为一个小颗粒度的网格，进行有效的经营管理模式。企业通过至上而下的管理方式实现企业预算、营业目标快速分配下达，再通过至下而上的发展来实现企业与个人经营者双赢的格局，从而激发企业营销活力，推动企业业务发展；

 

2、 经营统计分析

 

实现多维度的运营分析功能，为各级管理层和经营分析人员提供信息支撑，直观反映企业的市场运营状况；

 

3、 业务营销支撑

 

打造前端营销一体化工作平台，为前端业务部门提供针对性营销工作、精细化的营销管理工作和全渠道视图化管理，提高市场渠道营销能力；

 

4、 企业的“工资条”

 

规范统一的薪酬管理模式，企业的“工资条”，为一线人员提供查看绩效工资的入口，实时了解自身的薪酬；

 

5、 企业沟通交流

 

打造全网渠道管理交流平台，实现运营数据采集和指标配置及统一下发，为各级管理人员提供沟通保障；

 

6、 人力管理机制

 

建立不同责任渠道的组织架构，并根据“分渠道、分层级、分角色”管理模式进行人员工号权限的限制，实现经营单元精确化管理。