互联网已经进入至各行各业，企业的经营也越来越互联网化，企业的商业行为每时每刻都产生着大量的互联网数据，这些数据包括自身的、行业的及用户的，如何对这些数据进行追溯、实时监测及未来预测，也就是数据挖掘，将逐渐成为企业经营决策重要的依据。

要实现互联网数据挖掘的应用落地，大数据营销基于大数据搜索及NLP技术，完成互联网数据从采集、结构化、应用的技术服务解决方案，为企业赋能互联网数据挖掘，为经营决策提供依据。

1.互联网数据的三大特征

我们首先要看下互联网数据的特征。总的来说，互联网数据具有海量、多源、异构的特征。

首先是海量的特征，据IDC发布《数据时代2025》的报告显示，全球每年产生的数据将从2018年的33ZB增长到175ZB，相当于每天产生491EB的数据。

再来看下未来爆发式增长的物联网数据，2025年全球物联网连接设备将达到754.4亿。

无处不在的物联网设备正在将世界变成一个“数字地球”。据HIS的数据预测，到2025年，全球物联网（IoT）连接设备的总安装量预计将达到754.4亿，约是2015年的5倍。

接着说下互联网数据多源和异构的特征，从web1.0到移动互联网，再到物联网，互联网数据的来源越来越多，从最早的网站、论坛、传统媒体，到现在的社交、app、视频等，再到未来的物联网设备数据，光理清这些数据源类型就需要投入大量的人力与算力。大数据营销将现有的互联网数据分为新闻、微博、微信、论坛、平媒、app、视频等十大类，而且每一种数据源都有存在着不同的数据结构。

所以，要对互联网数据进行挖掘应用，首先要依靠大数据搜索技术来解决数据采集、数据结构化的挑战。

2.互联网数据挖掘

今天我们先来说下互联网数据挖掘的第一部分，关于互联网数据的采集。

目前市场主流的采集模式基本上都围绕搜索引擎技术实现，随着技术的不断发展，互联网数据爆发式的增长。如何从海量的互联网数据快速检索出与用户相关的有用数据已成为当前急需解决的问题。搜索引擎正是在信息检索技术的基础上发展起来的。搜索引擎帮助发明更好的表达和存储现实世界中的本质信息，而且通过对搜索引擎中的联接信息进行分析，可作为一种挖掘隐藏信息的有用工具。

但是现有搜索引擎单纯的依赖有限搜索词去表达用户需求，存在着表达不完整的问题。即使是同样的搜索词，不同用户所期望的结果可能也是不同的。例如微博系统，如果考虑微博以及相关交互对象的关系，它可以抽象为一个异构网络，其中包含了微博、信息、标签以及用户等节点。微博和微博之间存在着关注和粉丝关系，微博和信息之间存在着发表和转发关系，微博和标签之间是一个包含关系，而用户和微博之间存在着拥有关系。现有的搜索工具并未考虑上述多维对象形成的复杂环境进行数据挖掘。

大数据营销核心的PaaS层围绕大数据搜索及NLP模块构建。其中大数据搜索模块，将传统的搜索引擎技术结合深度学习，可以高效的处理海量、多源、异构的互联网数据，解决互联网数据大规模实时采集的挑战。

3.大数据采集步骤

大数据采集功能，主要的实现步骤如下：

第一阶段，爬虫从调度队列中获取一个采集任务，如果采集到无效对象，则调度到下一个任务。

第二阶段，判断采集任务的类型，同样从算法模型中匹配采集对应的类型，是网页、app还是微博等，不同的类型匹配不同的爬虫工具。

第三阶段，判断采集任务的深度，从算法模型中匹配所对应的采集深度，如采集深度未超过系统配置的站点采集深度。

第四阶段，根据前面三个阶段匹配的任务、类型及深度，将包含的各类数据标签进行爬虫采集。

第五阶段，采集任务正常执行，将数据实现入库，等待后续的数据结构化过程。

第六阶段，采集任务非正常执行，将此采集对象导入深度学习的算法模型库中，由机器或人工干预，实现采集模型的修正及训练，以匹配后续同类的采集任务。

结语

基于深度学习引擎搭建的大数据搜索采集模块，可有效解决传统互联网数据人工采集的挑战，覆盖率及准确度超过90%，同时结合分布式搜索平台，可以快速实现亿级的采集能力，时效性可以达到分钟级。

大数据营销现已覆盖国内外超过30万个数据源，为消费、服务、金融、互联网等中大型企业的数据挖掘服务提供数据保障。