文/吴斌

　　随着移动互联网时代的到来，UGC（用户产生内容）不断发展，社交网络（Social Network）已经不断普及并深入人心，用户可以随时随地在网络上分享内容，由此产生了海量的用户数据。面对大数据时代的来临，复杂多变的社交网络其实有很多实用价值有待挖掘。

　　随着Facebook、Twitter、新浪微博、LinkedIn等社交媒体的流行，对社交网络的数据挖掘成为近几年的一个技术热点。而在社交网络中，用户与用户、用户与主题、用户与活动的关系网，就是一种图结构的海量数据，所以对社交网络分析的一个主要方向就是针对关系图的图数据挖掘。

社交网络大数据挖掘的应用场景

　　意见传播、动态网络影响力传播模型分析。这是社交网络分析的典型应用之一，主要分析相关主题图结构数据中的“意见领袖”、“结构洞”（即跨越不同社群子网络的桥接节点）、“动态网络影响力传播模型”等问题。

　　例如，一款新手机发布后，其在新浪微博做媒体宣传推广的预算是100万元，预计每个新浪博主的宣传费是1万元，如何利用这100万元预算，使这款手机在新浪微博上的推广效果最好? 用图数据挖掘的语言描述就是：在基于新浪微博的社交网络中，需要找到讨论主题是“手机”的相关100个节点（人），且使得这100个节点的影响力传播范围最大。

　　某领域专家发现和排名。基于某个学术主题或学术会议，在相关论文的合作者构成的图数据中，找到最有影响力的专家、分析专家影响力的排名，并图形化呈现专家与专家之间、专家与研究课题之间，以及研究课题与相关学术会议之间的关系，便于人们直观地发现某领域内专家的排名顺序和相互之间的关系。

　　社交关系分析。按照社交网络的六度空间理论，每两个人的关系一般只需要通过6个中间人就可以建立。所以在社交媒体中，人们之间的关系基本都可以组成网络结构。社交关系分析，最典型的应用案例就是通过用户的电话记录，或者邮件记录，分析其中哪些人是家人，哪些人是同事，谁是谁的领导等关系。

　　相关主题的历史和趋势分析。针对某个主题，其描述方式在不同的时间会有很多表达方式，还会有一些相关的子主题。这些不同的表达方式或子主题就是针对某个主题的一个相关主题演进关系图。

　　比如，与Deep Learning相关的主题有Deep architecture、Deep belief network、Neural network、Feature selection、Reinforcement learning等，这些主题都与Deep Learning有着密切的关系，分析这些主题随着时间的变化，也是一种图关系的数据分析。

　　基于地理位置的某领域专家分布分析。基于全球地图，查看某个领域全球顶尖专家的分布，进一步看出全球各个地区在该领域研究力量的分布，一流的专家有哪些，分别聚集在哪个地区。

　　知识图谱的构建。知识图谱是谷歌、百度、雅虎搜搜等知名搜索引擎近几年新发展的技术，其核心是为用户提供查询信息与相关知识的关系。直接通过图示的方法展现密切关联的信息，比仅仅提供网页链接，对用户而言，价值要大很多。　　而且，信息的关联就是知识的直接体现。所以，知识图谱被称作新一代的搜索引擎技术。

　　例如，腾讯的SOSO华尔兹提供的明星社交图谱就是一个典型应用。它可以通过图结构展现明星之间的关系，并且可以查看近期的热点新闻事件。这样的信息图谱的直观展示，为用户的使用带来很大的便利性和直观性。

社交网络大数据挖掘的核心算法模型

　　通过以上介绍，我们可以知道基于社交网络的图数据挖掘的实用价值和应用场景。针对社交网络的图数据挖掘，传统计算机技术面临很多挑战。

　　比如，Facebook图节点和边的数据已经达到数十亿的数据级别，海量图数据的分析计算和检索比较困难。而且，基于图结构的数据构建算法模型复杂度很高。另外，海量数据处理，势必带来并行化处理的要求，而图数据的关联性大、分割复杂，导致基于图数据的分析算法并行化难度很大。

　　面对这些挑战和困难，学术界已经有一些研究和实验，华为与清华大学合作做了一些技术研究，可以为基于社交网络的图数据挖掘提供一些方法和思路。下面，介绍一下这个领域的核心技术。

　　社群发现：在社交网络中，有相似特征的成员会自动形成一些社群，比如“高富帅”和“吊丝”，就属于不同的社群。通过计算自动地发现这些社群，可以帮助我们识别一个个有相似特征的群体，也就可以针对这些人群的特征分门别类地做各种应用。这里使用的是相关主题的图节点聚类方法，主要使用FCM算法，即基于模糊集的均值聚类算法。

　　专家排名：学术论文中，每篇文章的合作者，可以构成一个网络，而且这个网络是基于该论文主题的专家网络。所以，根据专家基本信息给出初始分数，针对某个主题的很多论文的专家网络关系，通过ACT模型　　（Author-Conference-Topic）就可以迭代地计算出每个节点（专家）的排名。这也被称为基于传播的算法。

　　社交网络节点影响力的算法：通过Topical Affinity Propagation（TAP）模型，可以基于某个主题在社交网络构建影响力模型。这个模型基于因子图（Factor Graph），因此又称作Topical Factor Graph （TFG）模型。

　　我们可以使用这些网络影响力算法模型在社交网络中发现某个主题的“意见领袖”和影响力传播范围。另外，通过Noise Tolerant Time-varying Factor Graph Model（NTT-FGM）模型，可以在一定的时间段内，分析出社交网络影响力传播的动态图。

　　对于网络中节点关系的自动标注：在很多情况下，各种不同网络中的数据关系是未知的，或者只有小部分数据有关系标注（Label），大部分数据是没有关系标注的。这就需要一些半自动的算法进行关系标注，半监督（Semi-supervised）算法Partially-labeled Pairwise Factor Graph Model（PLP-FGM）应运而生。

　　图模型算法的并行化分布式计算：图数据的挖掘往往需要对海量数据进行数据挖掘，而且算法比较复杂，有效地进行并行化分布式算法处理是一个重点。目前大规模图挖掘算法的思路是基于Map Reduce，将矩阵与向量相乘的过程并行化，但却没有针对Map Reduce特点对图数据进行划分，因此会产生大量中间结果，需要大量的文件I/O交互，算法代价很高。针对这些问题，基于MPI（Message-Passing Interface）的算法，可以针对Map Reduce方式的分布式图模型算法进行优化。

　　通过以上分析，我们大致可以了解基于社交网络的图数据挖掘的应用和核心技术。华为自身也在很多领域应用了图数据挖掘，比如产品和业务的个性化推荐、在各技术领域的专家发现、技术专利与业界的对比分析、产品中的用户刻画和用户关系分析、基于社交网络的产品意见调查分析等等。

社交网络大数据挖掘的数字营销应用

　　随着大数据时代的来临，各行各业都开始寻求大数据技术的应用模式。例如谷歌、百度等互联网公司，利用海量的搜索数据，可以做流感预测、票房预测等统计分析，或根据历史记录针对不同用户进行个性化内容推荐。此类应用主要是为了提升互联网公司的影响力，增强服务体验，从而增加广告收入。

　　在企业界，如果企业能够掌握有价值的用户数据，如用户的时空位置数据、用户的消费数据等，就可以进行数据匿名化处理，然后对第三方提供数据访问接口，通过数据访问的服务费直接获取利益。另外，伴随着物联网的发展，一些大型企业通过海量传感器的数据收集、处理、分析，进行精确的生产控制、及时的自动化决策，来降低生产和维护成本（主要是人力成本），并提升运营效率。

　　“数字营销”也是一种大数据分析的主要应用方式，主要是通过互联网等各种渠道，帮助企业分析用户数据，获取用户对产品的意见，分析用户的需求，为产品和服务质量提升等做量化的数据分析，从而精准高效地提升营销水平，为企业创造更多效益。

　　另外，对各种媒体广告投放后的用户意见收集分析、销售变化分析，可以为对产品广告投放收益ROI（投资回报率）分析提供有力的数据支撑，让企业在合适的媒体上投放正确的广告，也可以直接为产品销售带来收益。业界知名的市场调查和咨询公司，都已经在数字营销方面大力投入、重点发展，并且在Social Listening（社交媒体的用户意见监听）、ROI（各种互联网媒体广告投放效益的量化分析）等领域，有不少应用产品和成功案例。

　　而且，数字营销这种大数据应用，适合于大中小各类企业，企业的投入规模小、流程改造小，可以通过在营销部门的局部投入，产生直接的效益，见效快、可度量性比较好。并且，数字营销可以以局部牵动整体，从产品营销的数字化分析延伸到产品的设计生产、供应链等领域，实现数字化精确控制，促使企业逐步向数字化、智能化发展。

　　随着移动互联网用户的不断增长，基于传统社交网络加上移动社交网络来做品牌营销、市场推广、产品口碑分析、用户意见收集分析等“数字营销”应用，将会是未来大数据应用的热点和趋势。而且，互联网还有一个很大的优势，就是获取数据很方便，只要使用爬虫技术，就可以很快获取互联网上海量的用户数据，再结合文本挖掘技术，就能够自动分析用户的意见和消费倾向。同时，因为这些数据都是已公开数据，这就规避了大数据分析的一个非常大的障碍——用户隐私问题，为大数据分析的商用化落地铺平了道路。

　　华为在社交网络的大数据挖掘方面已有很多研究和应用案例，华为与金融领域的大企业进行项目合作，帮助其通过客户的社交关系网络进行数据挖掘，发现相似类型的潜在客户社群，进行不同类别的金融产品促销；并且通过重点客户的供应链、销售等上下游关系，金融转账和交易数据，客户与同行及竞争对手之间的关系等，进行客户资产的分析排名，预测其潜在经营实力，帮助金融企业挖掘潜在的大客户。

　　另外，华为能够通过对社交网络数据进行爬取和分析，图形化地帮助企业展示其在社交网络中的用户口碑和用户对各种产品的意见，及时动态地显示某个重点事件在网络中传播路径和范围，帮助企业监听热点事件，及时响应网络上的用户意见，及时准确地改善服务质量，提升企业的品牌形象。

　　此外，华为还为业界一些网络营销公司提供消息推送服务器、数据挖掘平台等产品，帮助企业进行高效的数字营销应用和服务。

　　我们相信，在“大数据”的浪潮中，基于社交网络的大数据数字营销应用，将会为企业带来更多的收益，推动大数据分析在各行各业中的应用和推广，为企业和社会带来“大价值”。

（更多华为资讯请关注华为开发者社区，华为自己的对外开放门户:http://developer.huawei.com/cn/ict/ ,不要问我叫啥，别人都叫我雷锋）