【英文标题】Intelligence Analysis and Intelligence Technology in the View of Big Data

　　【作者简介】李广建(1963-)，男，博士，北京大学信息管理系教授，博士生导师，研究方向：信息资源管理与网络信息系统研究，北京　100871；杨林(1984-)，女，中国科学院国家科学图书馆，北京　100190，中国科学院大学博士研究生，研究方向：信息资源管理与网络信息系统研究，北京　100049

　　【内容提要】大数据时代的到来，给情报研究带来了机遇和挑战。文章在现有研究和实践基础上，总结了在此背景下情报研究的发展趋势和相关技术问题，将发展趋势概括为单一领域情报研究转向全领域情报研究、综合利用多种数据源、注重新型信息资源的分析、强调情报研究的严谨性和情报研究的智能化五个方面，并探讨了可视化分析、数据挖掘、语义处理三方面的技术问题。

　　The era of big data brings both opportunities and challenges for intelligence analysis. Based on various researches and practices, this paper summarizes the trends of intelligence analysis in such environment, including single field analysis turning to full field analysis, using various types of data, focusing on new types of data, emphasizing on analytical rigor and intelligent. Then the paper discussed related technology such as visual analytics, data mining and semantic processing.

　　【关 键 词】大数据/情报研究/情报研究技术Big data/Intelligence research/Intelligence technology

　　1　引言

　　当数据和黄金一样，成为一种新的经济资产[1]，当科研处于以数据为基础进行科学发现的第四范式[2]，当数据开始变革教育[3]，这些无不宣告着我们已经进入了大数据(big data)时代。不同的学科领域，正在不同的层面上广泛地关注着大数据对自己的研究和实践带来的深刻影响，情报研究领域也不例外。

　　大数据，顾名思义是大规模的数据集，但它又不仅仅是一个简单的数量的概念，IBM公司指出，大数据的特点是4个V：Volume(大量)、Velocity(高速)、Variety(多样)及Veracity(真实)，它提供了在新的和正在出现的数据和内容中洞悉事物的机会，使业务更加灵活，并回答以往没有考虑到的问题[4]。Gartner公司的报告也提出，大数据是大容量、高速和多样化的信息资产，它们需要新的处理方式，以提高决策能力、洞察力和流程优化[5]。

　　由此可见，大数据强调的不单纯只是数据量多少的问题，其背后隐藏了更为复杂和深刻的理念，这些理念包括：①将对数据和信息的分析提升到了前所未有的高度。这里的分析不是一般的统计计算，而是深层的挖掘。大数据时代，如何充分利用好积累的数据和信息，以创造出更多的价值，已经成为企业管理者、政府机构以及科研工作者首要关注的问题。“业务就是数据”、“数据就是业务”、“从大数据中发掘大洞察”等意味着对数据分析提出了新的、更高的要求。可以这么说，大数据时代就是数据分析的时代。②多种数据的整合和融合利用。大数据时代，数据的多样性是一种真实的存在，数据既包括结构化的数据，也包括非结构化的数据，表现方式可以是数据库、数据表格、文本、传感数据、音频、视频等多种形式。同一个事实或规律可以同时隐藏在不同的数据形式中，也可能是每一种数据形式分别支持了同一个事实或规律的某一个或几个侧面，这既为数据和信息分析的结论的交叉验证提供了契机，也要求分析者在分析研究过程中有意识地融集各种类型的数据，从多种信息源中发现潜在知识。只有如此，才能真正地提高数据分析的科学性和准确性。③更加广泛地应用新技术和适用技术。数据量大(Volume)、类型多样(Variety)、增长速度快(Velocity)是大数据的突出特点，这必然会带来数据获取、整合、存储、分析等方面的新发展，产生相应的新技术或者将已有的技术创新地应用于大数据的管理与分析。同时，大数据的这些特点也决定了传统的、以人工分析为主的工作模式将遇到瓶颈，计算机辅助分析或基于计算机的智能化分析，将成为大数据时代数据与信息分析的主流模式。

　　对于在数据分析领域扮演重要角色的情报研究工作而言，大数据的理念和技术既带来了机遇，也带来了挑战。一方面，在大数据时代，情报研究工作正在得到空前的重视，大数据为情报研究的新发展提供了机会，从更为广阔的视野来看待情报研究的定位，研究新技术新方法，解决新问题，将极大地促进情报研究理论与实践前进的步伐。另一方面，大数据时代本身也要求各行各业重视情报研究工作，这就必然使得众多学科有意识地涉足到以往作为专门领域的情报研究之中，并将其作为本学科的重要组成部分加以建设。文献分析(本质是文本分析)不再为情报研究所独占，以往情报研究领域积累的相关理论和方法很有可能优势不再。因此，如何把握住自身的优势，并抓住机会有所拓展，是情报学在大数据时代需要思考的问题。

　　2　大数据环境下情报研究的发展趋势

　　大数据带来的新观念，正在引发情报研究的新发展，而且，研究人员也在不断地从情报研究的实践中总结经验教训，引导情报研究的未来走向。英国莱斯特大学的Mark Phythian教授在2008年10月作了题为“情报分析的今天和明天”的报告[6]，指出：①获知情境是至关重要的。忽略战略环境、领导风格和心理因素等更为广泛的问题，将导致情报研究的失误；②要加强信息之间的关联。美国政府部门内部的信息共享障碍，致使分析人员无法获取充足的信息来支持分析活动，导致情报研究中的预测失败；③要汲取更多外界的专业知识。这一举措虽然不能保证分析的成功性，但将是竞争分析的重要信息来源。

　　综合大数据背景的要求和以往情报研究的经验教训，结合国内外同行的研究成果，本文将情报研究的发展趋势总结为以下五个方面：单一领域情报研究转向全领域情报研究；综合利用多种数据源；注重新型信息资源的分析；强调情报研究的严谨性；情报研究的智能化。

　　2.1　单一领域情报研究转向全领域情报研究

　　随着学科的深入交叉融合及社会发展、经济发展与科技发展一体化程度的增强，情报研究正从单一领域分析向全领域分析的方向发展。

　　首先，表现在各领域中的情报研究从视角、方法上的相互借鉴。从方法上看，社交网络分析方法、空间信息分析等其他学科的分析方法，广泛应用于军事情报、科技情报等领域，心理学等领域的理论也用于情报分析的认知过程，以指导情报分析及其工具的研发。同时，情报学中的引文分析等文献计量方法也被借鉴用于网站影响力评估。从技术上看，可视化、数据挖掘等计算机领域的技术，为情报研究提供了有力的技术视角，情报研究获得的知识反过来又给予其他技术领域的发展以引导。可见，无论从思想上、方法上、技术上，各领域之间的交叉点越来越多，虽然这种相互借鉴早就存在，但现在意识更强、手段更为综合。

　　其次是分析内容的扩展，这也是最为重要和显著的变化。在情报研究过程中，不仅仅局限于就本领域问题的分析而分析，而将所分析的内容置于一个更大的情景下做通盘考虑，从而得出更为严谨的结论。联合国的创新倡议项目Global Pulse在其白皮书Big Data for Development: Opportunities & Challenges[7]中指出，情境是关键，基于没有代表性样本而获得的结论是缺乏外部合法性的，即不能反映真实的世界。在情报研究领域，一些数据往往因为一些不可抗力的原因而不完整，如早期的科技数据，可能由于国际形势等外部因素，导致一些国家的科技信息无法获取，基于这样缺失的分析样本来评估该国的科技影响力，如果仅就数据论数据，无疑是会得“正确”的错误结论，这时应针对这样的异常情况，将研究问题放置在当时的时代背景下，揭示背后的原因，从其他方面收集信息来补充，才能得出符合实际的结论。也就是说，必须要考察不同时间戳下的相关信息，再对分析内容加以扩充，这实质是一种基于时间轴的扩展。另外，将内容扩展至本领域的上下游则是一种更为重要的扩展。例如，考察某项技术的发展前景，如果仅就该技术本身来讨论，可能会得出正面的结论，但如果结合特定地区人们对该技术的态度、当地的技术水平、物理条件、发展定位等，却可能会得出相反的结论。这就说明，在很多领域中，环境不同，发展程度不同，要解决的问题也就不同。一些地区当前关注的问题不一定就是其他地区要关注的问题，某些欠发达地区当前不一定就必须照搬另一些所谓发达地区的当前做法。这需要通盘考察，分析相关思想、观点和方法产生的土壤、使用的条件，结合当前环境再做出判断，否则可能会对决策者产生误导。

　　2.2　综合利用多种数据源

　　综合利用多种信息源已经成为情报研究的另一大发展趋势。Thomas Fingar[8]从军事情报角度指出，军事情报界需要综合利用人际情报、信号情报、图像情报和外部情报，进行全资源分析(all-source analysis)，即利用多种不同的信息资源来评估、揭示、解释事物的发展、发现新知识或解决政策难题。科技情报界也是如此，如利用科技论文和专利，发现科技之间的转换关系、预测技术发展方向，综合利用政府统计数据、高校网站、期刊、报纸、图书等来评估大学等科研机构。可见，综合利用多种信息源是从问题出发，系统化地整合所有相关信息资源来支持情报研究，信息源可以是学术论文、专利等不同类型的文献集合、文本和数据的集合也可以是正式出版物与非正式出版物的集合等。

　　这一发展趋势是由几大因素决定的。一是情报研究问题的复杂性。在大数据背景下，情报不再局限在科技部门，而成为全社会的普遍知识。公众对情报的需求使得情报研究问题更为综合，涉及要素更为多元，同时也更为细化。这导致单一数据源不能满足分析的要求，需要不同类型的信息源相互补充。例如要分析科技之间的转换关系，就避免不了涉及科技论文和专利这两种类型的信息源。二是各种信息源的特性。不同信息源可以从不同角度揭示问题，如专利、研究出版物、技术报告等，可以较为直观地反映研究者对某科技问题的理解与描述，而评论文章、科技新闻、市场调查等，可以反映出社会对该科技的观点、认知情况[9]。因此，各类信息自身的特性就说明它们之间可以、也需要相互补充。此外，从现实角度来看，通常会遇到某些信息无法获取的情况，这就需要别的信息加以替代，这就从实践角度说明了综合利用多种信息源的必要性。三是分析结果的重要性。以评估大学为例，评估的结果会引导各学校在比较中发现自身优势和差距，指导未来发展定位，同时也为广大学生报考提供参考。可见，研究结果对社会的影响是广泛而深远的，要做到分析结果的可靠性、科学性，必然先要从源头上，即分析数据上加以丰富完善。

　　综合利用多种信息源也意味着诸多挑战。首先分析人员要熟悉每一种信息资源的特性，了解相似信息在不同资源类型中是如何表现的，不同信息源相互之间的关系是怎样的。其次，针对待分析的问题，要选择适合的信息，并不是信息越多越好，类型越全越好，尤其是当问题含糊不清时，可能需要不断地调整信息源。再次，情报研究人员要能有效地综合、组织、解释不同信息源分析出的结果，特别是当结论有所冲突的时候，识别不当结果、保证分析结果的正确性是很重要的。

　　2.3　注重新型信息资源的分析

　　随着网络应用的深入，出现了许多新型的媒体形式。Andreas M. Kaplan等人将构建于Web2.0技术和思想基础上，允许用户创建交换信息内容的基于网络的应用定义为社会化媒体(Social Media)，包括合作项目(如维基百科)、博客、内容社区(如YouTube)、社交网站、虚拟游戏世界和虚拟社会世界(如第二人生)六种类型[10]。这类媒体形式依托于Web2.0等网络技术，以用户为中心来组织、传播信息，信息可以是用户创造性的言论或观点，可以是围绕自己喜好收集的信息资源集合等。由于社会化媒体的易用性、快速性和易获取性等特点，它们正迅速地改变着社会的公共话语环境，并引导着技术、娱乐、政治等诸多主题的发展[11]。这些通过庞大的用户社区来传播的高度多样化的信息及其网络结构，为洞悉公众对某一主题的观点、研究信息扩散等社会现象[12]、预测未来发展方向[11]等提供了机会，有助于发现有共同兴趣的社群、领域专家、热点话题[13]等，带来了网络舆情分析等研究内容。此外，这类信息结合其他类型的数据，产生了新的情报研究领域。例如，智能手机的普及和GPS的广泛应用，使得可以从社交网络和网络交互数据、移动传感数据和设备传感数据中获取社会和社区情报(Social and Community Intelligence，SCI)，揭示人类行为模式和社群动态[14]。

　　此外，机构知识库等作为一种反映组织或群体知识成果的智力资源，也正引发情报界的重视。网络信息联盟的执行董事Clifford A.Lynch[15]从大学的角度指出，成熟完整的机构知识库应包含机构和学生的智力成果(包括科研材料和教学材料)以及记录机构自身各项事件和正在进行的科研活动的文档。这暗示着学术界从过去只关心科研成果正逐步转向关注科研过程。从机构知识库中，可以发现隐藏其中的科研模式、揭示目前科研状况的不足，引导机构未来科研的发展走向等。但现有的机构知识库工具还缺乏帮助人们理解和分析这些资源的机制[16]，在大数据环境下，加强这方面的研究也是必然趋势。可以预见，随着科技的发展和应用的深入，还会不断地有新型资源出现，并不断促进情报研究的发展。

　　2.4　强调情报研究的严谨性

　　情报研究活动在宏观层面上是一种意义构建(sensemaking)[17]，依赖于分析人员根据已有知识构建认知框架(frame)，通过对认知框架的不断修正来达到理解的目的[18]。这意味着情报研究活动本身带有很大的不确定性，很多因素影响着情报研究的有效性。如何使情报研究工作更加严谨，减少情报分析的不确定、提升情报成果的质量，正成为学术界当前普遍关注的问题。情报研究严谨性(rigor)不等同于分析结果的正确性，它衡量的是情报研究的过程，是指在情报研究过程中“基于仔细考虑或调查，应用精确和严格的标准，从而更好地理解和得出结论”[19]。美国俄亥俄州立大学的Deniel Zelik[20][21]从评估角度，给出了8个指标来衡量分析过程的严谨性：假设探索、信息检索、信息验证、立场分析、敏感度分析、专家协作、信息融合和解释评价。从这几项指标看，信息检索和融合是从分析信息源上消除不全面性；假设探索是要使用多种视角来揭示数据和信息；信息验证侧重于数据的溯源、佐证和交叉验证；立场分析强调分析的情境性；敏感度分析指分析人员要了解分析的局限性，目的是从分析方法上消除主观影响；专家协作是防止分析结果受分析人员自身的学科背景或经验带来的偏差；解释评价是要正确对待分析结论。可见，情报研究的严谨性意在消除人的主观偏见，用更为客观的视角对待情报研究。如果说之前的情报研究活动依赖专家的个人判断，带有较为强烈的主观色彩，那么走向严谨性的情报研究活动正逐步转变为一门科学。

　　在大数据背景下，情报分析的严谨性，不仅体现在理念上，还暗含了对技术的要求。面对海量数据，自动化的技术手段必不可少。当信息的检索更多的是借助检索系统，而不是人工的收集，信息融合更多依赖数据仓库等技术手段，如何在这样的分析环境中将情报研究的科学性落到实处，是需要关注的问题。可以看到，利用技术本身已经在一定程度上避免了人的主观性，但面对同样一个问题，可以有不同的技术手段，也可能产生不同的结果，如何避免由技术产生的偏见，也许通过多种技术手段或采用不同的算法，全方位地展示信息内容及其之间的关系，从而避免产生信息的误读，是一个解决方案。可见，在大数据时代，情报研究需要多种手段来加强其分析过程的科学性，而这又需要多种技术方法加以支持。

　　2.5　情报研究的智能化

　　大数据背景下的情报研究，对技术提出了更高的要求。正如美国国家科学基金会(NSF)发布的报告[22]所说，美国在科学和工程领域的领先地位将越来越取决于利用数字化科学数据以及借助复杂的数据挖掘、集成、分析与可视化工具将其转换为信息和知识的能力。对于情报研究来说，应用智能化技术能自动进行高级、复杂的信息处理分析工作，在很大程度上把情报研究人员从繁琐的体力劳动中解放出来，尤其在信息环境瞬息万变的今天，及时收集信息分析并反馈已经变得非常重要，这都需要智能化技术加以支撑。从信息源来讲，情报研究对象得以扩展，其中可能包含微博等社会化媒体信息，可能包含图片、新闻等，大量非结构或半结构化数据的涌入，必然需要技术将这些数据转化为结构化数据，以供后续分析。同时，多元化的信息，需要根据分析需求加以融合，这可能需要语义层面上的技术支持。从分析需求来讲，简单的统计分析已不能满足现在社会的决策需求，需要从大量信息中发现潜在模式，指导未来的发展，这就涉及数据挖掘、机器学习等技术。此外，要寻求情报研究的客观性，摒除过多的主观意愿，也需要多种技术来支撑。可见，这一发展趋势是大数据时代下的必然。而各国在积极建设的数字化基础设施，也在推动着情报研究的智能化，如欧洲网格基础设施(European Grid Infrastructure，EGI)[23]项目就致力于为欧洲各领域研究人员提供集成计算资源，从而推动创新。

　　目前，对情报研究中的智能化技术没有统一的界定，但概观之，可以将情报研究智能化的本质概括为定量化、可计算、可重复。定量化是针对过去情报研究更多的是依赖人的主观判断，即基于已有文字材料或数据，根据研究人员的经验等给出粗略的结论，如果说这是一种定性化分析，现在更多地依赖通过计算机自动化处理原始材料并获得潜在数据，并在此基础上辅以人的判断，可以说是一种定量化的分析。可计算是指将各种信息资源转化为计算机可理解、处理的形式，如从新闻、论文、专利等中，提取出科研组织、科研人员等实体，再基于这些结构化的、富有语义的信息，采用统计、数据挖掘等方法加以计算，获取隐含的知识。可重复是指自动化分析技术消除了许多主观因素，从理论上讲，如果分析数据等条件一致，分析结论也应该是一致的，这也体现了智能化技术为情报研究带来客观性的一面。

　　3　情报研究中的技术问题

　　情报研究的上述发展走向，决定了情报研究既不能仍然停留在定性分析上，也不能仅仅靠简单的统计替代情报研究中的计算技术，由此对情报研究技术提出了新的要求。美国McKinsey Global Institute在2011年5月发布了研究报告《大数据：创新、竞争和生产力的下一个前沿领域》(Big data: The next frontier for innovation, competition，and productivity)[24]。报告分六个部分，其中第二部分讨论了大数据技术，并围绕大数据分析技术、大数据技术和可视化三方面进行了阐述。在大数据分析技术中，列举了26项适用于众多行业的分析技术，包括A/B测试、关联规则学习、分类、聚类分析、众包(Crowdsourcing)、数据融合和数据集成、数据挖掘、集成学习、遗传算法、机器学习、自然语言处理、神经网络、网络分析、优化、模式识别、预测建模、回归、情感分析、信号处理、空间分析、统计、监督学习、模拟、时间序列分析、无监督学习和可视化。这些技术绝大部分是已有的技术，也有部分是随着互联网的发展以及对大规模数据挖掘的需求，在原有技术的角度发展起来的，如众包就是随着Web2.0而产生的技术。

　　根据我们的理解，这些技术大致可以划分为可视化分析、数据挖掘以及语义处理三大类。这三大类技术也是当前情报分析领域应予以关注和深入研究的技术。

　　3.1　可视化分析

　　可视化分析(Visual Analytics)是一门通过交互的可视化界面来便利分析推理的科学[25]，是自动分析技术与交互技术相结合的产物，目的是帮助用户在大规模及复杂数据内容的基础上进行有效的理解、推理和决策[26]。它不同于信息可视化，信息可视化关注计算机自动生成信息的交互式图形表示，关注这些图形表示的设计、开发及其应用[27]，而可视化分析在此基础上加入了知识发现过程，关注自动分析方法及其选择，以及如何将最佳的自动分析算法与适当的可视化技术相结合，以达到辅助决策的目的。

　　目前的情报分析系统，虽然也提供了多种视图来揭示信息，但更多的是一种分析结果的呈现，系统内部分析、处理的机制对分析人员来讲是个黑匣子，分析人员无法了解分析方法、分析结果的局限性或者有效性，这无疑不符合情报研究严谨性这一发展要求。同时，现有的分析工具需要分析人员输入各种繁杂的参数，又缺乏对情报分析认知过程的支持，这就对使用人员的专业化程度提出了较高的要求，增加了分析的难度。而可视化分析则可以较好地解决这一问题，它整合了多个领域包括采用信息分析、地理空间分析、科学分析领域的分析方法，应用数据管理和知识表示、统计分析、知识发现领域的成果进行自动分析，融入交互、认知等人的因素来协调人与机器之间的沟通，从而更好地呈现、理解、传播分析结果[28]。佐治亚理工学院的John Stasko等人应用Pirolli等人提出的情报分析概念模型[29]，建立了一个名为Jigsaw(拼图)的可视化分析系统[30]，并将其应用于学术研究领域(涉及期刊和会议论文)以及研究网络文章(如网络新闻报道或专题博客)领域，也说明了将可视化分析技术应用于情报研究的可行性。

　　将可视化分析技术应用于情报研究领域，有众多问题要解决。首先，在情报研究工具中，是以自动化分析为主，还是以可视化为主？Daniel A.Keim等人将待分析的问题分为三类，第一类是在分析过程中可视化和自动化方法可以紧密结合的问题，第二类是应用自动化分析潜力有限的问题，第三类是应用可视化分析潜力有限的问题。在研究这三类问题中交互程度对分析效率影响的基础上,Daniel A.Keim等人指出，应分析如何通过考虑用户、任务和数据集特点，来确定可视化和自动分析方法的优化组合，从而达到最佳的效果[31]。可见，要将可视化分析技术应用于情报研究领域，需要明确每类问题适用哪种组合方式。其次，情报研究领域适合使用哪些可视化交互手段？这可能包括原始分析数据、析取出的关系数据、深层挖掘的模式数据等的可视化手段，分析人员与系统交互的方式，分析过程的可视化展示等。第三，情报研究领域中的认知过程是什么样的，关注哪些问题，涉及哪些实体，在大数据环境下面临哪些认知困难，需要在哪些环节加以支持，这些困难能否通过技术来解决。此外，从现有的可视化分析技术来看，主要是将各个相关领域的技术以优化的方式整合起来，但在将来会产生一体化的可视化分析解决方法[32]，这种一体化的方法可能是什么形式，又会对情报研究带来怎样的影响等等，都是在情报研究中引入可视化分析技术需要关注的。

　　3.2　数据挖掘

　　广义的数据挖掘指整个知识发现的过程，是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。它涵盖了数据分析和知识发现的任务，从数据特征化与区分到关联和相关性分析、分类、回归、聚类、离群点分析、序列分析、趋势和演变分析等，吸纳了统计学、机器学习、模式识别、算法、高性能计算、可视化、数据库和数据仓库等领域的技术，并可以用于任何类型的数据，包括数据库数据、数据仓库等基本形式，也包括数据流、序列数据、文本数据、Web数据、图数据等其他类型的数据[33]。

　　从数据挖掘的含义看，它与情报研究有着天然的联系；从数据挖掘的方法看，有其特定的含义和实现过程，可以有效地解决情报研究的问题。例如，情报研究可以借鉴关联规则发现的成功案例——超市的“啤酒+尿布”，尝试用关联规划来分析研究主题的相关性，从科技论文与专利的关联中发现科技的转换关系等等。但从目前的情报研究成果看，许多还仅仅停留在简单的频率统计、共词计算层次上，在知识发现的过程中，这些工作仅仅是数据挖掘的数据准备，还有待于更为深入的发掘。可见，数据挖掘能够也应该应用于情报研究领域，这不仅是数据挖掘应用扩展的结果，也是情报研究自身发展的需求。此外，由于较少有专门针对情报研究领域研发的挖掘工具，现有情报分析通常借助于其他工具，不同工具的功能不同，这就导致常常同时使用好几个分析工具，如在使用SPSS进行聚类分析的同时，还使用Ucinet分析社会网络。这带来的问题是，分析缺乏完整性，可能社会网络和其他信息之间有关联，因为工具的分割性，就导致潜在模式的丢失。由此，研发适用于情报研究的挖掘工具，是必要也是紧迫的，尤其是面对大数据的挑战，智能化地辅助分析人员，减少认知压力，是亟待解决的问题。

　　要解决以上的问题，首先需要研究情报分析任务，分析哪些问题是可以使用数据挖掘技术来支持的，这类问题有哪些共同点、特殊性，能否对未来可能的情报分析问题进行扩展，哪些问题不适用于数据挖掘技术，原因是什么等。其次，对于某类或某个分析问题，使用哪种数据挖掘技术或几种技术的组合才能有效地解决，涉及的算法是否需要针对该问题进行适应性改造，如何评价挖掘的结果等。第三，数据挖掘出现了交互挖掘这一发展趋势，即构建灵活的用户界面和探索式挖掘环境[33]，这与可视化分析在某些方面上也不谋而合，这样的趋势会对情报研究带来哪些影响，如何在这一背景下，探索情报研究工具的新发展，寻找情报分析的新模式，值得我们关注。

　　3.3　语义处理

　　语义是关于意义(meaning)的科学，语义技术提供了机器可理解或是更好处理的数据描述、程序和基础设施[34]，整合了Web技术、人工智能、自然语言处理、信息抽取、数据库技术、通信理论等技术方法，旨在让计算机更好地支持处理、整合、重用结构化和非结构化信息[35]。核心语义技术包括语义标注、知识抽取、检索、建模、推理等[34]。语义技术可以为信息的深层挖掘打好基础，即通过对各类信息的语义处理，在获取的富有语义的结构化数据上使用各种数据挖掘算法来发现其中的潜在模式。数据的语义性支持了机器学习等技术的内在功能[36]。

　　从现有的情报研究实践和工具看，语义支持的缺失是一个普遍问题，这其中又可划分为两个层次。对于传统的情报研究对象，如科技论文、专利等，有较为成熟的分析工具，但这些工具往往缺少深层次的语义支持。例如，要分析论文的内容主题时，需要从摘要等自由文本中提取出主题信息，在数据处理时，常常无法识别同义词、近义词等，需要人工干预。一些工具虽然在语义方面做了努力，但仍然存在诸多不足，例如在形成的主题聚类结果上，缺乏有效的主题说明，自动形成的主题标签不具有代表性，需要分析人员深入其中重新判断等。这在小数据集环境下，还可以接受，当面对大数据的冲击，这种半自动化的处理方法无疑是耗时又费力的。此外，对于新型情报研究对象，如网络新闻、博客等，已有如动态监测科研机构等的系统工具，但总体来说还处于起步状态，目前较多的还是依赖人工筛选出所需信息，并整理成结构化的数据，同样也不利于大规模的数据分析。这些问题的存在，使得消除语义鸿沟(semantic gap)[37]，应用语义技术成为广泛需求及必然。

　　将语义技术应用于情报分析，需要关注以下几方面的内容。首先，分析情报研究任务的特点，了解它的语义需求，是否存在规律性的准则以供指导分析工具的研发，这既需要原则性和方向性的准则，也需要为针对多维度划分出的各类任务给出详细的规范，例如，对微博等社会化媒体，其中既存在高质量的信息，也存在辱骂等低质量的信息，区分这些信息并筛选出高质量信息，就成为在分析社会化媒体中的语义任务之一。其次，语义资源建设问题，即在情报分析领域中，要实现语义层面上的理解，是否需要建设语义资源，如果不需要，哪些技术手段可以代替，如果需要，哪种类型的语义资源可以便捷、快速、高效地构建，并且这种语义资源应该如何构建，如何使用才能有效地服务于情报研究工作。第三，信息抽取问题。科技信息涉及众多学科的专业术语、各种科研机构、组织等，如何使用语义技术将这些信息准确地提取出来并加以标注，尤其是针对不同类型的信息源，采用什么样的抽取策略等。第四，信息整合问题，即如何使用语义技术，把不同来源的数据对象及其互动关系进行融合、重组，重新结合为一个新的具有更高效率和更好性能的具有语义关联的有机整体，以便后续分析。

　　4　结语

　　正如本文引言中所谈到的那样，大数据的理念和技术为情报学领域中情报研究的理论和实践带来了机遇，也带来了挑战。机遇巨大，挑战更大，需要我们对此有清醒的认识。本文分析了大数据背景下情报研究的若干发展趋势，总结了情报研究中值得关注的技术问题，以期能为促进情报研究的理论和实践的发展添砖加瓦。

　　【参考文献】

　　[1]Big Data,Big Impact[EB/OL].[2012-09-06]. http://www3.weforum.org/docs/WEF_TC_MFS_BigDataBigImpact_Briefing_2012.pdf.

　　[2]eScience： A Transformed Scientific Method[EB/OL]. [2012-09-06]. http://research.microsoft.com/en-us/um/people/gray/talks/NRC-CSTB_eScience.ppt.

　　[3]Advanced Personalized Education[EB/OL].[2012-09-06]. http://www.cra.org/ccc/docs/web_learning_spring.pdf.

　　[4]What is big data?　[EB/OL]. [2012-09-06]. http://www01.ibm.com/software/data/bigdata/.

　　[5]Big data in little New Zealand[EB/OL].[2012-09-06]. http://www.techday.co.nz/itbrief/news/big-data-in-little-new-zealand/24518/.

　　[6]Intelligence Analysis Today and Tomorrow[J].Security Challenges, 2009,5(1): 67-83.

　　[7]Big Data for Development: Opportunities & Challenges[EB/OL].[2012-09-06]. http://www.unglobalpulse.org/sites/default/files/BigDataforDevelopment-UNGlobalPulse-June2012.pdf.

　　[8]Thomas Fingar.A Guide to All-Source Analysis[EB/OL].[2012-09-07]. http://www.afio.com/publications/Fingar_All_Source_Analysis_in_AFIO_INTEL_WinterSprg2012.pdf.

　　[9]Alan L. Porter, Scott W. Cunninghan. Tech Mining Exploiting New Technologies for Competitive Advantage[M]. John Wiley & Sons, 2005.

　　[10]Andreas M. Kaplan, Michael Haenlein. Users of the World, Unite! The Challenges and Opportunities of Social Media[J].Business Horizons , 2010,53(1):59-68.

　　[11]Sitaram Asur, Bernardo A. Huberman. Predicting the Future with Social Media [EB/OL]. [2012-09-08].　http://www.hpl.hp.com/research/scl/papers/socialmedia/socialmedia.pdf.

　　[12]Munmun De Choudhury. How Does the Data Sampling Strategy Impact the Discovery of Information Diffusion in Social Media?[EB/OL]. [2012-09-08]. http://research.microsoft.com/en-us/um/people/munmund/pubs/icwsm_10.pdf.

　　[13]Sitaram Asur, et al. Trends in Social Media: Persistence and Decay[EB/OL].[2012-09-10]. http://www.hpl.hp.com/re search/scl/papers/trends/trends_web.pdf.

　　[14]Daqing Zhang, Bin Guo, Zhiwen Yu. The Emergence of Social and Community Intelligence[J].Computer. 2011, 44(7):21-28.

　　[15]Clifford A. Lynch. Institutional Repositories: Essential Infrastructure for Scholarship in the Digital Age[EB/OL].[2012-09-12]. http://scholarship.utm.edu/21/1/Lynch,_IRs.pdf.

　　[16]Nichols, D. M., et al. Experiences in Deploying Metadata Analysis Tools for Institutional Repositories[J].Cataloging & Classification Quarterly, 2009, 47(3/4):229-248.

　　[17]Gary Klein, et al. Making Sense of Sensemaking 1: Alternative Perspectives[J]. Intelligent Systems, 2006,21(4):70-73.

　　[18]Gary Klein, et al. Making Sense of Sensemaking 2: A Macrocongnitive Model[J].Intelligent Systems, 2006,21(5):88-92.

　　[19]The Human and Social Element in Military Experimentation[EB/OL].[2012-09-15]. http://www.mors.org/UserFiles/file/meetings/06bar/holloman.pdf.

　　[20]Deniel Zelik, Emily S. Patterson. Understanding Rigor in Information Analysis[C]. Proceedings of the Eighth International NDM Conference, Pacific Grove, CA, 2007.

　　[21]Deniel J. Zelik, Emily S. Patterson, David D. Woods. Measuring Attributes of Rigor in Information Analysis [EB/OL].[2012-09-15]. http://csel.eng.ohio-state.edu/zelik/research/Rigor_files/ZelikPattersonWoods_MeasuringRigor_1.pdf.

　　[22]NSF's Cyberinfrastructure Vision for 21st Century Discovery[EB/OL].[2012-09-16]. http://www.nsf.gov/od/oci/ci_v5.pdf.

　　[23]EGI European Grid Infrastructure[EB/OL]. [2012-09-16].http://www.egi.eu/.

　　[24]Big data: The Next Frontier for Innovation, Competition, and Productivity [EB/OL]. [2012-09-15].　http://www.mckinsey.com/insights/mgi/research/technology_and_innovation/big_data_the_next_frontier_for_innovation.

　　[25]Thomas, J. J., Cook, K. A. Illuminating the Path: The Research and Development Agenda for Visual Analytics[M]. IEEE Computer Society Press, 2005.

　　[26]DA Keim, et al. Visual Analytics: Definition, Process, and Challenges[EB/OL].[2012-09-06]. http://www.ll.gatech.e du/atasko/7450/sy//abus.html.

　　[27]Chaomei Chen. Information Visualization[J]. Wiley Interdisciplinary Reviews: Computational Statistics, 2010, 2(4):387-403.

　　[28]Daniel A. Keim, et al. Challenges in Visual Data Analysis[C]. Information Visualization, 2006:9-16.

　　[29]P. Pirolli. The Sensemaking Process and Leverage Points for Analyst Technology as Identified through Cognitive Task Analysis[EB/OL]. [2012-09-16].　http://vadl.cc.gatech.edu/documents/2_card-sensemaking.pdf.

　　[30]John Stasko, et al. Jigsaw: Supporting Investigative Analysis through Interactive Visualization[EB/OL].[2012-09-16]. http://www.elementsofparametricdesign.com/files/Sandbox/victor/jigsawVAST07.pdf.

　　[31]Daniel A. Keim, Florian M., and Jim Thomas. Visual Analytics: How Much Visualization and How Much Analytics?[J]. ACM SIGKDD Explorations Newsletter, 2009,11(2):5-8.

　　[32]Aigner, et al. Visual Methods for Analyzing Time-Oriented Data[J]. Transactions on Visualization and Computer Graphics, 2008, 14(1):47-60.

　　[33]Jiawei Han, Micheline Kamber, Jian Pei. Data Mining Concepts and Techniques. The Third Edition[M]. Morgan Kaufmann, 2011.

　　[34]John Domingue, et al. Handbook of Semantic Web Technologies[M]. Springer Publishing Company, 2011.

　　[35]Dieter Fensel, et al. Common Value Management-basedon Effective and Efficient On-line Communication[EB/OL].[2012-09-17]. http://wiki.iao.fraunhofer.de/images/studien/proceedings-common-value-management.pdf#page=19.

　　[36]Bettina Berendt, Andreas Hotho, Gerd Stumme. Introduction to the Special Issue of the Journal of Web Semantics: Bridging the Gap-Data Mining and Social Network Analysis for Integrating Semantic Web and Web 2.0[J]. Web Semantics: Science, Services and Agents on the World Wide Web, 2010,8(2-3):95-96.

　　[37]Rong Zhao, et al. Narrowing the Semantic Gap—Improved Text-Based Web Document Retrieval Using Visual Features[J].Multimedia , 2002,4(2): 189-200.