产品博客中心

  • 【Hadoop3.0新特性介绍】

     过去十年,Apache Hadoop从无到有,从理论概念演变到如今支撑起若干的生产集群。接下来的十年,Hadoop将继续壮大,并发展支撑新一轮的更大规模、高效和稳定的集群。 本文将向大家全面介绍即将到来的Apache Hadoop 3.0新版本——从版本发布状态、背后的故事,到如HDFS erasure coding、YARN federation、NN k-safety等全新的功能。

    Jun 21, 2018
  • 【大数据技术中图像搜索服务】

    图像识别服务(Image Recognition)是基于大数据和深度学习实现的,可精准识别图像中的视觉内容,包括上千种物体标签、数十种常见场景等,包含场景分类、图像打标等在线API服务模块,应用于智能相册管理、图片分类和检索、图片安全监控等场景。


    图的表达能力强、应用广泛,在社交网络、生物数据分析、推荐系统、复杂对象识别和软件代码剽窃检测等领域都起着重要的作用。社会计算一般认为需要考虑社会的结构、组织和活动等社会因素,而所有的社会活动构成了社会网络,其本质上是图的一种表现形式。在社会网络中,可以把用户看作图的顶点,用户之间的关系(如朋友关系)看作图的边。图的广泛应用自然而然使得图搜索成为了工业界和学术界的共同关注点。


    图搜索是一种“大数据”时代适应社会计算的搜索方式,虽然对于社会计算目前还没有明确公认的定义,但是大家普遍承认社会计算一般需要考虑社会的结构、组织和活动等社会因素。所有的社会活动构成了社会网络,本质上这是图的一种表现形式,所以图搜索自然而然的就成了工业界和学术界的共同关注点。图搜索在社会计算“大数据”时代将很有可能成为一种统一的面向社会网络的搜索模式,综上表明图搜索是“大数据”时代适应社会计算的重要搜索方式,并起到了极其重要的作用。


    图搜索作为近年来逐渐兴起的一种新型搜索技术,为用户获取所需信息提供了一种方便快捷的搜索方式。图搜索的核心关键问题是建立满足新型应用需求的图搜索理论和模型,并提供高效的搜索查询技术,以提高搜索的效率和查询结果的准确性。大数据时代的图搜索理论和技术是目前国际上数据库领域的研究热点之一。


    本文将首先介绍图搜索及其应用,然后介绍几类具体的图搜索,目前,图搜索技术中主要包含以下4中搜索方式:


    1. 路径搜索


    当 前 应 用 广 泛 的 定 位 服 务 ( L o c a t i o n   B a s e d Services)使得交通网络领域也成为图搜索的应用领域之一。下面我们通过交通路线搜索中的一个应用实例来介绍路径搜索。图搜索服务可以根据用户对行程的要求和约束选择合适的路线,提供人们出行的方便。


    2. 凝聚子图搜索


    凝聚子群原指社交网络整体用户中的一个子集用户群,并且该子集用户群内用户之间满足某种“紧密关系”。根据应用需求的不同,会有不同的“紧密关系”,从而产生不同的凝聚子群。社会网络可以用图来表示,其中图的顶点表示用户,边表示用户之间的关系,比如朋友关系等。这样,我们也称凝聚子群为凝聚子图,相应的我们将从图中搜索凝聚子图的搜索称为凝聚子图搜索。


    结合著名的“Padgett's Florentine家族网络图”,可以解释凝聚子图:


    May 18, 2018
  • 【数据仓库概述】

    数据仓库从诞生到现在已有十多年的时间,它被广泛应用在证券、银行、保险等金融领域企业。随着数据仓库技术日新月异的发展,数据仓库规模和体系都发生了显著的变化,数据仓库已从最初的后端策略性支持系统,变为整个企业运营的一个关键组件,并对企业未来的核心关键业务起着举足轻重的作用。随着大数据的广泛应用,数据仓库开始往分布式、大规模和高性能的方向发展,在构建高效、统一的核心业务数据平台和面向分析处理,构建完整、一致、反映时间变化的数据仓库平台有着举足轻重的作用。


    数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。其实数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程,可以分为三层——源数据、数据仓库、数据应用:


    Apr 13, 2018
  • 【云平台下大数据信息的安全机制探讨】

    最近几年,全球的数据量出现爆炸式增长,大数据存储需求发生了很大变化。数据量的大小由TB级增长至PB级,并仍在不断增长,企业日益将数据的深度分析作为利润增长的支撑点。随着社会的发展,各行业、各领域的数据量都会不断地增长,数据量的急剧增长不断对存储系统提出挑战,云平台下的大数据存储成为未来数据存储的发展趋势。


    东方金信是一家专注于大数据平台和大数据解决方案的国内领先企业,公司潜心研发云平台技术,目前已经初见成效,东方金信自主研发的海盒大数据平台已经可以部署在云平台之上。东方金信研发的云海盒大数据平台可以为客户组织数据整合、组织数据与互联网数据融合创新提供平台支撑,平台具有强大的大数据处理能力,部署完毕的海盒大数据云平台数据中心包括底层物理资源、虚拟资源以及云管理平台,具备强大的计算能力、存储能力和数据吞吐能力,可按照用户的特定需求和应用场景提供不同应用所需的定制化资源,并自动管理和动态分配、部署、配置及回收资源,可与用户已有软硬件进行整合,从而有效解决过去资源利用率低、响应效率低、业务连续性低等诸多问题。


    云环境下大数据信息安全的现状


    云平台下大数据存储属于云计算和大数据的基础支撑设施,发展空间巨大。云环境下的大数据存储作为基础设施需求迫切。随着云存储概念的不断普及与推广和技术的不断突破,国内外越来越多的研究单位和研究人员投入到云存储的研究与开发工作。


    但是,大数据安全存储系统目前还几乎没有成熟产品,存储效率低和安全性差是现阶段云环境下大数据存储的主要问题。在涉密信息系统内,存储系统由于保存了大量涉密信息,是保密的重要环节,如果存储系统不能保证安全性,会严重影响云环境的安全保密性。


    在互联网环境中,数据的泄露和破坏会对企业造成重大损失,如何实现大数据的安全存储一直是亟待解决的问题。随着大数据存储技术的发展,人们已经开始意识到数据安全的重要性。因此,云环境下大数据存储的研究很有必要也很有意义:


    1、建设云环境下的大数据存储系统是国家涉密信息安全的重要保证,面对迅速增长的大数据存储市场,数据安全性也成为用户关注热点,国内市场中包括用户和各大IT企业都开始逐渐重视数据信息的安全,特别是政府、军工行业,对于数据的绝对安全有着极为严格的要求。


    2、建设云环境下的大数据存储系统是满足市场存储需求的措施。


    3、建设云环境下的大数据存储系统有助于国家信息安全战略的实施。


    目前,市场上的存储产品没有统一的安全标准,存在着严重的安全问题,用户管理与身份验证强度较弱,且缺少数据隔离、数据流向控制甚至行为审计等功能,无法适应高安全信息系统对数据安全的趋势要求,因此制定存储性能及安全性标准,实现云环境下大数据存储的规范管理的工作势在必行。


    云平台下海盒大数据安全管理技术


    海盒大数据云平台在构建初期就非常重视数据安全的重要性,海盒大数据云平台用到了多种安全机制和措施,依靠软件+硬件结合的方式来设计,确保数据安全,主要分为网络安全和数据安全两大类。


    信息作为一种资源,对每个公司都有重要的意义,信息安全的实质就是要保护信息系统或信息网络中的信息资源免受各种类型的威胁、干扰和破坏,即保证信息的安全性,随着数据不断的增多,网络安全显得越来越重要,海盒大数据云平台在基础软硬件设施建设、网络攻击监测、防护等方面做了努力之外,还提供多种网络安全机制,防止网络攻击,保障数据访问安全性:,


    1. 防火墙的应用


    防火墙的组成部分是硬件与软件,是一种介于网络外部与内部之间的保护屏障,可对内部网络的非法入侵进行保护,网关主要是服务访问规则、验证的工具、过滤等,安装后,计算机中的网络信息都需从防火墙中经过。在这个信息传输过程中,网络中所有信息访问均受防火墙监控,防火墙可对非法访问进行阻断,以确保内部网络业务不受侵害,一旦网络数据受到攻击,防火墙可及时将警报发出,并予以相应处置。


    2. 入侵检测的应用


    入侵检测是近年来对大数据信息安全进行管理时常用的技术,即在网络、主机、服务器中对相关数据进行搜集,随后进行分析与判断,对违背安全协议是否出现进行明确。入侵检测技术可对网络的异常行为进行监视,并以系统策略为依据,对入侵、非入侵行为进行判断,属于防火墙的一种补充,可与防火墙相互协助,共同应用入侵攻击,使信息管理有效性增强。


    3. 入侵容忍技术


    入侵容忍指的是系统、网络受到攻击后者有错误出现时,仍然可对部分甚至全部功能提供服务,使其继续运行。网络受到入侵,已经有故障发生时,在一段时间内,此技术可使网络或系统任务继续完成。 


    大数据云平台除保证网络安全之外,平台本身的数据安全也得保证,海盒大数据云平台设计之初就考虑到数据安全的重要性,平台采用多种安全机制来确保数据安全:


    1. 身份认证:


    海盒大数据云平台支持对用户进行身份认证,它作为一个独立的身份认证服务,可以为平台中的其它服务提供身份认证功能,且支持SSO(即客户端身份认证后,可以访问多个服务如HBase/HDFS等)。从而进行更严格的管理认证用户(组)的访问控制。支持LDAP来管理账号体系,使用Kerberos客户端使用LDAP中的账号信息作为身份信息进行身份认证,对存放在HDFS和HBASE中的数据根据认证用户(组)进行访问控制。


    2. 数据加密:


    在海盒大数据云平台上,用户可以根据实际需求选择对敏感的字段进行加密。即使数据库文件被非法复制或者存储文件丢失,也不会导致真实敏感数据的泄露。用户可以利用加密机制把存储在HDFS和HBASE中的数据进行加密,并通过图形化界面管理加密秘钥。


    Apr 2, 2018
  • 【工业大数据与智能制造】

    从1969年开始,互联网最先是美国国防部在使用。90年代中期互联网开始进入商用,中国就是在那个时候接触互联网,近20年以来互联网诞生了一大批知名企业,也在深刻影响着传统企业的销售模式、普通大众的消费模式,人们的生活方式已经发生了巨大的变化。互联网的应用从早期的电信服务、媒体服务、数据服务、金融服务正向产业服务阶段发展,尤其是随着移动互联网、大数据、物联网等新技术与制造业的融合发展,必将引发产业巨变,推动传统制造模式向智能制造模式的转变,一场新技术驱动的产业巨变已经开始!

    Jan 31, 2018
共 4 页 第 2 页 首页 上一页 下一页 尾页