北京青春痘医院专家 http://m.39.net/pf/a_8740647.html
随着物联网、智能终端、移动互联网、社交媒体应用的快速发展,政府、企业、个人在生产、生活中产生的数据量呈指数规模增加。据国际数据公司(IDC)发布的《大数据,更大的数字身影,最大增长在远东》报告显示,世界的数据量在年达到2.8ZB(1ZB≈GB),预计年世界的数据量将达到40ZB。其中,中国的数据量将超过8ZB,比年增长22倍。大数据作为重要的资产,其应用将为金融、保险、电信、能源等行业和相关企业的发展带来巨大的变革。年以前“大数据”处于概念宣传和技术引入阶段。年开始大数据逐步得到重视,发达国家纷纷将大数据的发展列入国家战略层面加以推动。
大数据处理的关键技术大数据的真正价值就像沙漠中的金子,传统关系型数据库已经无法处理,需要专业系统和技术快速地筛选和精确化提炼才能发现。大数据处理的基本处理流程与传统数据处理流程类似,主要包括采集、存储/管理、分析挖掘、数据呈现等4个关键环节。其中的关键技术除了大数据处理外,还涉及云计算、移动互联网等方面。
01数据采集数据采集主要是从互联网、物联网、通信网、传统数据库等不同数据源快速收集所需信息,通过ETL(提取、转换、加载)进行数据的预处理,最后加载到数据仓库(DW)或数据集市(DM)。
02数据存储相对于传统本地数据存储,大数据的存储还面临着容量可扩展和降低建设和运维成本两个问题。目前,基于云计算的分布式文件管理与计算处理、数据管理(如NewSQL)等能够很好地解决上述问题,在提供高速运算、提高资源利用率、保障数据安全的同时,大幅降低了建设和运维成本,使得大数据的长期保存和快速使用成为可能。
03数据分析挖掘大数据的价值只有通过分析和挖掘才能体现。目前大数据分析的关键技术主要源于统计学和计算机科学等多个学科,包括数据处理、数据统计和分析、数据挖掘、模型预测等。
04数据呈现数据呈现是利用可视化软件,将数据分析与挖掘的成果直观、快速地呈现在读者面前,为科学决策提供依据。目前,可视化技术可通过图表、地图、动画以及随时间和空间变化的物理现象或物理量等更直观生动的形式将数据处理结果在Web、移动手机、智能终端等终端上快速展示出来,使之便于人们对数据的理解,提高决策效率。
大数据在智慧城市中的应用01智慧城市发展现状
“智慧城市”以新一代信息技术和通信技术为支撑,通过透明、充分的信息获取,广泛、安全的信息传递,有效、科学的信息处理,提升城市的管理水平,提高市民的生活质量,促进产业升级和经济增长。智慧城市的建设可以有效缓解我国“新四化”建设中城市管理难度大、环境污染、交通拥堵等难题,已成为城市建设的重要方向。年住建部先后两次启动了个智慧城市的试点。而国务院发布的《“宽带中国”战略及实施方案》,则为智慧城市的通信基础设施建设指明方向。这标志着我国智慧城市发展进入规模推广的阶段。为避免智慧城市建设中出现“重基础,轻智慧”而导致的低水平重复建设等问题,需要充分认识大数据对于智慧城市的重要性。
02智慧城市技术架构智慧城市技术架构分为4层:感知层、网络层、数据层和应用层。感知层由PC、移动终端、各类传感器等组成,实现对城市内交通、通信、能源、环境、生活等方面信息数据的采集和监控。其特点是无所不在的“泛在感知”。网络层主要由互联网、物联网、通信网、广电网等基础通信设施组成,通过有线、无线宽带网络为城市信息提供随时随地的“高效传输”。数据层是智慧城市的大脑,它管理着城市的核心资产——数据。数据层采用云计算技术,结合经济、人口、法人、地理等四大基础数据库和交通、公安、教育、医疗等专业数据库建设,提供数据共享、数据挖掘、数据分析、决策支持、统计分析等“智慧”服务,有效支撑智慧决策。应用层由智慧政府、智慧产业、智慧民生三大类应用组成,包括电子政务、数字城管、智慧交通、智慧旅游、智慧社区等。在建设智慧应用时,需要以人为本,结合城市发展规划,科学合理选择所需的智慧应用。
03大数据在智慧城市的应用随着智慧城市的建设,物联网、互联网、移动互联网终端带来了大量的数据,导致其数据规模越来越大,数据形式复杂多样。智慧城市中智慧的产生过程,也就是其数据处理的过程。大数据已经和智慧城市密切结合在一起,成为智慧的重要组成部分。目前,大数据的应用除了用于对大规模数据的有效管理外,主要集中在两个方面:通过对大量历史数据的挖掘和分析,做出科学合理的预测,为决策提供依据;通过对大量实时数据的快速整理,为复杂问题做出快速响应。
以下为大数据技术在智慧城市中的典型应用。我们在建设智慧城市时需要结合本地实际需求来研究和应用,同时还可以不断拓展新的应用领域。
3.1智慧政务相关应用
将大数据、云计算技术用于智慧政务建设,可有效支撑政府职能的转变,提高协同办公的水平和为企业/公众服务的效率。通过数据共享、减少数据壁垒和数据孤岛,充分发挥政务信息的价值。
(1)电子政务建设电子政务云平台,提供对政务信息、互联网信息、民众舆情等综合信息的筛选、挖掘能力,将科学分析和预测的结果进行快速、直观展示,提高政府决策的科学性和精准性,提高政府在社会管理、宏观调控、社会服务等方面的预测/预警能力、响应能力和服务水平,降低决策成本。将大数据技术用于电子政务,逐步实现立体化、多层次、全方位的电子政务公共服务平台和数据交换中心,推进信息公开,促进网上办事一站式、全天候、部门协同办理、反馈网上统一查询等服务功能,降低企业和公众办事成本。
(2)公共安全大数据时代的公共安全,不仅仅是遍布城区的摄像头和监控设备,还包括对网络、媒体、短信等多媒体全方位的舆情监控。更重要的是通过对海量的数据的分析和挖掘,及时发现安全隐患、人为事件或自然灾害,提供跨部门、跨区域、高效率的综合应急处理能力、安全防范能力、打击违法犯罪能力等。
(3)城市运营充分利用多年积累的大量的地理信息、气象信息、环境信息、空间地理信息、经济、社会等宝贵数据,通过大数据的挖掘和分析,为城市规划以及道路、管道、绿化、教育、能源、水务等城市基础设施建设提供重要决策的依据,强化城市管理服务的科学性和前瞻性。
3.2智慧企业相关应用
(1)智慧制造构建具有本地特色应用的工业云平台,为企业用户提供从设计、供应链管理、生产制造、市场营销和企业管理一条龙的服务。通过对生产、销售过程中采购、库存、能耗、物流、贸易等相关信息的深度挖掘和综合分析,为企业提供经济趋势预测,支持企业科学决策、产业升级和转型。
(2)智慧物流智慧物流的数据来源包括RFID、传感器、GPS、互联网、移动互联网等。采用大数据技术,不仅可以实现对物流信息的有效管理,进一步降低物流成本,还能进一步挖掘客户商机、提供满意的服务。
3.3智慧民生相关应用
(1)智慧交通大数据技术将大量摄像头、传感器、GPS等设备采集来的海量的图像信息、车辆行使信息、道路信息、GIS信息、气象环境信息等进行综合处理和挖掘,分析并预测交通流量、出行规律等统计和预测数据,并通过可视化的手段进行展示,能够提高交通主管部门的管理效率和突发事件相应速度,缓解城市拥堵程度,减少事故发生率。将行车方向、车辆数量、交通拥挤情况、停车场空位信息、出行方案等及时提供给市民,将有效提升市民的出行效率,迅速缓解“行车难、停车难”的城市通病。
(2)医院的每年数据量已经超过PB规模。大数据不仅在大量数据的存储、处理和分析等方面具有较大优势,还在网上预约、疾病预测、电子病历及其共享、一卡通支付、医保联网等方面有较大的应用空间,以科技手段缓解“看病难”问题。
智慧城市成功的关键在于智慧、互联、协同,其核心是数据的充分应用。大数据已成为决定城市智慧程度的关键因素之一。面对大数据时代的来临,我们必须高度重视,密切