“双十一”流量大考过关 流计算功不可没

“双十一”流量大考过关 流计算功不可没
“双十一”流量大考过关 流核算功不可没本报记者 崔 爽怎么扛住流量“洪峰”,是每年“双十一”的技能大考。跟着流量的飙升,这一大考无疑变得越来越难。“双十一”刚过,各大电商纷繁发布当日战绩。从现在发布的数据不难看出,本年“双十一”的订单创立量峰值创下新高,单日数据处理量纪录也再次被改写。“双十一”的数据量不只大,还会实时改变。能够说,每个购物数据都是个性化的、动态的,完结处理它们的作业,需求有强壮的核算才能作为支撑。“本年的数据处理作业,除了批处理(对数据进行批量处理)外,还有流处理,便是实时处理数据。巨大的买卖数据每分钟、每秒钟都在变,它们并不是从数据库里边核算出来的,而是体系主动一层层把它们聚集上来的。”阿里巴巴集团首席技能官张建锋表明。他口中的“流处理”便是流核算,即实时核算。关于扛住“双十一”流量“洪峰”,它功不可没。那么,什么是流核算?它是怎么抗住“双十一”流量“洪峰”的?对此,科技日报记者采访了业界专家。以内存替代硬盘完成快速处理北京理工大学核算机学院副院长、教授刘驰在承受科技日报记者采访时解释道,流核算指当一条数据被处理完后,马上被序列化到内存中,然后经过网络传输到下一个节点,由下一个节点继续处理。“这种流式处理技能,是以内存替代硬盘的方法来完成数据快速处理,这是流核算之所以能够高效处理数据的根本原因。”他表明。据刘驰介绍,流核算具有高性能、海量式、实时性、散布式、易用性、可靠性等多项优势,首要的使用方向有,对金融与科学核算中的数据进行快速运算和剖析;对存在于交际网站、电子邮件、视频、电话记载、电子感应器中的数字格局信息流进行快速处理并反应等。“流式处理可被用于两种不同的核算场景:事情流和继续核算。”刘驰介绍道,在事情流场景,体系会继续发生很多的数据,这类数据最早呈现在银行和股票买卖范畴,也会在互联网监控、无线通信等范畴呈现。这些范畴的相关事务,需求流核算技能以近乎实时的方法对数据流进行杂乱剖析。“而在继续核算场景,比方大型网站,流核算技能能够动态实时地改写用户拜访数据,展现网站实时流量的改变状况,剖析每天各小时的流量和用户散布状况。一些需求实时处理数据的场景也能使用到流核算技能,比方对依据用户行为发生的日志文件进行实时剖析,对用户进行产品的实时引荐等。”刘驰介绍道。下一页第[1][2]页