CYQ.Data V5 于入门到放弃ORM系列:框架的优势

由CSDN、《程序员》、腾讯共同举办的TUP第十六愿意:智慧腾讯
梦想互联——1亿在线背后的技术挑战活动被10月31日以北京航空航天大学学术交流厅做。同时此次活动特邀到了腾讯通平台部高级技术总监、腾讯T4级技术专家、腾讯软件开发通道分会会长庄泗华先生。

前言:

框架开源后,学习使用的口越发多矣,所以我哉尤为积极的用代码回应了。

在框架形成了:数据库读写分离功能 和 分布式缓存功能 后:

透过三龙三夜间的不眠不休,终于就框架第三只重量级的作用:自动化分布式缓存。

源代码已经交由,源码地址见:到头来当交您:CYQ.Data V5多元
(ORM数据层)最新版本开源了

记多年前,大概2010年左右吧,CYQ.Data框架上快速更新版本阶段的时光,

这就是说时候的我会经常在有些技艺群里有意无意的游说打好的框架,然后群里总有那一些自己而自负的口会面说:

而的框架来甚优点也?我也底要动用你的啊?看您当时自底框架破名就无思量使了….

想必是免擅于表达…

想必是不屑于回答…

兴许确实是绝非啥优点好说…

黑马就时有发生雷同栽蛋蛋的发愁伤…

新生就是别了情绪,转收费,小众就小众,彪悍的人生,不欲讲……

一目了然海量互联网服务能力是社会风气公认的技术难题。经过十大抵年的发展,腾讯在海量互联网服务方面曾经产生多技术积累。庄泗华先生于此次演讲中盖QQ
IM后台服务也条例,重现了QQ在线用户从百万级至亿级的满贯经过遭到遇到的技能挑战,并跟与会者分享了成百上千当海量互联网后台服务研发运营点未也人知的机密。

新生的这些年:

创业的阅历,学会了由活之思维让框架的动简单化。

术之沉淀,思考了于架构和分布式思维设计框架。

品类之经过,促使了框架下场景的丰富化及自动化。

充本次活动主持人之是CSDN&《程序员》杂志总编辑刘江。他着重介绍了CSDN举办TUP活动之宏旨。

框架的优势:

倘若现在有人问我框架和外ORM比起来的的优势,我只得说,能无比么?因为早都不在一个Level上了。

可是既然你们真诚的提问了,我不怕大发慈悲的说了,哈:

5年前V4文山会海版本图:

澳门美高梅手机网站 1

而自己连无思将这些作用正是框架的优势,因为我清醒技术沉淀了迟早时间,只要努力,假以时日都可以去出来。

兹之V5雨后春笋版本图:

澳门美高梅手机网站 2

V5的效益很多,这里仅仅重点介绍这五碰,因为框架能集合成当下五沾之,目前市场上单独是如出一辙家就了,别无子。

澳门美高梅手机网站 3

1:多数据库互通支持:

V4时的大多数据库支持与其余ORM支持多数库类似,做到支持多数据库,通常只是需要完成接口就可以了;

V5就多数据库互通,全宇宙只这如出一辙家。

倘成功多数据库互通,需要研究各种数据库的数据类型差异,函数差异,需要抽象,需要比对,需要政策思想,需要大量底现象收集。

设DBImport就是同等磨蹭打磨这个职能的特级场景,前后花了几年之时,才消失到现之流利稳定等。

突发性我清醒的,DBImport在天应该格外有市场,毕竟全球也就是立马等同款软件(这么便宜)能不辱使命于如此强数码库间任意互通。

CSDN&《程序员》杂志总编辑刘江致开场词

2:自动化框架编程:

市面高达之ORM,都是单个赋值,单个行数据保存的。

假定框架的进化史:单个赋值=》单个UI交互=》批量UI交互=》批量数额交互=》自动化交互

系的介绍见:http://www.cnblogs.com/cyq1162/p/5634414.html

澳门美高梅手机网站 4

关于开发框架:(ORM举行为数据层+整套解决方案)

目前察觉的支付框架的二次开发,都停于于是代码生成器生成一堆积代码的等……

不曾代码生成器就是不行麻烦写代码了,项目艰难了,或者开发周期要尽加上了……。

自不得不说:曾经自己吗一度历过,后来发觉了发生改善的上空。

据悉V5的开发框架:ASP.NET
Aries,让你发觉好的自动化开发框架,根本无需什么代码生成器。

连带的牵线见:http://www.cnblogs.com/cyq1162/p/5487796.html

腾讯通平台部高级技术总监庄泗华演讲

3:分布式数据库(读写分离)

市面及的ORM都没提供这力量:

故之一:不好实现;

缘由之二:数据一致性不知底怎么解决;

案由之三:觉得数据量大了,公司还发生架构师,架构师会以业务范围解决之题目。

由老环境问题,.NET的商海,少发架构师的职务,也深缺架构师。

使V5框架,不仅完成了此功效,重要之是:

从单数据库到分布式数据库的联网,在代码层面,只需要配数据库链接,目前没有另外框架形成。

庄泗华表示QQ现在面临7亿活泼账户,每日1.4亿用户同时在线。QQ过万玉IM服务器和百亿层的关系链对数每天接受千亿级的劳动请考验。在这些苛刻的数字面前腾讯要保管99.99%底可用性。当团队当QQ在线从10万暨1.4亿底全经过吧经历了广大破折,同时从十万级、百万级、千万层最后到亿级在线腾讯也吸取了众教训。这吗证明了腾讯对海量服务之理解是由来已久积累的结果。

4:分布式缓存:

市面上闹众多居多分布式缓存组件可以用,但唯一的毛病是,你待引用组件,修改代码。

只是V5的框架,从单机过滤到分布式,只需要安排服务器链接,目前没有任何框架形成。

第一替架构难以支撑百万级在线

5:分布式自动化缓存:

同第4点之差距是,第4接触是手动档,这里是自动档。

便民清楚的游说类似NHibernate的二级缓存之类的。

闻讯很多ORM都实现了针对性实业的缓存,而且会以缓存命率做为一个卖点。

可实际的光景也是:ORM+执行SQL,因此框架的二级缓存没法用,因为在SQL执行端,无法搞定策略失效策略,和数量及时性问题。

V5的匪等同是,因为天生就对准SQL语句的支持,所以缓存策略能全局分析,再添加分布式缓存的启用,能如自动化缓存立即B格成分布式自动化缓存。

庄泗华以发言受到涉及了腾讯的首先替代架构。他表示当上一百万在线时,老架构会有各国面的瓶颈出现。以接入服务器的内存也例,单个在线用户的存储量约为2KB,索引和在线状态50字节。好友表400单好友
*
5字节/好友等2000字节。大致来说,2G内存只能支持一百万在线用户。与此同时,还有CPU/网卡包量和流量/交换机流量等瓶颈。其他服务器也面临类似场面。单台服务器支撑不下拥有在线用户/注册用户。第一替代架构已无以为继。

归纳如图:

澳门美高梅手机网站 5

哼吧,优点就是介绍至这里吧,已经全都宇宙无敌了,再B下去,愤青要受不了了。

庄泗华看十万层及百万级在线的关键技术是青出于蓝性能和实现7乘24小时连续服务。心想事成高性能的关键因素包括绝不使用企业级解决方案、逻辑层多进程、万闹一致失的无锁设计、用户态IPC、MySQL分库分表以及好友表自写文件存储。而透过大系统小开、平滑重构、核心数据放入共享内存、接入层与逻辑层分离及令分发动态配置化可确保QQ后台实现7乘24小时一连服务。

非常规要吐槽之一个意见:

多数的丁都以为自WebForm到MVC是一模一样栽发展,其实自己反而觉得是千篇一律种植退步。

自组件化的支付模式,退回原之手工档模式。

为WebForm背负沉沦骂声的,表面是ViewState和服务器控件,实际而又残忍的庐山真面目是:大部口犹写不好数据层

如若给有人数返回手写SqlConnection、SqlCommand、SqlDataReader、SqlDataAdapter时代,MVC也同样叫人噙:又迟迟而难用……

假如那时候来V5框架,WebForm的春该不止好丰富深丰富……

现,webform虽然渐行渐远,但最少她没有了徐的说辞了,因为起矣V5。

其次代架构难以支撑千万级在线

总结:

这些年,框架澳门美高梅手机网站一直伴随个人的成人,已经从小打小闹的ORM,进化到大打大闹的ORM了:

自打原本的使能操作数据库就好,到活合计,到自动化思维,到分布式架构思想,下一阶段,会是啊想也?

当您种刚刚开头,开发人员技术弱的当儿,它帮忙你解决效率以及总体性问题;

当您种特别了后,没有架构师的下,它拉您解决分布式架构问题;

倘若就一切,你本都免费可得…..(对了,我博客安装了打赏插件的,哈)

总而言之,言而总之,总总言之,这么好之框架,泥玛,竟然开始源了……

 

相同第二代架构也有有问题。包括同流量太死、状态并服务器遇到单机瓶颈、所有在线用户之在线状态信息量太特别、单台接入服务器存不下齐题材。并且当在线数更是增,单台状态并服务器不可知满足需求,单台状态并服务器支撑不了所有在线用户,单台接入服务器也支撑不了所有在线用户之在线状态信息。

经深入剖析,腾讯发现后台机器越来越多,单机死机/故障就是会见经常出现。同时每周新代码的颁布也导致BUG不断出现,严重影响服务。监控体制的对立原始导致报警装置不净。最后当运维操作通过vim或者mysql进行时也非常容易失误。

庄泗华表示怀念只要缓解这些问题不怕需针对现有架构进行改建。这包对外提供高可用性的劳动、对内提供高可运维性的系统。同时灰度发布、运营监控、容灾以及运维自动化/半自动化也是化解千万级在线所面临问题的关键技术。

亿级在线时之赶来

澳门美高梅手机网站 6

IM亿级在线存储系统架构

随着亿期在线到来,腾讯也面临了初的问题。通过对原始系统不断到既老不便支撑亿级在线。

庄泗华表示亿时代在线的季独关键特性:愈性能、高可用性、高可运维性和高灵活性。鉴于互联网行业要求每个月有一个新本子。所以要提供高灵活性的事务支撑。作为硬件层面来说,高可运维性则要物理架构详细到机架、并兼有故障分析智能化、运维操作组件化和负载自动转换等特性的支撑。而而保证系统的强性能,自写存储层是必不可缺的素。庄泗华还代表于线量每提升一个量级,技术难度也会见提升一个量级

最终庄泗华认为互联网行业发生自己之技术原理,需要开要好的技能积累。而腾讯IM服务之未来战略性就是是全球化分布、高效率的研发和监控告警的智能化。

大家和与会者交流环节

澳门美高梅手机网站 7

现场听众向专家发问

澳门美高梅手机网站 8

庄泗华对现场听众的问题

澳门美高梅手机网站 9

挪动现场

[注]CSDN稍后会管本次活动之视频以及PPT公布,敬请期待。

讲师介绍

澳门美高梅手机网站 10

庄泗华
腾讯通平台部高级技术总监、腾讯T4层技术专家、腾讯软件开发通道分会会长。中科院计算技术研究所硕士
2004年毕业加入腾讯,是腾讯培养出的首先各类T4专家级毕业生。一直从为QQ
IM后高海量服务体系的研发及营业工作。负责过QQ群聊系统、QQ接入和功底通信服务系统等后台系统的研发与运营,见证了QQ在线从800万届1.4亿之整过程

关于TUP:

澳门美高梅手机网站 11

TUP是由于世界最为可怜之汉语IT技术社区CSDN和极端有影响力的IT技术期刊《程序员》发起组织的线下活动,以业界知名学者讲座及论坛式在京都、上海等于要害都定期举行,主要对IT产品研发相关的技巧、设计、运营、运维、管理专业人士,目的是暨技术界人士齐关心IT产品研发背后的胜败经验,关注技术、用户体验及产品设计,信仰开放、创新、交流暨社区。

打听再多:http://tup.csdn.net/

发表评论

电子邮件地址不会被公开。 必填项已用*标注