美高梅4688.com【真正惠及】成为规范程序员路上下的各种精美资料、神器及框架

测试方法

测试方法如下:测试客户端随机检查一个用户的道具数量,小于100加以一个道具,大于100
删除一个道具。

连续100万次等,采用10个线程并发。

要因此关系数据库设计方+mysql来实现,这是一个良压力格外老的数码处理需。

唯独用文档数据库设计方+MongoDB来促成,这个测试根本算不达到有压力。

Java

  • 常用的IDE:IntelliJ IDEA(强烈推荐),Eclipse,Netbeans
  • fastutil: 性能更好的Java集合框架
  • Guava: 谷歌的Java工具确保,应用广泛
  • Curator:Netflix公司开源之一个Zookeeper client
    library,用于简化Zookeeper客户端编程,现在都是apache下的一个独型了。Spark的HA也因而之这货。
  • Rx(Reactive Extensions)框架:Vert.x, RxJava(Android中之所以的较多),
    Quasar
  • FindBugs: 代码静态分析工具,找有代码缺陷
  • Java反编译工具:Luyten,JD-Gui
  • Drools: 规则引擎
  • Jersey: Java RESTful 框架
  • canal: 阿里巴巴活,binlog增量订阅&消费组件
  • Web开发有关:Tomcat、Resin、Jetty、WebLogic等,常用的零部件Struts,Spring,Hibernate
  • Netty:
    异步事件驱动网络以编程框架,用于高并发网络编程比较好(NIO框架,spark
    1.2.0纵因故netty替代了nio)
  • MINA:简单地出大性能与高可靠性的纱应用程序(也是个NIO框架),不少手游服务端是因此她开发之
  • jOOQ:java Orm框架
  • Janino: 超级粗而且快之Java编译器,Spark的Tungsten引起用之它
  • Activiti:工作流引擎,类似之还有jBPM、Snaker
  • Perfuse:是一个用户界面包用来把发生结构和任组织数据因备交互性的可视化图形展示出来.
  • Gephi:复杂网络分析软件,
    其重要性用于各种网络和错综复杂系统,动态及分层图的互可视化与探测开源工具
  • Nutch:知名的爬虫项目,hadoop就是由这类别遭到前进下的
  • web-harvest:Web数据提取工具
  • POM工具:Maven+Artifactory
  • Akka:一款款基于actor模型实现之 并发处理框架
  • EclEmma:覆盖测试工具
  • Shiro:安全框架
  • joda-time:简化时间拍卖
  • parboiled:表达式解析
  • dozer: 深拷贝神器
  • dubbo: 阿里巴巴产品的分布式服务框架
  • jackson databind: json序列化工具(fastjson,simplejson)
  • Atomikos: 分布式事务管理
  • BoneCP:性能大赞赏的数据库连接池组件,据说比c3p0赶紧多
  • ProGuard: obconfuscation tool, 强大的混淆工具
  • S-99:Scala相关的99个问题

MongoDB设计方式

然我们之所以mongoDB来贯彻此要求,直接就从未问题

第一第一独集:users集合,用UserName 作为_id ,记录数100万

然后道具的团体,我们有少种植选择

1.以users集合的价值备受起Items对象,用Bson数组保存道具(Mongo官方称为Bson,和Json一模型一样的仓储方)

术同样,没有额外的记录数

2.新建userItems集合,同样用UserName作为_id
每个UserItems集合的值备受起一个Item对象,使用一个Bson数组来保存道具

方式二,多矣一个汇聚和100万记录数

 

俺们的道具数据看起像下这样:

{_id:xxx,Items:[

{Itemtype:xxx,ItemPower:xxx},

 

]}

大牛博客

  • 云风(游戏界大牛): http://blog.codingnow.com/
  • 王垠(不少篇喷到老有道理):http://www.yinwang.org/
  • 冰河-伞哥(Lisp大牛):http://tianchunbinghe.blog.163.com/
  • R大【干货满满】RednaxelaFX写的章/回答的导航帖
  • 陈皓-左耳朵耗子:http://coolshell.cn/
  • Jeff Atwood(国外知名博主): https://blog.codinghorror.com/
  • 阮一峰(黑客和画家译者,Web):http://www.ruanyifeng.com/
  • 廖雪峰(他的Python、Git教程不少丁犹看罢):http://www.liaoxuefeng.com/
  • 道哥的黑板报(安全):https://zhuanlan.zhihu.com/taosay
  • 境内GitHub上关注度比较高的开发者

老三独问题:精细的运Update

当即与题材二相对的,不要暴力之FindOne,也尽可能不要暴力之Update一整个节点。虽然MangoDB的特性特别暴力之,IO性能最好限约等于MongoDB性能,暴力的Update就会以挤占流量之而欢迎IO的性质极限。

除此之外创建节点时的Insert或者Save之外,所有的Update都应采取修改器精细修改.

比如Update({_id:xxx},{$set:{“Items.3.Item.Health”:38}});//修改第三管武器的健康价值

关于一次修改及批量改动,MongoDB默认100ms
flush一软(2.x),只要简单浅修改比较近,被联合保存的可能性非常高。

然合并了一定比较未合并强,合并的改动得是同保存,这个也只要凭借于是用的开发方式,如果使用php做多少客户端,缓存起来往往操作合并了协同提交,实现起来便比较复杂。

 

只顾上述三触及,一百万报了名用户并无算是多,4G内存,200G硬盘空间的MongoDB服务器即可轻松答对。性能瓶颈是硬盘IO,可以很爱的施用Raid和固态硬盘提升几加倍之吞吐量。不行使大量底Js计算,CPU不会见成为问题,不要让索引膨胀,内存不见面变成问题。你从用不着志强的平等积核心和海量的内存,更多之内存可以吃缓存的机能还好一些,可是比读写分离还是差远了。如果是高并发时查询性能不足,就要使读写分离之布局方式。当IO再次成为瓶颈时,就只能采取集群部署MongoDB启用分片功能,或者电动进行分集合与key散列的行事。

.NET

  • Xilium.CefGlue:基于CEF框架的.NET封装,基于.NET开发Chrome内核浏览器
  • CefSharp:同上,有一款WebKit的封装,C#和Js交互会再次简单
  • netz:免费的 .NET 可执行文件压缩工具
  • SmartAssembly:变态的.net代码优化混淆工具
  • NETDeob0:.net反混淆工具,真是魔高一尺道高一丈啊(还闹个de4dot,在GitHub上,都是开源的)
  • ILMerge:将持有援的DLL和exe文件于成一个exe文件
  • ILSpy:开源.net程序反编译工具
  • Javascript.NET:很不利的js执行引擎,对v8做了包
  • NPOI: Excel操作
  • DotRAS:远程访问服务之模块
  • WinHtmlEditor: Winform下的html编辑器
  • SmartThreadPool:使用C#心想事成的,带高级特性的线程池
  • Snoop: WPF Spy Utility
  • Autofac: 轻量级IoC框架
  • HtmlAgilityPack:Html解析利器
  • Quartz.NET:Job调度
  • HttpLib:@CodePlex,简化http请求
  • SuperSocket:简化Socket操作,基于他的尚出个SuperWebSocket,可以出独立的WebSocket服务器了
  • DocX:未安装Office的情景下操作Word文件
  • Dapper:轻量级的ORM类,性能是
  • HubbleDotNet:支持连数据库的全文检索系统
  • fastJSON:@CodeProject,高性能的json序列化类
  • ZXing.NET:@CodePlex,QR,条形码相关
  • Nancy:轻量级Http服务器,做个袖珍的Web应用得解脱IIS喽(Nancy.Viewengines.Razor,可以在Razor引擎)
  • AntiXSS:微软的XSS防御库Microsoft Web Protection Library
  • Jint:JavaScript解释器
  • CS-Script:将C#代码文件作为脚本执行
  • Jexus:Linux下 高性能、易用、免费的ASP.NET服务器
  • Clay:将dynamic发挥的一发灵敏,像写js一样写C#
  • DynamicJSON:不必定义数据模型获取json数据
  • SharpPcap:C#本子的WinPcap调用端,牛逼的大网保险分析库(自带PacketNotNet用于包商分析)
  • Roslyn:C#,VB编译器
  • ImageResizer:
    服务端自由支配图片大小,真乃神器也,对手机端传小图,PC端传大图,CMS用它不行有益于
  • UI相关:DevExpress, Fluent(Office 07风格), mui(Modern UI for WPF)
  • NetSparkle:应用自动更新组件
  • ConfuserEx: 开源.net混淆工具
  • ServiceStack: 开源高性能Web服务框架,可用于构建大性能的REST服务
  • Expression Evaluator:Eval for C#,处理字符串表达式
  • http://nugetmusthaves.com/
  • Reactive Extensions (Rx):异步,事件驱动编程包, Rx = Observables +
    LINQ + Schedulers

第二单问题:FindOne({_id:xxx})就快么?

毋庸置疑,FindOne({_id:xxx})就是极度直白的之所以Key取Value。

为确实,用Key取Value
就是咱们能够为此的唯一访问Value的道,其他就是未为Key-Value数据库了。

但,由于我们设控制Key的多寡,单个Value就会见较大。

不要被FindOne({_id:xxx}).Items[3].ItemType这优雅的代码欺骗,这是坏缓慢的,他差点儿谋杀你所有的流量。

无论后面是什么
FindOne({_id:xxx})总是回到给您整的Value,我们的100长达道具,少说为出6~8K.

这样的询问流量就生非常了,如果你采取MongoDB方案一规划,你的么Value是带有一个用户的有所数据的,他会见更甚。

万一查询客户端和数据库服务器无以和一个机房,流量用成为一个深老之瓶颈。

俺们理应运用的查询函数是FindOne({_id:xxx},filter),filter里面就是安装返回的过滤条件,这会当殡葬给您先便了滤掉

比如FindOne({_id:xxx},{Items:{“$slice”:[3,1]}}),这同方面那条优雅的代码是成就同样效果,但是他吃大少的流量

前言

成为同叫专业程序员的征程上,需要咬牙练习、学习及积淀,技术方面既设出得的广度,更要发和好之深度。

笔者作为同一个tool
mad,将工作以来以的各种可以资料、神器及框架整理在这个,毕竟好记性不设烂键盘,此路得以当团结的时的欲。

自我喜爱折腾,记录之事物吗比杂,各地方还见面生出一对,内容以重要性阶段排序,大家各取所需要。

这边的物会随地累积下,欢迎Star,也欢迎发PR给自家。

首先单问题:Key-Value数据库可来诸多的Key,没错,但针对MongoDB来说,大错特错

MongoDB的目录代价十分充分,大到啊程度:

1.壮烈的内存占用,100万条索引约占50M内存,如果这规划被,你一个道具一长条记下,5G内存将用于索引。

俺们的屌丝情景不容许受你如此的服务器,

2.伟人的属性损失,作为一个数据库,所有的物必定被描写副硬盘,没有关系数据库那样的表结构,MongoDB的目录写副性能看起特别不同,如果记录数据较小的当儿,你可以观测到这般震撼的景象,加一个目,性能变成了1/2,加点儿独目录,性能变成了1/3。

惟有当次只目录的询问不可避免,才值得增加额外索引。因为没索引的数码,查询性能是加几单七零八落的慢性,比加索引更惨。

咱既然选择了Key-Value数据库,应竭尽避免需多单目录的情。

具有的目只能是让内存中,而读取记录时,也欲用Bson在内存中拍卖,内存还担当在再次主要之用意:读取缓存。

自就非充裕的内存,应该严格控制我们的记录条数,能够用Bson存储的,尽量用的。

这就是说我们之前在MongoDB的规划中怎么还考虑次种设计方式为?独立一个userItems
集合,不是同时基本上有100万长达记下了为?

眼看基于其他两独考虑:a.Bson的处理是如累硬盘和内存交换的,如果各条记下重复小,则IO压力又有些。内存和硬盘对服务器来说都是稀缺资源,至于多生的数额拆分到其它一个会师中再经济,这要依据作业情况,服务器内存、硬盘情况来测试出一个适度大小,我们暂时使用1024斯数值,单用户的道具表肯定是会突破1024字节底,所以我们要考虑将他独自及一个集中

b.可以不布置分片集群,将其它一个成团挪至另外一个服务器上。只要服务器可以轻松承载100万用户,200万尚见面远么?在发钱部署分片集群以前,考虑次组服务器又具象有。

安息息相关

  • sql注入检测:sqlmap、haviji
  • 端口扫描:nmap
  • 渗透测试:BurpLoader
  • sqltools: sql漏洞使用工具
  • snort: 入侵检测

关系数据库设计方法

突出的关系数据库设计方:

用户表:字段 xxx userid xxx   ,记录数据100万

xxx是别字段,userid标示用户

用户道具表:字段 xxx userid itemtype xxx ,记录数据一亿

xxx是外字段,userid 标示

一个亿之记录数是匪是圈起有些头疼,mysql这个时候就要想各种法子了。

Web服务器性能/压力测试工具/负载均衡器

  • ab: ab是apache自带的一致迟迟功能强大的测试工具
  • curl-loader: 真实模拟、测试Web负载
  • http_load: 程序非常小,解压后为未顶100K
  • webbench:
    是Linux下之一个网站压力测试工具,最多可套3万个冒出连接去测试网站的负荷能力。
  • Siege:
    一款开源之压力测试工具,可以根据部署对一个WEB站点进行多用户的起访问,记录每个用户所有请求过程的呼应时间,并以自然数额之面世访问下还进行。
  • squid(前端缓存),nginx(负载),nodejs(没错它吧可以,自己写点代码就能兑现高性能的载荷均衡器):常用的载荷均衡器
  • Piwik:开源网站访问量统计系统
  • ClickHeat:开源的网站点击情况热力图
  • HAProxy:高性能TCP /HTTP负载均衡器
  • ElasticSearch:搜索引擎基于Lucene
  • Page Speed SDK和YSLOW
  • HAR Viewer: HAR分析工具
  • protractor:E2E(end to end)自动化测试工具

注意事项

纵然我们因而了一个如此胜之不武的规划方式,你仍有或还是能将他形容的不胜缓慢。

以MongoDB在接口设计上连从未充分好之引导及束缚,如果你无留神,你要么能够管他于是之不行缓慢。

工具篇

运用状况

开前,我们先行设定这样一个情景:

1.一百万报用户之页游或者手游,这是不温不火的一个状态,刚好是数据量不达到不下之一个景。也刚刚是风MySql数据库性能开始紧锣密鼓的上。

2.数据库就因此相同玉异常寻常的服务器,只生同一华。读写分离、水平扩展、内存缓存还未开腔。一百万挂号用户如果贡献度和活跃度都不强,恐怕公司之生活还不是那么从容,能够以数据库及之投资呢简单。

这观也例,设每个用户都备100独道具,用户时时会得或去道具。

咱们不怕来探视就一亿的道具怎么行。

道具一般要下原型、实例的统筹方式,这个不属数据库的范围。

道具类型001
是屠龙刀,屠龙刀价格1500,基础攻击150,这些,我们拿它们叫道具原型,保存在原型数据文件中。

其一原型数据文件,无论是在何种数据库或者地方文件中,对服务器来说还不是题材,也非惊扰数据库设计,所以我们不去讨论他。

目录

  • 资料篇
  • 技能站点
  • 一定看书籍
  • 大牛博客
  • GitHub篇
  • 工具篇
  • 阳台工具
  • 常用工具
  • 老三正在服务
  • 爬虫相关(好玩的工具)
  • 安康系
  • Web服务器性能/压力测试工具/负载均衡器
  • 挺数量处理/数据解析/分布式工具
  • Web前端
  • 语言篇
  • Scala
  • Java
  • Python
  • Swift
  • .NET
  • C & C++
  • 其他
  • 玩耍支付相关
  • 日志聚合,分布式日志收集
  • RTP,实时传输协议以及音视频

C & C++

  • Thrift:用来开展可扩大且超过语言的服务之开(类似之尚时有发生只Avro,Google
    protobuf)。
  • libevent:是一个风波触发的网络库,适用于windows、linux、bsd等多种阳台,内部使用select、epoll、kqueue等体系调用管理事件机制。(对了还来只libev呢)
  • Boost:不多说了,准C++标准库
  • Valgrind\Ptmalloc\Purify: 调试工具
  • NetworkServer架构:acceptor->dispatcher->worker(这个不到底工具哦)
  • breakpad:崩溃转储和分析模块,很多crashreport会用到
  • UI界面相关:MFC、BCG和QT这类似的即不说了,高端一点底还有Html和DirectUI技术:libcef(基于chrome内核的,想想使用html5出页面,还确实有硌多少感动也)、HtmlLayout、Duilib、Bolt,非C++的,还有node-webkit也是,集成了node和webkit内核。

Web前端

  • Material Design: 谷歌活,必属精品
  • Vue.js: 借鉴了Angular及React的JS框架,设计意见较为先进
  • GRUNT: js task runner
  • Sea.js: js模块化
  • knockout.js:MVVM开发前台,绑定技术
  • Angular.js: 使用超动感HTML & JS开发WEB应用!
  • Highcharts.js,Flot:常用的Web图表插件
  • NVD3: 基于d3.js的图表库
  • Raw:非常不错的一样舒缓高档数据可视化工具
  • Rickshaw:时先后图标库,可用来构建实时图表
  • JavaScript InfoVis Toolkit:另一样悠悠Web数据可视化插件
  • Pdf.js,在html中展现pdf
  • ACE,CodeMirror:Html代码编辑器(ACE甚好哎)
  • NProcess:绚丽的加载进度条
  • impress.js:让你制作有令人眩目的情节展示效果(类似的还有reveal)
  • Threejs:3DWeb库
  • Hightopo:基于Html5的2D、3D可视化UI库
  • jQuery.dataTables.js:高度灵活的表格插件
  • Raphaël:js,canvas绘图库,后来发觉百度指数的图形就是用其写出的
  • director.js:js路由模块,前端路由,Nodejs后端平路由于当,适合布局单页应用
  • pace.js:页面加载进度修
  • bower:Web包管理器
  • jsnice:有趣的js反编译工具,猜压缩后的变量名,http://www.jsnice.org/
  • D3.js: 是一个基于JavaScript数据展示库(类似之还有P5.js)
  • Zepto.js:移动端替代jQuery的东东,当然为堪下jquery-mobile.
  • UI框架:Foundation,Boostrap,Pure,EasyUI,Polymer
  • 前段UI设计师必去的几乎单网站:Dribbble,awwwards,unmatchedstyle,UIMaker
  • Mozilla 开发者中心:https://developer.mozilla.org/en-US/
  • 图标资源:IcoMoon(我的极度容易),Font Awesome, Themify
    Icons,FreePik,Glyphicons
  • artDialog:非常不错的对话框
  • AdminLTE:github上之一个开源项目,基于Boostrap3的后台管理页面框架
  • Respond.js:让非懂爱的IE6-8支持响应式设计
  • require.js: js模块加载库
  • select2:比chosen具有更多特点的取舍框替代库
  • AngularUI:集成angular.js的UI库
  • normalize.css: 采用了现代化正规化于各个浏览器渲染出的html保持一致的堆栈
  • CreateJS:Html5嬉戏引擎
  • Less,Compass:简化CSS开发
  • emojify.js:用于自动识别网页上的Emoji文字并以该出示也图像
  • simditor:一个不利的开源的html编辑器,简洁高效
  • Sencha: 基于html5的活动端支付框架
  • SuperScrollorama+TweenMax+skrollr:打造超酷的视差滚动效应网页动画
  • jquery-smooth-scroll:同齐,平滑滚动插件
  • Animate.css:实现了各种卡通效果的css库
  • Emmet:前端工程师必备,ZenCode的前身
  • React: facebook出品的js UI库
  • highlight.js:专门就此来做语法高亮的库房
  • GoJS: Html5到互式图表库,看demo更符合层次结构的图样。
  • 10 Pure CSS (Mostly) Flat Mobile Devices:
    http://marvelapp.github.io/devices.css/
  • CodePen: http://codepen.io/
  • jsfiddle: http://jsfiddle.net/ 前端js,html,css测试利器

常用工具

  • Mac下之神兵利器
  • asciinema: 终端录屏神器
  • Fiddler:非常好用的Web前端调试工具,当然是对准底层http协议的,一般景象以Chrome等自带的调剂工具也够了,特殊情形还得用它失去处理
  • Charles: Mac上的Web代理调试工具,类似Fiddler
  • wireshark:知名的网数据包分析工具
  • PowerCmd:替代Windows Cmd的利器
  • RegexBuddy:强大的正则表达式测试工具
  • Soure Insight:源代码阅读神器
  • SublimeText:程序员最轻之编辑器
  • Database.NET:一个通用的关联项目数据库客户端,基于.NET
    4.0出之,做简单的拍卖还是很方便之
  • Navicat Premium:支持MySql、PostgreSQL、Oracle、Sqlite和SQL
    Server的客户端,通用性上不苟Database.NET,但性能方面比Database.NET好过多,自带备份功能也用于数据库定时备份。
  • Synergy : 局域网内一样效键盘鼠标控制多高微机
  • DameWare:远程协助工具集(我在小卖部重大控制甚屏幕用)
  • Radmin:
    远程控制工具,用了一段时间的DameWare,还要破解,对Win7支持之坏,还是察觉此好用
  • Listary:能太大幅度提高你 Windows
    文件浏览和寻找速度效率的「超级神器」
  • Clover:给资源管理器加上多标签,我平常工作之早晚就是用她,像Chrome一样采取资源管理器,甚是利啊(这是Windows平台的)
  • WinLaunch:模拟Mac OS的Launch工具
  • Fritzing:绘制电路图
  • LICEcap:gif教程制作
  • git,svn:版本控制系统
  • Enigma Virtual Box(将exe,dll等封装成一个可执行程序)
  • Open DBDiff(针对SqlServer)数据库同步
  • SymmetricDS:数据库同步
  • BIEE,Infomatica,SPSS,weka,R语言:数据解析
  • CodeSmith,LightSwitch:代码生成
  • Pandoc:Markdown转换工具,出写用的。以前打了docbook,不过本还是Markdown盛行啊。
  • Window
    Magnet[Mac]:增强Mac窗口管理力量,想Win7一样有窗口拖放到屏幕边缘自动调整之效用
  • log explorer:查看SqlServer日志
  • dependency walker:查询Windows应用程序dll依赖项
  • Shairport4w:将iPhone,iPad,iPod上之韵律通过AirPlay商事传输至PC上
  • ngrok:内网穿外露工具
  • Axure:快速原型制作工具,还出个在线作图的工具国内的一个创业团队做的,用正在那个科学http://www.processon.com/
  • Origami: 次永远交互设计神器
  • 百度脑图:http://naotu.baidu.com/
  • tinyproxy:(Linux)小型的代理服务器支持http和https协议
  • EaseUS Partition
    Master:超级简单的分区调整工具,速度还是蛮快的,C盘不敷用了不畏因故它从D盘划点空间吧,不用重装系统这么折腾哦。
  • CheatEngine:玩游戏修改外存值必备神器(记得我以玩轩辕剑6的时刻即便因此之它,超级福利啊)
  • ApkIDE:Android反编译神器
  • 翻译、墙工具(自|由|门、天行浏览器,免费之VPN:http://www.mangovpn.com/),发现最便利还属于Lantern,免费用起来超级福利(更新受2015-08-22)
  • 计划工具:Sketch、OmniGraffle
  • MindManger:思维导图
  • MagicDraw:Uml图工具
  • innotop:MySql状态监测工具
  • 墨刀:比Axure更为简易的原型工具,可以快制造原型
  • Karabiner: Mac专用,修改键盘键位的神器,机械键盘必备
  • Timing:Mac专用,统计你的年华还花费在啊了
  • f.lux: 护眼神器,过滤蓝光,程序员护眼必备良品
  • LaTeX: 基于ΤΕΧ的排版系统, 让写论文还有益
  • Antlr:开源之语法分析器,可以吃你不要压力的形容单小parser

资料篇

而项目仍然会更新,所以,更好的做法是,请到GitHub上Star:be-a-professional-programmer

为马上首文章,我从此不会见更新。

其三方服务

  • DnsPod:一个对的只能DNS服务解析提供商
  • DigitalOcean:海外的云主机提供商,价格便宜,磁盘是SSD的,用过一段时间整体上还可,不过到底是天的,网速比较慢。国内的就算是阿里云了。还产生个比知名的凡:Linode,据说快及比DigitalOcean好过多
  • 挪端推送服务:个推动、JPush、云巴
  • LeanCloud:移动使用开发服务,包括:数据存储、用户管理、消息推送、应用统计、社交分享、实时聊天等劳动
  • Color Hunt:
    漂亮炫酷的配色网站,程序员的福音
  • Heroku: PaaS平台

随即首文章,大家可以引进、收藏,让更多之人数在园内看到,让福利普照。

Python

  • PyCharm:最佳Python IDE
  • Eric,Eclipse+pydev,比较不错的Python IDE
  • PyWin:Win32 api编程包
  • numpy:科学计算包,主要用以处理大型矩阵计算等,此外还有SciPy,Matplotlib
  • GUI相关:PyQt,PyQwt
  • supervisor:进程监控工具
  • PyGame: 基于Python的多媒体开发暨游戏软件开发模块
  • Web框架: Django 开源web开发框架,它鼓励快速支付,并以MVC设计

语言篇

折腾中:Scala、Python、Lua、JavaScript、Go

待折腾:

  • Racket
  • OCaml
  • Rust
  • Julia

或是有些园友在14年的下收藏过自家的同篇“工欲善其事、必先利其器”的博文,时隔3年,已经举行了N多更新,那篇稿子为已让我去,迁移至GitHub,重新展开田间管理。

艺站点

  • 在线学习:Coursera、edX、Udacity、MIT公开课、MOOC学院
  • Hacker News:非常棒的针对编程的链接聚合网站
  • Techmeme:美国举世瞩目科技讯以及博客聚集网站,类似的还有(Panda, Hacker
    & Designer News)
  • Programming reddit:同上
  • Java牛人少不了:Program Creek
  • stackoverflow:IT技术问答网站
  • GitHub:全球最特别的源代码管理平台,很多闻名开源项目都当地方,如Linux内核,OpenStack等
  • LeetCode:来开做这些书吧,看看自己之算法水平怎么样?这不过于什么面试宝典大多矣。
  • Kaggle,Topcoder: 机器学习、大数量比
  • 掘金:高质量之技巧社区
  • 开发者头长长的
  • InfoQ:企业级以,关注软件开发领域
  • V2EX: way to explore
  • 国内著名技术社区:OSChina、博客园、CSDN、51CTO
  • 免费的it电子书:http://it-ebooks.info/
  • 在线学习:http://www.udemy.com/
  • 优质学习资源:http://plus.mojiax.com/
  • 代码练习:http://exercism.io/ and
    https://www.codingame.com
  • DevStore:开发者服务店
  • MSDN:微软系的官技术集中地,主要是文档类

好东西不是无论采访下,发篇博文,骗来点赞的!积累了5年多之东西,是下放出去跟大家呈现见面了。

其他

日记聚合,分布式日志收集

  • Scribe:Facebook的(nodejs + scribe + inotify 同日志)
  • logstash:强大的日志收集系统,可以依据logstash+kibana+elasticsearch+redis开发强大的日记分析平台
  • log.io: nodejs开发的实时日志收集体系

平台工具

  • Phabricator:
    软件开发平台,Facebook出品,现已经开源,CodeReview神器(从这于下直接顶GitLab之间的家伙全都可以忽略了)
  • Redmine/Trac:项目管理平台
  • Jenkins/Jira(非开源):持续集成系统(Apache
    Continuum,这个是Apache下的CI系统,还没有赶趟研究)
  • git,svn:源代码版本控制系统
  • GitLab/Gitorious:构建友好之GitHub服务器
  • Postman:RESTful,api测试工具,HTTP接口开发必备神器
  • Sonar:代码质量管理平台
  • Nessus: 系统漏洞扫描器
  • gitbook:https://www.gitbook.io/写书之好东西,当然就此来描写文档也特别正确的(发现许多出品之文档就是之所以之其)
  • Travis-ci:开源项目持续集成必备,和GitHub相结合,https://travis-ci.org/
  • Trello:简单便捷之路管理平台,注重看板管理
  • 日记聚合:graylog、ELK(推荐新一代的graylog,基本上算作是开源之Splunk了)
  • 开源测试工具、社区(Selenium、OpenQA.org)
  • Puppet:一个电动管理引擎,可以适用于Linux、Unix以及Windows平台。所谓配置管理体系,就是管制机器里如文件、用户、进程、软件包这些资源。无论是管理1宝,还是上万光机械Puppet都能自在搞定。其他类似工具:CFEngine、SaltStack、Ansible
  • Nagios:系统状态监控告警,还生个Icinga(完全匹配nagios所有的插件,工作原理,配置文件与艺术,几乎千篇一律。配置简单,功能强大)
  • Ganglia:分布式监控系统
  • fleet:分布式init系统
  • Ansible:能够大大简化Unix管理员的自动化配置管理以及流程控制方式。
  • GeoLite免费数据库
  • jsHint:js代码验证器
  • haproxy: 高可用负载均衡(此外类似的系还有nginx,lvs)
  • linux OS性能分析工具:dstat,iostat,iotop,nmon
  • kimono:将网页信息变换为api接口的家伙
  • 集群管理工具:pdsh,ClusterSSH,mussh(可以就此它们快管理Hadoop集群)ipa-server做统一的说明管理
  • influxdb: 分布式时序数据库,结合Grafana可以展开实时数据解析
  • dot: 程序员绘图利器(是种植语言,也是单器)
  • Graph::Easy: (Ascii
    Art工具)字符流程图绘制,实乃程序员装逼神器。其他类之家伙Asciiflow,
    vi插件:drawit!
  • spf13-vim: 让你的vim飞起来!
  • Kubernetes: 容器集群管理体系
  • Gatling: 服务器性能压力测试工具
  • systemtap: Linux内核探测工具、内核调试神器
  • Cygwin:Windows下之类UNIX模拟条件
  • MinGW:Windows下的GNU工具集

Scala

  • Scala Standard Library API
  • Scala School!: A Scala
    tutorial by Twitter
  • A Tour of
    Scala:
    Tutorial introducing the main concepts of Scala
  • Scala Overview on
    StackOverflow: A list of
    useful questions sorted by topic
  • Programming in
    Scala,最新的第3本子,还无电子版,电子版是首先本
  • 《Scala for the Impatient》
  • 《Scala in Depth》
  • 《Programming Scala》Dean Wampler and Alex Payne. O’Reilly 2009
  • Scala By
    Example
  • Scala
    Cheatsheet上学模式匹配的好材料
  • Glossary of Scala and FP
    terms
  • Metascala: A JVM written in
    Scala
  • LMS: Program Generation and Embedded Compilers in
    Scala

打支付相关

  • MINA:使用Java开发手游和页游服务器(对了还有Netty,也大盛的,都是冲NIO的)
  • HP-Socket:见有略页游服务器使用这构建的
  • Unreal: 虚幻引擎,C++,基于这个引擎的娱乐很多
  • OGRE:大名鼎鼎的3D图形渲染引擎,天龙八部OL、火炬的徒等重重玩都为此了是引擎
  • OpenVDB:梦工厂C++的特效库,开源之
  • cocos2d:跨平台2D游戏引擎
  • unity3d:跨平台3D游戏引擎,很恼火的啊
  • Nodejs:也发诸多用到其来出手游和为发生服务器(网易的Pomelo)

RTP,实时传输协议及音视频

  • RTP,RTCP,RTSP-> librtp,JRTPLIB(遵循了RFC1889标准)
  • 环形缓冲区,实时数据传用
  • SDL,ffmpeg,live555,Speex
  • Red5:用Java开发开源的Flash流媒体服务器。它支持:把拍子(MP3)和视频(FLV)转换成播放流;
    录制客户端播放流(只支持FLV);共享对象;现场直播流发布;远程调用。

Swift

  • Swift精选资料
  • 43独不错的开源项目

客户端

  • 糗事百科 Swift
  • HackerNews Swift
  • 知乎日报app

Framework

  • Twitter框架
  • Mac下简单HTTP Server Swifter

小工具

  • Swift Alarm
  • Swift Note
  • Swift RSS Reader
  • Swift-PM2.5查询app

游戏

  • Flappy Swift
  • FanFan Swift

一定看书籍

  • SICP(Structure and Interpretation of Computer
    Programs)
  • 深刻理解计算机体系
  • 代码大全2
  • 人件
  • 人月神话
  • 软件随想录
  • 算法导论(麻省理工学院出版社)
  • 离线数学及其应用
  • 设计模式
  • 编程的美
  • 黑客和画家
  • 编程珠玑
  • The Little Schemer
  • Simply Scheme_Introducing_Computer_Science
  • C++ Prime
  • Effective C++
  • TCP/IP详解
  • Unix 编程艺术
  • 术的原形
  • 软件随想录
  • 处理器程序设计方法
  • 职业篇:程序员的本人修养,程序员修炼之志,高功能程序员的修炼
  • 《精神分析引论》弗洛伊德
  • 《失控》《科技想要啊》《技术因素》凯文凯利
  • 次支付心理学
  • 领域一沙鸥
  • 搞定:无压力工作的方式

GitHub篇

** Awesome **

  • Awesome:
    这是只Awesome合集,常见的材料就个中还能够找到
  • Awesome2:
    类似第一个Awesome
  • 混乱、有因此没有因此的Awesome合集
  • 万分对的语言类学习资料集合:Awesomeness
  • awesome-ios-ui
  • awesome-android-ui
  • Awesome-MaterialDesign
  • awesome-public-datasets
  • awesome-AppSec(系统安全)
  • awesome-datascience

** 书籍资料 **

  • free-programming-books
    中文版
  • 免费的编程中文图书目录
  • 《程序员编程艺术 —
    面试及算法心得》
  • GoBooks
  • Papers we love
  • 自然语言处理NLP推荐学习路线与参考资料
  • 超级棒的机械上材料(框架,库,软件),
    中文翻译版
  • 机上(Machine Learning)&深入上(Deep
    Learning)资料
  • Docker资料合集
  • 念用Strom
  • Hadoop Internals
  • Spark
    Internals
  • 雅数目时之数目解析及数码挖掘 –
    基于Hadoop实现
  • 争制造操作系统
  • 依开源项目学软件开发
  • 几单正确的开源游戏引擎
  • 一起写Python文章,一起看Python文章
  • R的极客理想系列文章
  • HTTP接口设计指南
  • 享受自己老关注之前端开发相关的精美网站、博客、以及活跃开发者
  • Readings in Databases
  • Data Science blogs
  • 日记:每个软件工程师还应当理解之关于实时数据的合定义
  • Android Code Path
  • Android Learn Notes
  • PHP 类库框架,资料集合

** 优秀项目 **

  • 不过值得关注的10单C语言开源项目
  • 15迟迟值得学习之袖珍开源项目
  • iOS-100只开源组件
  • 十万分Material Design开源项目
  • Android开源项目分类集中

** 前端 & Node.js **

  • 前者资源
  • 前端开发指南
  • 前者技能汇总
  • 前端资源十分导航
  • 收集前端方面的书籍
  • 2014年流行前端开发面试题
  • 简易清晰的JavaScript语言教程,代码示例
  • JavaScript编程规范
  • JavaScript必看视频
  • JavaScript标准参照教程(阮一峰的,整理的正确性)
  • JS必看
  • AngularJS
    Guide的国语分支
  • Angular2学习资料
  • AngularJS应用之极品实践和风格指南
  • React-Native学习指南
  • 七天学会NodeJS
  • node.js中文资料导航
  • Nodejs学习路线图
  • 何以学习nodejs

** 工作,工具 **

  • 系统管理员工具集
  • Pro Git
  • Nginx开发从入门到精通
  • Google 全球 IP 地址库
  • 收集整理远程工作有关的资料
  • Color schemes for hackers
  • 娱开发工具集,MagicTools
  • 开发者工具箱,
    free-for-dev
  • GitHub秘籍
  • Git风格指南
  • Bast-App

爬虫相关(好玩的家伙)

  • Phantomjs(Web自动化测试,服务端渲染等)
  • berserkJS(基于Phantomjs的精益求精版)
  • SlimerJS
  • CasperJS
  • selenium
  • HtmlUnit(开源之java 页面分析工具,也是独Headless的浏览器)

那个数据处理/数据解析/分布式工具

  • Hadoop:分布式的文件系统,结合该MapReduce编程模型可以用来举行海量数据的批判处理(Hive,Pig,HBase啥的尽管背着了),值得介绍的凡Cloudera的Hadoop分支CDH5,基于YARN
    MRv2集成了Spark可径直用于生产环境的Hadoop,对于公司迅速构建数据仓库非常实用。
  • Spark:大规模数据处理框架(可以应付企业遭遇泛的老三种多少处理场景:复杂的批量数据处理(batch
    data processing);基于历史数据的交互式查询(interactive
    query);基于实时数据流的数处理(streaming data
    processing)),CSND有首文章介绍的正确
  • 除外Spark,其他几单科学的计框架还有:Kylin,Flink,Drill
  • Ceph:Linux分布式文件系统(特点:无中心)
  • Storm:实时流数据处理,可以扣押下IBM的平等首介绍
    (还起只Yahoo的S4,也是做流数据处理的)
  • Druid: 实时数解析存储系统
  • Ambari: 大数额平台搭建、监控利器;类似的还有CDH
  • Tachyon:分布式内存文件系统
  • Mesos:计算框架一个集群管理器,提供了实用的、跨分布式应用或框架的资源隔离和共享
  • Impala:新一替代开源深数目解析引擎,提供Sql语义,比Hive强以进度直达
  • presto: facebook的开源工具,大数据分布式sql查询引擎
  • SNAPPY:快速的数据压缩系统,适用于Hadoop生态系统中
  • Kafka:高吞吐量的分布式消息队列系统
  • ActiveMQ:是Apache出品,最风靡的,能力强大的开源音总线
  • MQTT:Message Queuing Telemetry
    Transport,消息队列遥测传输)是IBM开发之一个即时通讯协议,有或成物联网的要害组成部分
  • RabbitMQ:记得OpenStack就是因此的这东西吧
  • ZeroMQ:宣称是将分布式计算变得还简便,是单分布式消息队列,可以看下云风的均等篇稿子的牵线
  • 开源的日记收集体系:scribe、chukwa、kafka、flume。这起一样首对比文章
  • Zookeeper:可靠的分布式协调的开源项目
  • Databus:LinkedIn 实时小顺延数据抓取系统
  • 数据源获取:Flume、Google
    Refine、Needlebase、ScraperWiki、BloomReach
  • 序列化技术:JSON、BSON、Thrift、Avro、Google Protocol Buffers
  • NoSql:ScyllaDB(宣称是世界上无比抢之NoSql)、Apache
    Casandra、MongoDB、Apache
    CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort、Neo4j
  • MapReduce相关:Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum
  • 数据处理:R、Yahoo! Pipes、Mechanical Turk、Solr/
    Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop
  • NLP自然语言处理:Natural Language Toolkit、Apache
    OpenNLP、Boilerpipe、OpenCalais
  • 机器上:TensorFlow(Google出品),WEKA、Mahout、scikits.learn、SkyTree
  • 可视化技术:GraphViz、Processing、Protovis、Google Fusion
    Tables、Tableau、Highcharts、EChats(百度的尚不易)、Raphaël.js
  • Kettle:开源的ETL工具
  • Pentaho:以工作流为中心之开源BI系统
  • Mondrian:开源的Rolap服务器
  • Oozie:开源hadoop的工作流调度引擎,类似之还有:Azkaban
  • 开源的数目解析可视化工具:Weka、Orange、KNIME
  • Cobar:阿里巴巴之MySql分布式中间件
  • 数码清洗:data wrangler, Google Refine

发表评论

电子邮件地址不会被公开。 必填项已用*标注