【真正方便】成为正式程序员路上用到的各样精彩资料、神器及框架(转)

出处:http://www.cnblogs.com/jasondan/p/6380597.html

新禧开始,在总结过去一年 IT
行业变化和进步的同时,不少商店更关切今后一年甚至几年的本行大势。Gartner
于 二零一五 年公布了小说 Gartner Says By 2017 Web-Scale IT Will Be an
Architectural Approach Found Operating in 50 Percent of Global
Enterprises
表示:

好东西不是不管采访下,发篇博文,骗些点赞的!积累了5年多的事物,是时候放出去跟我们见会合了。

得了至 2017 年,环球 5/10 的铺面将选取 Web Scale IT 架构。

恐怕有的园友在14年的时候收藏过作者的一篇“工欲善其事、必先利其器”的博文,时隔3年,已经做了N多更新,这篇小说也已被作者删除,迁移至GitHub,重新展开保管。

在 二零一五 年年终,大家回想 Gartner 对 二零一四 年所做的推断,来说说 Web Scale
在华夏 IT 界的升华与转移。

那篇小说,我们能够引进、收藏,让越来越多的人在园内看到,让福利普照。

图片 1

因为这篇作品,作者然后不会更新。

图为 Gartner 对 二〇一四 年 10 大 IT 趋势的猜想,个中就包罗了:Web Scale
IT。那么些词条被用来叙述今后将有更加多的营业所以亚马逊(亚马逊(Amazon))、谷歌(Google)、推文(Tweet)等互连网科技(science and technology)巨头的艺术去思辨、行动和塑造应用程序和根基设备。

但品种还是会更新,所以,更好的做法是,请到GitHub上Star:be-a-professional-programmer

用作有效的 Web Scale IT
方法的重中之重组成都部队分,普遍被接受的成分包罗开放硬件方法、新型软件体系架构、敏捷进度、从
DevOps 入手的一块一致的合营社、以及危害兼容文化。

前言

成为一名专业程序员的道路上,供给坚韧不拔演练、学习与积累,技术方面既要有必然的广度,更要有自身的深度。

作者作为1位tool
mad,将工作来说用到的各类精粹资料、神器及框架整理在此,毕竟好记性不如烂键盘,此项目可以作为团结的经常之需。

本人喜爱折腾,记录的事物也比较杂,各地点都会有一部分,内容按主要性阶段排序,我们各取所需。

那里的东西会没完没了累积下来,欢迎Star,也欢迎发P智跑给自己。

什么是 Web Scale IT?

那到底怎么是 Web Scale IT 呢?是又一回的 DevOps
文化运动?依旧存在实际的工具和措施?

实际, Web Scale IT 是一种趋势,一种缓解方案,也是二个机会。

咱俩得以因而 Web Scale IT 的 5 特性状来更为清楚地认识 Web Scale IT。
以下音讯摘自:至于 Web Scale IT
的片段眼光,阮志敏

  • 不无众多台机械的一个钱打二16个结能力
  • 只需少数工程师就足以运营多量机械
  • 采取能够承接万分高的用户访问量
  • 就算稍微型总括机器出现故障,应用依然工作例行
  • 使用天天能够升级布署应用好三遍

守旧集团渴望富有和互连网集团一如既往的 IT 能力去进行作业创新,同时抓牢 IT
运行效能、下降资费。此概念可让他们裁减 IT
服务的经营销售时间,下跌基础框架结构费用,同时加强灵活度,增强他们推向 IT
文化变革的能力,并能提升劳务品质。Web-Scale IT
和国内的”去IOE”运动具有相同的逻辑,都以互联网专营商影响、颠覆守旧IT消除方案的一种倾向。

目录

云总计是 Web Scale IT 的底蕴

Web Scale IT
希望公司具备富有很强的乘除能力,下落基础架构花费。而从不曾网络到有互连网,再到云总括,事实上是二个解放劳重力的历程。能够那样通晓,云计算的出现和前进是
Web Scale IT 的根基。

假定假想成盖房屋,守旧 IT
相当于在享有的土地上依照流程自行设计、施工,再找人装修和维修。有众多共处的阅历,成熟的方案得以参见。而云计算一出去,就相当于直接买到了毛坯房,只须求装修就好了,还捎带物业管理。那是3个分工更为细化的时代,Laas
让 IT
能力成为廉价可相信的能源,只要按需选取、付费即可。而在那几个基础上,Web
Scale IT
就变的恐怕,中型小型型创业公司也能够将精力更多的投入到立异和营业上去。

眼前无数 IT 公司都在做云,BAT、IBM,包罗 HP 和 戴尔也都要起来做云,还有以 UCloud
为表示的第②方专注、中立的云公司,在云总括领域可谓风头正盛。Ali云从
二零一一年终伊始普遍推广和密集的营业活动,如今从市镇份额上讲,是当仁不让的境内一哥。从二零一八年4 月到 5 月仅3个月的时刻,从Ali云直接连接到国际网络的 Web
服务器数量就增强了 8 千多台。

而腾讯云凭借本人强硬的游戏运行能力,凭借渠道的能力,在戏耍行业、 O2O
天地及一些正值向互连网转型的守旧行业中树立了卓绝的有名度。UCloud
近年来拿走国内 Laas 领域最大投资千万日元,在手游领域混的风生水起。

在各种领域,都有越多的互连网商行和向网络转型的价值观行业开首选拔云服务,包涵游戏、在线商务、在线教育、在线医疗、大数量解析、网络经济,甚至守旧的化学工业、生物行业等等。

资料篇

DevOps 产品催化 Web Scale IT

Web Scale IT 供给降低基础框架结构开销,更多的 DevOps
工具应运而生。有那么些工具用于基础设备自动化,使用哪个工具决定于系统布局和底蕴设备的急需。下边大家列出了有个别可以的
DevOps 产品,蕴含容器平台、配置管理工科具、服务平台、监察和控制工具等。

1.容器阳台 Docker

图片 2

Docker 是2个自动化学工业具之上的 Linux容器,容器已经济体改为 DevOps
中的新热点技术。越发是 Docker
集团,已经成为了提供容器技术服务的带头集团。使用 Docker
平台,应用程序及其信赖能够被打包进1个单元,也正是所谓的镜像。随后,能够运作那一个镜像的实例,已毕快速的测试、安插。Docker
的起来和普及是因为它能提供一种一致性机制来创设、安顿和壮大应用组件并切断系统能源。有了Docker,开发者们就足以从同叁个主机械运输维三个开发环境(每一种开发环境有例外的软件、操作系统和配置),在新的或差别的服务器上测试项目,以及让任什么人都得以在装置同样的情状下处理同一类型,无论地点主机环境怎么。

有人说虚拟机也能促成多样环境,但只可以说,和观念虚拟机比较,Docker
具有运维速度快,财富利用率高,品质开支小的优势。虚拟机的 Guest OS 和
Hypervisor 层在 Docker 中被 Docker Engine 层所取代,Docker
有着比虚拟机更少的抽象层。由于 Docker 不供给通过 Hypervisor
层完毕硬件能源虚拟化,运转在 Docker
容器上的顺序直接运用实际物理机的硬件财富。由此在 CPU、内部存款和储蓄器利用率上
Docker 后发先至。Docker 利用的是宿主机的水源,而不须要 Guest
OS,因此,当新建3个容器时,Docker
不要求和虚拟机一样再一次加载2个操作系统内核,因而新建二个 Docker
容器只要求几秒钟。

“生产条件上就出难题,明明本地运维的很好!”
那是一句听过很多遍的话。容器使应用程序的跨平台可移植性比以后其他时候都更高,它化解了付出条件与生产条件差别的老难题。只怕相对于灵活的配备,迭代和引用这个亮点来说,Docker
相对复杂的网络布局,container
之间的通讯,仍是急需攻破的难点,但随着容器技术的飞跃上扬,对于开发和平运动维职员的话,显示着「化繁为简,All
in One」理念的 Docker 出现绝对是一件好事。

2.布局管理工科具 Chef & Puppet

图片 3

强调用户体验和工效的支出和营业协会都享有那样的靶子吗?编写简洁的、可保证的和高质量的代码,尽恐怕在不宕机的景色下安顿代码。在
Docker
那样的容器出现此前,理论上最好的主意是使用安顿管理工科具来自动化服务器基础设备以及配置工作流,那就要涉及
Chef、Puppet、Salt 等等。本文先简单介绍一下相同基于 Ruby
开发的配置管理工科具 Chef 和 Puppet。

选用安顿管理工科具,必要编写制定代码来叙述希望怎么着设置和计划体系的部分组件。在服务器上推行代码的时候,它应有在优异状态下得了运营。使用那种工具的好处是对要布局的对象提供了跨平台的架空,比如抽象掉一部分种种不相同的操作系统在处理类似包管理这样的法力时所推动的例外,让用户超越61%岁月只需跟这个抽象的财富打交道,而不用关爱具体落实。

举个例证,假使你想安装 libxml2,可以用 Chef
写贰个代码块,抽象掉分化的发行版之间的差距。从而在 libxml2
包存在的别的省方实行那么些相同的 Chef 代码时,它都会健康运作,不论是
Ubuntu、CentOS 也许 Fedora。

package “libxml2” do
action :install
done

但也有局地开发者认为跟使用容器比起来,使用安顿管理工具复杂且不难出错。Chef
有一种集成方案,允许行使 Chef cookbook 和 recipe 构建 Docker
镜像以及管理如何把容器布置到服务器上。在蒙受不可能很好地与容器包容的相比较古老的软件时,管理和自行安装它们的唯一方法是使用布署水管道理。

3.服务平台 Stackshare

StackShare
开发者服务平台是叁个转业于开发职员所利用的开发工具和付出服务,发现和享受优质财富的网站,援救开发者使用最便利的开发工具和最简便易行的劳务。该网站建立于2012年,以前只是当作2个扶植项目,后来趁着开发者和工程师们的不止分享,汇集了大气的上品工具。

图片 4

Stackshare 对 Devops 有温馨的意见,认为 DevOps
首要分两块:一块是监察和控制,通过监督方案极快发现难点,显明到底是 Dev
的职分,还是 Ops 的职务,并且相当的慢做出反应;另一块是 Build Test
Deploy,正是迅速的测试、布置等等。

工欲善其事,必先利其器。使用优质的开发工具和劳务,能小幅地赞助协会提升成效,尤其是财富和基金可能并不那么丰富的中型小型型创业公司。

4.监察和控制产品 Cloud Insight

Web Scale
须求公司持有广大台机械的乘除能力,那就需求保障机器数量和复杂度,不然难以满足今后的急需。在机械数量增多,复杂度变高的意况下,须求少数工程师来运维大量机械,能够对广大集群和云平台实行监察产品出现。而国内大部分存世的督查产品不能批量安装探针,无法对数码进行联谊,Cloud
Insight 却能够不辱义务这或多或少。

图片 5

那是 Cloud Insight
对平台监察和控制的拓扑图,从图中得以看来哪一部分服务器负荷过重,也能够锁定实时质量不好的服务器,进行主要关怀,查看详细品质。

Cloud Insight 接纳 StatsD 的采访技能,对接 MySQL、Redis、MongoDB,以及
CentOS、RedHat 操作系统,利用 Hbase 存款和储蓄和 OpenTSDB
的多寡聚合、切片等成效,使数码最后流向 Cloud Insight
举办展现,来监督日益复杂的基础设备架构。

5.版本工具 GitLab

Gitlab 是二个选用 Ro奇骏 开发的开源代码托管平台,能够因而 Web
界面访问公开或亲信项目,能使人们能进行及时的代码同盟,并且其代码日志是在地面包车型客车,能够天天查阅。因为对高可用性的重视,GitLab
提供了2个安居的设置,即便在3个平素不专门措施的服务器上也能应用。而由于分布式的自然特性,即便GitLab 无法利用,Git 使用者也仍可以够交给代码。常用的源码的本子工具还有
SVN。

图片 6

装有界面友好,对工程权限管理有利于,有 issues 效能并支持 wiki 等优点的
GitLab,除了肯定地 social 成分,该有的 CI 整合和 REST API
一个也不缺。也可由 merge request 方式来达成 code
review。功能相比完美,而且各样平台都有相应的支撑,很多集体曾经稳步由 SVN
移到 GitLab 上来。

6.测试工具 JMeter

图片 7

Apache JMeter 是 Apache 组织开发的基于 Java 的压力测试工具。相比较其他HTTP 测试工具, JMeter 最重点的风味在于扩充性强。JMeter
是免费的,开放源码软件,拥有简单直观的图形用户界面,独立于阳台,也可用于执行应用程序自动化测试和职能测试。

类型上线之后或者汇合对巨大的吞吐量,在这样的条件下或者出现形形色色的性质难点,而那都以低吞吐量时不知所措察觉的。因此,在上线在此以前做好压力测试是一件13分须求的事。

JMeter 在性质测试工具中相比较流行,同类产品有 LoadRunner, 部分开发者认为
JMeter 的结果分析没有 LoadRunner 详细,但它的亮点也有无数:

  • 开源。
  • 独具匠心,不须求设置,但须求 JDK 环境,因为它是行使 java 开发的工具。
  • 效果完善,JMeter 设计之初只是三个大概的 web
    品质测试工具,但由此不段的更新扩张,将来能够完结数据库、FTP、LDAP、WebService等地点的测试。

技能站点

  • 在线学习:CourseraedXUdacityMIT公开课MOOC学院
  • Hacker News:非常的厉害的指向编制程序的链接聚合网站
  • Techmeme:U.S.A.深入人心科技(science and technology)信息和博客聚集网站,类似的还有(Panda, 哈克er
    & Designer News)
  • Programming reddit:同上
  • Java牛人必备:Program Creek
  • stackoverflow:IT技术问答网站
  • GitHub:满世界最大的源代码管理平台,很多资深开源项目都在地点,如Linux内核,OpenStack等
  • LeetCode:来做做这一个题吗,看看本身的算法水平怎么着?那可比什么面试宝典强多了。
  • Kaggle,Topcoder: 机器学习、大数据竞技
  • 掘金:高品质的技能社区
  • 开发者头条
  • InfoQ:公司级应用,关心软件开发领域
  • V2EX: way to explore
  • 国内著名技术社区:OSChina、腾讯网、CSDN、51CTO
  • 免费的it电子书:http://it-ebooks.info/
  • 在线学习:http://www.udemy.com/
  • 优等学习能源:http://plus.mojiax.com/
  • 代码演练:http://exercism.io/ and https://www.codingame.com
  • DevStore:开发者服务集团
  • MSDN:微软有关的官方技术集中地,主要是文书档案类

总结

向 Web-scale IT 的变换意味着与 IT
界守旧办法的一点一滴违背,那将是三个伟人的变型。Web-scale IT 需求 IT
专业人士用比原先更快的进程安排并实用管理大型基础架构。随着商用硬件、开源软件、本土壤化学供应和管理软件的向上,规模化管理基础架构变得尤为困难,基础架构亦变得尤为复杂。怎样才能够在
Web Scale IT 大潮中分一杯羹?

此时此刻技能的财富都在接近 Instagram、Google那样的大型网络企业,相对来说古板公司,是比较落后的。但就是,更加多的开源技术和成品在试图扶助大家化解那几个难点。根据系统布局和基础设备的供给,借力于云平台和别的DevOps 工具,将援救集团紧跟变革的脚步,取得更快的前进。

Cloud
Insight

集监察和控制、管理、总计、合作、可视化于寥寥,援助全数 IT
公司,减弱在系统监察和控制上的人工和时间资金财产投入,让运维工作愈发高效、简单。本文出自
OneAPM
工程师,想阅读越多技术小说,请访问 OneAPM
法定技术博客

本文转自 OneAPM 官方博客

一定要看书籍

  • SICP(Structure and Interpretation of Computer
    Programs
    )
  • 深入精通总结机系列
  • 代码大全2
  • 人件
  • 人月神话
  • 软件杂谈录
  • 算法导论(哈佛高校出版社)
  • 离线数学及其使用
  • 设计形式
  • 编制程序之美
  • 黑客与美术师
  • 编制程序珠玑
  • The Little Schemer
  • Simply Scheme_Introducing_Computer_Science
  • C++ Prime
  • Effective C++
  • TCP/IP详解
  • Unix 编制程序艺术
  • 技能的本色
  • 软件散文录
  • 总结机程序设计艺术
  • 职业篇:程序员的自个儿修养,程序员修炼之道,高作用程序员的修炼
  • 《精神分析引论》Freud
  • 《失控》《科技(science and technology)想要什么》《技术因素》凯文Kelly
  • 先后支付心法学
  • 领域一沙鸥
  • 解决:无压力工作的方法

大牛博客

GitHub篇

** Awesome **

** 书籍资料 **

** 卓绝项目 **

** 前端 & Node.js **

** 工作,工具 **

工具篇

阳台工具

  • Phabricator:
    软件开发平台,照片墙出品,现已开源,CodeReview神器(从这几个往下直接到GitLab之间的工具全都能够忽略了)
  • Redmine/Trac:项目管理平台
  • Jenkins/Jira(非开源):持续集成系统(Apache
    Continuum,这些是Apache下的CI系统,还没来得及商量)
  • git,svn:源代码版本控制系统
  • GitLab/Gitorious:创设和谐的GitHub服务器
  • Postman:RESTful,api测试工具,HTTP接口开发必备神器
  • Sonar:代码质管平台
  • Nessus: 系统漏洞扫描器
  • gitbook:https://www.gitbook.io/写书的好东西,当然用来写文书档案也很不错的(发现众多出品的文书档案正是用的它)
  • Travis-ci:开源项目持续集成必备,和GitHub相结合,https://travis-ci.org/
  • Trello:简单飞快的档次管理平台,重视看板管理
  • 日记聚合:graylog、ELK(推荐新一代的graylog,基本上算作是开源的Splunk了)
  • 开源测试工具、社区(Selenium、OpenQA.org)
  • Puppet:三个机动管理引擎,能够适用于Linux、Unix以及Windows平台。所谓配置管理种类,就是治本机器内部诸如文件、用户、进度、软件包那几个能源。无论是管理1台,还是上万台机械Puppet都能轻轻松松消除。其余类似工具:CFEngine、SaltStack、Ansible
  • Nagios:系统状态监察和控制告警,还有个Icinga(完全协作nagios全体的插件,工作原理,配置文件以及艺术,差不离一样。配置简单,功用强大)
  • Ganglia:分布式监察和控制种类
  • fleet:分布式init系统
  • Ansible:能够大大简化Unix管理员的自动化配置管理与流程序控制制方法。
  • GeoLite免费数据库
  • jsHint:js代码验证工具
  • haproxy: 高可用负载均衡(别的类似的类别还有nginx,lvs)
  • linux OS品质分析工具:dstat,iostat,iotop,nmon
  • kimono:将网页音信变换为api接口的工具
  • 集群众管理理工科具:pdsh,ClusterSSH,mussh(可以用它非常快管理Hadoop集群)ipa-server做统一的辨证管理
  • influxdb: 分布式时序数据库,结合Grafana能够进行实时数据解析
  • dot: 程序员绘图利器(是种语言,也是个工具)
  • Graph::Easy: (Ascii
    Art工具)字符流程图绘制,实乃程序员装逼神器。别的类似的工具Asciiflow,
    vi插件:drawit!
  • spf13-vim: 让你的vim飞起来!
  • Kubernetes: 容器集群众管理理种类
  • Gatling: 服务器质量压力测试工具
  • systemtap: Linux内核探测工具、内核调节和测试神器
  • Cygwin:Windows下的类UNIX模拟条件
  • MinGW:Windows下的GNU工具集

常用工具

  • Mac下的神兵利器
  • asciinema: 终端录屏神器
  • Fiddler:格外好用的Web前端调节和测试工具,当然是指向底层http协议的,一般景色选用Chrome等自带的调节和测试工具也丰盛了,特殊情形还得用它去处理
  • 查理: Mac上的Web代理调节和测试工具,类似Fiddler
  • wireshark:有名的互连网数据包分析工具
  • PowerCmd:替代Windows Cmd的利器
  • RegexBuddy:强大的正则表明式测试工具
  • Soure Insight:源代码阅读神器
  • SublimeText:程序员最爱的编辑器
  • Database.NET:1个通用的关系型数据库客户端,基于.NET
    4.0支出的,做简单的处理也许蛮方便的
  • Navicat Premium:支持MySql、PostgreSQL、Oracle、Sqlite和SQL
    Server的客户端,通用性上不如Database.NET,但品质方面比Database.NET好过多,自带备份功用也用于数据库定时备份。
  • Synergy : 局域网内一套键盘鼠标控制多台微型总括机
  • DameWare:远程帮衬理工科程师具集(作者在商店紧要决定大荧屏用)
  • Radmin:
    远程控制工具,用了一段时间的DameWare,还要破解,对Win7扶助的倒霉,照旧发现那个好用
  • Listary:能极大幅升高你 Windows
    文件浏览与追寻速度效用的「一流神器」
  • Clover:给能源管理器加上多标签,作者经常工作的时候就用它,像Chrome一样选择能源管理器,甚是方便啊(那是Windows平台的)
  • WinLaunch:模拟Mac OS的Launch工具
  • Fritzing:绘制电路图
  • LICEcap:gif教程制作
  • git,svn:版本控制系统
  • Enigma Virtual Box(将exe,dll等封装成三个可执行程序)
  • Open DBDiff(针对SqlServer)数据库同步
  • SymmetricDS:数据库同步
  • BIEE,Infomatica,SPSS,weka,奥迪Q5语言:数据解析
  • CodeSmith,LightSwitch:代码生成
  • Pandoc:马克down转换工具,出书用的。以前玩过docbook,但是以后照旧马克down盛行啊。
  • Window
    Magnet[Mac]:增强Mac窗口管理职能,想Win7一样具有窗口拖放到显示器边缘自动调整的效益
  • log explorer:查看SqlServer日志
  • dependency walker:查询Windows应用程序dll信赖项
  • Shairport4w:将黑莓,平板电脑,iPod上的音频通过AirPlay商量传输到PC上
  • ngrok:内网穿透工具
  • Axure:神速原型制作工具,还有个在线作图的工具国内的一个创业共青团和少先队做的,用着很不错http://www.processon.com/
  • Origami: 次千古交互设计神器
  • 百度脑图:http://naotu.baidu.com/
  • tinyproxy:(Linux)小型的代理服务器辅助http和https协议
  • EaseUS Partition
    Master:一流不难的分区域地质调查整工具,速度依然蛮快的,C盘不够用了就用它从D盘划点空间吧,不用重装系统这么折腾哦。
  • CheatEngine:玩游戏修改内部存款和储蓄器值必备神器(记得自身在玩轩辕剑6的时候就用的它,一流福利啊)
  • ApkIDE:Android反编写翻译神器
  • 翻、墙工具(自|由|门、天行浏览器,免费的VPN:http://www.mangovpn.com/),发现最便宜还属Lantern,免开销起来一流福利(更新于二零一六-08-22)
  • 设计工具:Sketch、Omni御木本le
  • MindManger:思维导图
  • MagicDraw:Uml图工具
  • innotop:MySql状态监测工具
  • 墨刀:比Axure更为简易的原型工具,能够高速创建原型
  • Karabiner: Mac专用,修改键盘键位的神器,多功能键盘必备
  • Timing:Mac专用,总括你的岁月都花在哪了
  • f.lux: 护眼神器,过滤蓝光,程序员护眼必备良品
  • LaTeX: 基于ΤΕΧ的排版系统, 让写杂谈更便宜
  • Antlr:开源的语法分析器,可以让您绝不压力的写个小parser

其三方服务

  • DnsPod:贰个毋庸置疑的只可以DNS服务解析提供商
  • DigitalOcean:国外的云主机提供商,价格便宜,磁盘是SSD的,用过一段时间全体上还足以,然而到底是国外的,网速相比慢。国内的正是Ali云了。还有个比较显赫的是:Linode,据悉速度上比DigitalOcean好广大
  • 移动端推送服务:个推、JPush、云巴
  • LeanCloud:移动应用开发服务,包蕴:数据存款和储蓄、用户管理、新闻推送、应用总括、社交分享、实时聊天等劳动
  • Color Hunt:
    赏心悦目炫酷的配色网站,程序员的教义
  • Heroku: PaaS平台

爬虫相关(好玩的工具)

  • Phantomjs(Web自动化测试,服务端渲染等)
  • berserkJS(基于Phantomjs的改正版本)
  • SlimerJS
  • CasperJS
  • selenium
  • HtmlUnit(开源的java 页面分析工具,也是个Headless的浏览器)

平安唇齿相依

  • sql注入检查和测试:sqlmap、haviji
  • 端口扫描:nmap
  • 渗透测试:BurpLoader
  • sqltools: sql漏洞使用工具
  • snort: 入侵检查和测试

Web服务器质量/压力测试工具/负载均衡器

  • ab: ab是apache自带的一款功效强大的测试工具
  • curl-loader: 真实模拟、测试Web负载
  • http_load: 程序相当的小,解压后也不到100K
  • webbench:
    是Linux下的贰个网站压力测试工具,最多能够如法泡制3万个冒出连接去测试网站的负荷能力。
  • Siege:
    一款开源的下压力测试工具,能够依据配置对2个WEB站点举办多用户的面世访问,记录各种用户拥有请求进度的呼应时间,并在自然数额的产出国访问问下重新进行。
  • squid(前端缓存),nginx(负载),nodejs(没错它也能够,自身写点代码就能兑现高品质的负载均衡器):常用的负载均衡器
  • Piwik:开源网站访问量计算系统
  • ClickHeat:开源的网站点击情形热力图
  • HAProxy:高质量TCP /HTTP负载均衡器
  • ElasticSearch:搜索引擎基于Lucene
  • Page Speed SDK和YSLOW
  • HATucson Viewer: HAOdyssey分析工具
  • protractor:E2E(end to end)自动化测试工具

大数据处理/数据解析/分布式工具

  • Hadoop:分布式的文件系统,结合其MapReduce编制程序模型能够用来做海量数据的批处理(Hive,Pig,HBase啥的就隐瞒了),值得介绍的是Cloudera的Hadoop分支CDH5,基于YA奥迪Q7N
    MCR-Vv2集成了Spark可一向用来生产条件的Hadoop,对于店铺火速创设数据仓库11分管用。
  • Spark:大规模数据处理框架(能够应付公司中常见的二种多少处理场景:复杂的批量数码处理(batch
    data processing);基于历史数据的交互式查询(interactive
    query);基于实时数据流的多少处理(streaming data
    processing)),CSND有篇文章介绍的没错
  • 除去Spark,别的多少个科学的推断框架还有:Kylin,Flink,Drill
  • Ceph:Linux分布式文件系统(特点:无宗旨)
  • Storm:实时代洋气数据处理,能够看下IBM的一篇介绍
    (还有个Yahoo的S4,也是做流数据处理的)
  • Druid: 实时数据解析存储系统
  • Ambari: 大数额平台搭建、监察和控制利器;类似的还有CDH
  • Tachyon:分布式内部存款和储蓄器文件系统
  • Mesos:计算框架3个集群众管理理器,提供了卓有功能的、跨分布式应用或框架的财富隔绝和共享
  • Impala:新一代开源大数据解析引擎,提供Sql语义,比Hive强在速度上
  • presto: facebook的开源工具,大数额分布式sql查询引擎
  • SNAPPY:火速的数据压缩系统,适用于Hadoop生态系统中
  • Kafka:高吞吐量的分布式音讯队列系统
  • ActiveMQ:是Apache出品,最盛行的,能力强大的开源消息总线
  • MQTT:Message Queuing Telemetry
    Transport,消息队列遥测传输)是IBM开发的三个即时通信协议,有或者成为物联网的要害组成都部队分
  • RabbitMQ:记得OpenStack就是用的那个事物吧
  • ZeroMQ:宣称是将分布式总计变得更简便,是个分布式音讯队列,能够看下云风的一篇小说的介绍
  • 开源的日记收集种类:scribe、chukwa、kafka、flume。那有一篇比较小说
  • Zookeeper:可相信的分布式协调的开源项目
  • Databus:LinkedIn 实时低顺延数据抓取系统
  • 数据源获取:Flume、GoogleRefine、Needlebase、ScraperWiki、BloomReach
  • 连串化技术:JSON、BSON、Thrift、Avro、谷歌(Google) Protocol Buffers
  • NoSql:ScyllaDB(宣称是社会风气上最快的NoSql)、Apache
    Casandra、MongoDB、Apache
    CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort、Neo4j
  • MapReduce相关:Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum
  • 多少处理:LX570、Yahoo! Pipes、Mechanical Turk、Solr/
    Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop
  • NLP自然语言处理:Natural Language Toolkit、Apache
    OpenNLP、Boilerpipe、OpenCalais
  • 机械学习:TensorFlow(谷歌(Google)出品),WEKA、Mahout、scikits.learn、SkyTree
  • 可视化技术:GraphViz、Processing、Protovis、谷歌 Fusion
    Tables、Tableau、Highcharts、EChats(百度的还不易)、Raphaël.js
  • Kettle:开源的ETL工具
  • Pentaho:以工作流为主导的开源BI系统
  • Mondrian:开源的Rolap服务器
  • Oozie:开源hadoop的工作流调度引擎,类似的还有:Azkaban
  • 开源的数据解析可视化学工业具:Weka、Orange、KNIME
  • Cobar:Alibaba的MySql分布式中间件
  • 数据清洗:data wrangler, 谷歌 Refine

Web前端

  • Material Design: 谷歌(Google)出品,必属精品
  • Vue.js: 借鉴了Angular及React的JS框架,设计意见较为先进
  • GRUNT: js task runner
  • Sea.js: js模块化
  • knockout.js:MVVM开发前台,绑定技术
  • Angular.js: 使用超动感HTML & JS开发WEB应用!
  • Highcharts.js,Flot:常用的Web图表插件
  • NVD3: 基于d3.js的图表库
  • Raw:卓殊正确的一款高档数据可视化工具
  • Rickshaw:时序图标库,可用来营造实时图表
  • JavaScript InfoVis Toolkit:另一款Web数据可视化插件
  • Pdf.js,在html中展现pdf
  • ACE,CodeMirror:Html代码编辑器(ACE甚好啊)
  • NProcess:绚丽的加载进度条
  • impress.js:让您营造出令人眩指标始末呈现效果(类似的还有reveal)
  • Threejs:3DWeb库
  • Hightopo:基于Html5的2D、3D可视化UI库
  • jQuery.dataTables.js:中度灵活的报表插件
  • Raphaël:js,canvas绘图库,后来发现百度指数的图片正是用它绘出来的
  • director.js:js路由模块,前端路由,Nodejs后端路由等,适合布局单页应用
  • pace.js:页面加载进度条
  • bower:Web包管理器
  • jsnice:有趣的js反编写翻译工具,猜压缩后的变量名,http://www.jsnice.org/
  • D3.js: 是一个基于JavaScript数据展示库(类似的还有P5.js)
  • Zepto.js:移动端替代jQuery的东东,当然也能够利用jquery-mobile.
  • UI框架:Foundation,Boostrap,Pure,EasyUI,Polymer
  • 前段UI设计师必去的多少个网站:Dribbble,awwwards,unmatchedstyle,UIMaker
  • Mozilla 开发者中心:https://developer.mozilla.org/en-US/
  • 图标能源:IcoMoon(笔者的最爱),Font Awesome, Themify
    Icons,FreePik,Glyphicons
  • artDialog:格外优良的对话框
  • AdminLTE:github上的二个开源项目,基于Boostrap3的后台管理页面框架
  • Respond.js:让不懂爱的IE6-8支持响应式设计
  • require.js: js模块加载库
  • select2:比chosen具有越多特点的选拔框替代库
  • AngularUI:集成angular.js的UI库
  • normalize.css: 选用了现代化正规化让各浏览器渲染出的html保持一致的库
  • CreateJS:Html5娱乐引擎
  • Less,Compass:简化CSS开发
  • emojify.js:用于自动识别网页上的Emoji文字并将其出示为图像
  • simditor:二个正确的开源的html编辑器,简洁高效
  • Sencha: 基于html5的位移端支出框架
  • SuperScrollorama+Tween马克斯+skrollr:创设超酷的视差滚动效应网页动画
  • jquery-smooth-scroll:同上,平滑滚动插件
  • Animate.css:完成了各个卡通效果的css库
  • Emmet:前端工程师必备,ZenCode的前身
  • React: facebook出品的js UI库
  • highlight.js:专门用来做语法高亮的库
  • GoJS: Html5交互式图表库,看demo更契合层次结构的图片。
  • 10 Pure CSS (Mostly) Flat Mobile
    Devices: http://marvelapp.github.io/devices.css/
  • CodePen: http://codepen.io/
  • jsfiddle: http://jsfiddle.net/ 前端js,html,css测试利器

语言篇

折腾中:Scala、Python、Lua、JavaScript、Go

待折腾:

Scala

Java

  • 常用的IDE:速龙liJ IDEA(强烈推荐),Eclipse,Netbeans
  • fastutil: 品质更好的Java集合框架
  • Guava: 谷歌(谷歌(Google))的Java工具包,应用广泛
  • Curator:Netflix公司开源的2个Zookeeper client
    library,用于简化Zookeeper客户端编程,未来曾经是apache下的三个独立项目了。斯Parker的HA也用的那货。
  • CRUISERx(Reactive Extensions)框架:Vert.x, RxJava(Android中用的比较多),
    Quasar
  • FindBugs: 代码静态分析工具,找出代码缺陷
  • Java反编写翻译工具:Luyten,JD-Gui
  • Drools: 规则引擎
  • Jersey: Java RESTful 框架
  • canal: 阿里Baba(Alibaba)产品,binlog增量订阅&消费组件
  • Web开发有关:汤姆cat、Resin、Jetty、WebLogic等,常用的组件Struts,Spring,Hibernate
  • Netty:
    异步事件驱动网络使用编制程序框架,用于高并发网络编程相比较好(NIO框架,spark
    1.2.0就用netty替代了nio)
  • MINA:不难地付出高质量和高可相信性的网络应用程序(也是个NIO框架),不少手游服务端是用它开发的
  • jOOQ:java Orm框架
  • Janino: 一流小又快的Java编写翻译器,斯Parker的Tungsten引起用的它
  • Activiti:工作流引擎,类似的还有jBPM、Snaker
  • Perfuse:是二个用户界面包用来把有组织与无组织数据以全数交互性的可视化图形呈现出来.
  • Gephi:复杂互连网分析软件,
    其利害攸关用以种种网络和复杂性系统,动态和分层图的相互可视化与探测开源工具
  • Nutch:著名的爬虫项目,hadoop就是从这些类型中迈入出来的
  • web-harvest:Web数据提取工具
  • POM工具:Maven+Artifactory
  • Akka:一款基于actor模型完成的 并发处理框架
  • Ecl艾玛:覆盖测试工具
  • Shiro:安全框架
  • joda-time:简化时间拍卖
  • parboiled:表明式解析
  • dozer: 深拷贝神器
  • dubbo: 阿里Baba(Alibaba)产品的分布式服务框架
  • jackson databind: json系列化工具(fastjson,simplejson)
  • Atomikos: 分布式事务管理
  • BoneCP:质量非常的赞的数据库连接池组件,听他们说比c3p0快好多
  • ProGuard: obconfuscation tool, 强大的混淆工具
  • S-99:Scala相关的99个问题

Python

  • PyCharm:最佳Python IDE
  • 埃里克,Eclipse+pydev,相比不错的Python IDE
  • PyWin:Win32 api编程包
  • numpy:科学计算包,主要用以处理大型矩阵总计等,其它还有SciPy,Matplotlib
  • GUI相关:PyQt,PyQwt
  • supervisor:进程监察和控制工具
  • PyGame: 基于Python的多媒体开发和游戏软件开发模块
  • Web框架: Django 开源web开发框架,它鞭策急忙支付,并根据MVC设计

Swift

客户端

Framework

小工具

游戏

.NET

  • Xilium.CefGlue:基于CEF框架的.NET封装,基于.NET开发Chrome内核浏览器
  • CefSharp:同上,有一款WebKit的封装,C#和Js交互会更简便易行
  • netz:免费的 .NET 可执行文件压缩工具
  • 斯玛特Assembly:变态的.net代码优化混淆工具
  • NETDeob0:.net反混淆工具,真是魔高级中学一年级尺道高级中学一年级丈啊(还有个de4dot,在GitHub上,都是开源的)
  • ILMerge:将享有引用的DLL和exe文件打成2个exe文件
  • ILSpy:开源.net程序反编写翻译工具
  • Javascript.NET:很不利的js执行引擎,对v8做了打包
  • NPOI: Excel操作
  • DotRAS:远程访问服务的模块
  • WinHtmlEditor: Winform下的html编辑器
  • SmartThreadPool:使用C#兑现的,带高级个性的线程池
  • Snoop: WPF Spy Utility
  • Autofac: 轻量级IoC框架
  • HtmlAgilityPack:Html解析利器
  • Quartz.NET:Job调度
  • HttpLib:@CodePlex,简化http请求
  • SuperSocket:简化Socket操作,基于他的还有个SuperWebSocket,能够支付独立的WebSocket服务器了
  • DocX:未安装Office的情况下操作Word文件
  • Dapper:轻量级的ORAV4M类,品质不错
  • 哈勃勒DotNet:协助过渡数据库的全文检索系统
  • fastJSON:@CodeProject,高品质的json种类化类
  • ZXing.NET:@CodePlex,Q途睿欧,条形码相关
  • 南希:轻量级Http服务器,做个袖珍的Web应用能够解脱IIS喽(Nancy.Viewengines.Razor,能够加入Razor引擎)
  • AntiXSS:微软的XSS防御库Microsoft Web Protection Library
  • Jint:JavaScript解释器
  • CS-Script:将C#代码文件作为脚本执行
  • Jexus:Linux下 高性能、易用、免费的ASP.NET服务器
  • 克莱奇:将dynamic发挥的尤为灵敏,像写js一样写C#
  • DynamicJSON:不必定义数据模型获取json数据
  • SharpPcap:C#版的WinPcap调用端,牛逼的互连网包分析库(自带PacketNotNet用于中国包装技协议分析)
  • Roslyn:C#,VB编译器
  • ImageResizer:
    服务端自由支配图片大小,真乃神器也,对手提式有线电话机端传小图,PC端传大图,CMS用它很有益
  • UI相关:DevExpress, Fluent(Office 07风格), mui(Modern UI for WPF)
  • Net斯Parkerle:应用自动更新组件
  • ConfuserEx: 开源.net混淆工具
  • ServiceStack: 开源高性能Web服务框架,可用于营造高性能的REST服务
  • Expression Evaluator:Eval for C#,处理字符串表明式
  • http://nugetmusthaves.com/
  • Reactive Extensions (Escortx):异步,事件驱动编制程序包, 大切诺基x = Observables +
    LINQ + Schedulers

C & C++

  • Thrift:用来开始展览可扩展且跨语言的劳务的成本(类似的还有个Avro,谷歌protobuf)。
  • libevent:是2个轩然大波触发的网络库,适用于windows、linux、bsd等两种阳台,内部使用select、epoll、kqueue等种类调用管管事人件机制。(对了还有个libev呢)
  • Boost:不多说了,准C++标准库
  • Valgrind\Ptmalloc\Purify: 调节和测试工具
  • NetworkServer架构:acceptor->dispatcher->worker(这么些不算工具哦)
  • breakpad:崩溃转储和分析模块,很多crashreport会用到
  • UI界面相关:MFC、BCG和QT这类的就隐瞒了,高端一点的还有Html和DirectUI技术:libcef(基于chrome内核的,想想使用html5花费页面,还真有点小震动啊)、HtmlLayout、Duilib、Bolt,非C++的,还有node-webkit也合情合理,集成了node和webkit内核。

其他

玩耍开发有关

  • MINA:使用Java开发手游和页游服务器(对了还有Netty,也很猛的,都以依照NIO的)
  • HP-Socket:见有微微页游服务器使用这一个营造的
  • Unreal: 虚幻引擎,C++,基于这几个引擎的游玩很多
  • OGRE:人所共知的3D图形渲染引擎,天龙八部OL、火炬之光等居多游戏都用了这几个引擎
  • OpenVDB:梦工厂C++的特效库,开源的
  • cocos2d:跨平台2D戏耍引擎
  • unity3d:跨平台3D游戏引擎,非常流行的哦
  • Nodejs:也有比比皆是行使它来开发手游和也有服务器(乐乎的Pomelo)

日志聚合,分布式日志收集

  • Scribe:推文(Tweet)(TWT汉兰达.US)的(nodejs + scribe + inotify 同步日志)
  • logstash:强大的日记收集种类,可以依照logstash+kibana+elasticsearch+redis开发强大的日志分析平台
  • log.io: nodejs开发的实时日志收集种类

奥迪Q5TP,实时传输协议与音录制

  • RTP,RTCP,RTSP-> librtp,JRTPLIB(遵循了RFC1889标准)
  • 环形缓冲区,实时数据传输用
  • SDL,ffmpeg,live555,Speex
  • Red5:用Java开发开源的Flash流媒体服务器。它辅助:把拍子(VCD)和录制(FLV)转换到播放流;
    摄像客户端播放流(只帮忙FLV);共享对象;现场直播流揭橥;远程调用。

轶事看到好作品不引进的人,服务器不难宕机!
正文版权归翟士丹(Stan
Zhai)
博客园共有,欢迎转发,但未经我同意必须保留此段证明,且在小说页面明显地点给出原来的书文链接,不然保留追究法律义务的义务。

好东西不是随便采访下,发篇博文,骗些点赞的!积累了5年多的事物,是时候放出去跟大家见会见了。

莫不有些园友在14年的时候收藏过小编的一篇“工欲善其事、必先利其器”的博文,时隔3年,已经做了N多更新,那篇小说也已被作者删除,迁移至GitHub,重新展开管制。

那篇小说,大家能够引进、收藏,让越多的人在园内看到,让福利普照。

因为那篇作品,笔者之后不会更新。

但品种依旧会更新,所以,更好的做法是,请到GitHub上Star:be-a-professional-programmer

前言

改为一名正式程序员的征途上,必要坚韧不拔演练、学习与积淀,技术上边既要有肯定的广度,更要有和好的深浅。

笔者作为1人tool
mad,将工作来说用到的种种优质资料、神器及框架整理在此,究竟好记性不如烂键盘,此项目能够看做友好的经常之需。

笔者喜爱折腾,记录的东西也正如杂,各地方都会有部分,内容按首要性等级排序,大家各取所需。

此间的东西会没完没了累积下去,欢迎Star,也欢迎发PPRADO给本身。

目录

资料篇

技术站点

  • 在线学习:CourseraedXUdacityMIT公开课MOOC学院
  • 哈克er News:非常厉害的对准编制程序的链接聚合网站
  • Techmeme:美利哥盛名科技(science and technology)新闻和博客聚集网站,类似的还有(Panda, Hacker
    & Designer News)
  • Programming reddit:同上
  • Java牛人必备:Program Creek
  • stackoverflow:IT技术问答网站
  • GitHub:满世界最大的源代码管理平台,很多显赫开源项目都在上边,如Linux内核,OpenStack等
  • LeetCode:来做做这么些题吗,看看自个儿的算法水平怎么着?那可比怎么着面试宝典强多了。
  • Kaggle,Topcoder: 机器学习、大数量比赛
  • 掘金:高品质的技巧社区
  • 开发者头条
  • InfoQ:公司级应用,关心软件开发领域
  • V2EX: way to explore
  • 境内著名技术社区:OSChina、搜狐、CSDN、51CTO
  • 免费的it电子书:http://it-ebooks.info/
  • 在线学习:http://www.udemy.com/
  • 优质学习财富:http://plus.mojiax.com/
  • 代码演练:http://exercism.io/ and https://www.codingame.com
  • DevStore:开发者服务集团
  • MSDN:微软相关的合法技术集中地,首要是文书档案类

一定要看书籍

  • SICP(Structure and Interpretation of Computer
    Programs
    )
  • 深远领会放区救济总会结机体系
  • 代码大全2
  • 人件
  • 人月传说
  • 软件随想录
  • 算法导论(帝国理哲高校出版社)
  • 离线数学及其应用
  • 设计方式
  • 编制程序之美
  • 黑客与乐师
  • 编制程序珠玑
  • The Little Schemer
  • Simply Scheme_Introducing_Computer_Science
  • C++ Prime
  • Effective C++
  • TCP/IP详解
  • Unix 编程艺术
  • 技能的原形
  • 软件诗歌录
  • 微型计算机程序设计艺术
  • 职业篇:程序员的自个儿修养,程序员修炼之道,高功用程序员的修炼
  • 《精神分析引论》Freud
  • 《失控》《科学技术想要什么》《技术因素》凯文凯利
  • 先后支付心境学
  • 天地一沙鸥
  • 化解:无压力工作的措施

大牛博客

GitHub篇

** Awesome **

** 书籍资料 **

** 优良项目 **

** 前端 & Node.js **

** 工作,工具 **

工具篇

平台工具

  • Phabricator:
    软件开发平台,推特出品,现已开源,CodeReview神器(从这几个往下直接到GitLab之间的工具全都能够忽略了)
  • Redmine/Trac:项目管理平台
  • Jenkins/Jira(非开源):持续集成系统(Apache
    孔蒂nuum,这一个是Apache下的CI系统,还没来得及研商)
  • git,svn:源代码版本控制系统
  • GitLab/Gitorious:营造筑组织调的GitHub服务器
  • Postman:RESTful,api测试工具,HTTP接口开发必备神器
  • Sonar:代码质管平台
  • Nessus: 系统漏洞扫描器
  • gitbook:https://www.gitbook.io/写书的好东西,当然用来写文书档案也很正确的(发现许多产品的文书档案就是用的它)
  • Travis-ci:开源项目不断集成必备,和GitHub相结合,https://travis-ci.org/
  • Trello:不难高效的体系管理平台,重视看板管理
  • 日志聚合:graylog、ELK(推荐新一代的graylog,基本上算作是开源的Splunk了)
  • 开源测试工具、社区(Selenium、OpenQA.org)
  • Puppet:3个电动管理引擎,能够适用于Linux、Unix以及Windows平台。所谓配置管理类别,就是管理机器内部诸如文件、用户、进度、软件包那个资源。无论是管理1台,依旧上万台机械Puppet都能轻松消除。其余类似工具:CFEngine、SaltStack、Ansible
  • Nagios:系统状态监察和控制告警,还有个Icinga(完全匹配nagios全数的插件,工作规律,配置文件以及艺术,差不多一致。配置不难,功用强大)
  • Ganglia:分布式监察和控制系统
  • fleet:分布式init系统
  • Ansible:能够大大简化Unix管理员的自动化配置管理与流程控制措施。
  • GeoLite免费数据库
  • jsHint:js代码验证工具
  • haproxy: 高可用负载均衡(其它类似的体系还有nginx,lvs)
  • linux OS品质分析工具:dstat,iostat,iotop,nmon
  • kimono:将网页音讯变换为api接口的工具
  • 集群众管理理工科具:pdsh,ClusterSSH,mussh(可以用它一点也不慢管理Hadoop集群)ipa-server做统一的印证管理
  • influxdb: 分布式时序数据库,结合Grafana可以展开实时数据解析
  • dot: 程序员绘图利器(是种语言,也是个工具)
  • Graph::Easy: (Ascii
    Art工具)字符流程图绘制,实乃程序员装逼神器。别的类似的工具Asciiflow,
    vi插件:drawit!
  • spf13-vim: 让你的vim飞起来!
  • Kubernetes: 容器集群众管理理种类
  • Gatling: 服务器品质压力测试工具
  • systemtap: Linux内核探测工具、内核调节和测试神器
  • Cygwin:Windows下的类UNIX模拟条件
  • MinGW:Windows下的GNU工具集

常用工具

  • Mac下的神兵利器
  • asciinema: 终端录屏神器
  • Fiddler:10分好用的Web前端调节和测试工具,当然是对准底层http协议的,一般景观采纳Chrome等自带的调节和测试工具也丰富了,特殊意况还得用它去处理
  • Charles: Mac上的Web代理调节和测试工具,类似Fiddler
  • wireshark:有名的网络数据包分析工具
  • PowerCmd:替代Windows Cmd的利器
  • RegexBuddy:强大的正则表明式测试工具
  • Soure Insight:源代码阅读神器
  • SublimeText:程序员最爱的编辑器
  • Database.NET:一个通用的关系型数据库客户端,基于.NET
    4.0支出的,做简单的处理恐怕蛮方便的
  • Navicat Premium:辅助MySql、PostgreSQL、Oracle、Sqlite和SQL
    Server的客户端,通用性上不如Database.NET,但质量方面比Database.NET好过多,自带备份成效也用于数据库定时备份。
  • Synergy : 局域网内一套键盘鼠标控制多台微型总计机
  • DameWare:远程扶助理工科程师具集(小编在店铺重大决定大显示器用)
  • Radmin:
    远程序控制制工具,用了一段时间的DameWare,还要破解,对Win7帮衬的不得了,照旧发现那几个好用
  • Listary:能极小幅提升你 Windows
    文件浏览与追寻速度功能的「一流神器」
  • Clover:给能源管理器加上多标签,作者常常工作的时候就用它,像Chrome一样采用财富管理器,甚是方便啊(那是Windows平台的)
  • WinLaunch:模拟Mac OS的Launch工具
  • Fritzing:绘制电路图
  • LICEcap:gif教程制作
  • git,svn:版本控制系统
  • Enigma Virtual Box(将exe,dll等封装成三个可执行程序)
  • Open DBDiff(针对SqlServer)数据库同步
  • SymmetricDS:数据库同步
  • BIEE,Infomatica,SPSS,weka,冠道语言:数据解析
  • CodeSmith,LightSwitch:代码生成
  • Pandoc:马克down转换工具,出书用的。在此以前玩过docbook,不过今后依然马克down盛行啊。
  • Window
    Magnet[Mac]:增强Mac窗口管理成效,想Win7一样具有窗口拖放到荧屏边缘自动调整的作用
  • log explorer:查看SqlServer日志
  • dependency walker:查询Windows应用程序dll信赖项
  • Shairport4w:将红米,苹果平板,iPod上的音频通过AirPlay共同商议传输到PC上
  • ngrok:内网穿透工具
  • Axure:快捷原型制作工具,还有个在线作图的工具国内的一个创业团队做的,用着很不利http://www.processon.com/
  • Origami: 次永恒交互设计神器
  • 百度脑图:http://naotu.baidu.com/
  • tinyproxy:(Linux)小型的代理服务器扶助http和https协议
  • EaseUS Partition
    Master:超级简单的分区域地质调查整工具,速度照旧蛮快的,C盘不够用了就用它从D盘划点空间啊,不用重装系统这么折腾哦。
  • CheatEngine:玩游戏修改内部存款和储蓄器值必备神器(记得作者在玩轩辕剑6的时候就用的它,一流福利呢)
  • ApkIDE:Android反编写翻译神器
  • 翻、墙工具(自|由|门、天行浏览器,免费的VPN:http://www.mangovpn.com/),发现最方便还属Lantern,免成本起来一流福利(更新于二零一六-08-22)
  • 统筹工具:Sketch、OmniGeorgjensenle
  • MindManger:思维导图
  • MagicDraw:Uml图工具
  • innotop:MySql状态监测工具
  • 墨刀:比Axure更为简易的原型工具,能够火速创造原型
  • Karabiner: Mac专用,修改键盘键位的神器,多功能键盘必备
  • Timing:Mac专用,计算你的年美利坚合众国的首都花在哪了
  • f.lux: 护眼神器,过滤蓝光,程序员护眼必备良品
  • LaTeX: 基于ΤΕΧ的排版系统, 让写随想更有利于
  • Antlr:开源的语法分析器,能够让您不要压力的写个小parser

其三方服务

  • DnsPod:贰个不易的只好DNS服务解析提供商
  • DigitalOcean:国外的云主机提供商,价格便宜,磁盘是SSD的,用过一段时间全体上还足以,可是到底是异域的,网速比较慢。国内的就是Ali云了。还有个相比知名的是:Linode,据他们说速度上比DigitalOcean好广大
  • 活动端推送服务:个推、JPush、云巴
  • LeanCloud:移动使用开发服务,包蕴:数据存款和储蓄、用户管理、音信推送、应用计算、社交分享、实时聊天等劳务
  • Color Hunt:
    美丽炫酷的配色网站,程序员的福音
  • Heroku: PaaS平台

爬虫相关(好玩的工具)

  • Phantomjs(Web自动化测试,服务端渲染等)
  • berserkJS(基于Phantomjs的改正版本)
  • SlimerJS
  • CasperJS
  • selenium
  • HtmlUnit(开源的java 页面分析工具,也是个Headless的浏览器)

康宁有关

  • sql注入检查和测试:sqlmap、haviji
  • 端口扫描:nmap
  • 渗透测试:BurpLoader
  • sqltools: sql漏洞使用工具
  • snort: 凌犯检查和测试

Web服务器质量/压力测试工具/负载均衡器

  • ab: ab是apache自带的一款作用强大的测试工具
  • curl-loader: 真实模拟、测试Web负载
  • http_load: 程序一点都相当的小,解压后也不到100K
  • webbench:
    是Linux下的贰个网站压力测试工具,最多能够效仿3万个冒出连接去测试网站的负载能力。
  • Siege:
    一款开源的压力测试工具,能够依照安顿对三个WEB站点进行多用户的面世访问,记录种种用户全数请求进度的对应时间,并在早晚数量的产出国访问问下再也进行。
  • squid(前端缓存),nginx(负载),nodejs(没错它也得以,本身写点代码就能落到实处高质量的载重均衡器):常用的载重均衡器
  • Piwik:开源网站访问量总括系统
  • ClickHeat:开源的网站点击情形热力图
  • HAProxy:高品质TCP /HTTP负载均衡器
  • ElasticSearch:搜索引擎基于Lucene
  • Page Speed SDK和YSLOW
  • HALX570 Viewer: HASportage分析工具
  • protractor:E2E(end to end)自动化测试工具

大数目处理/数据解析/分布式工具

  • Hadoop:分布式的文件系统,结合其MapReduce编制程序模型能够用来做海量数据的批处理(Hive,Pig,HBase啥的就隐瞒了),值得介绍的是Cloudera的Hadoop分支CDH5,基于YAEvoqueN
    MWranglerv2集成了斯Parker可径直用来生产条件的Hadoop,对于集团急忙营造数据仓库卓殊管用。
  • Spark:大规模数据处理框架(能够应付集团中普遍的两种多少处理场景:复杂的批量数目处理(batch
    data processing);基于历史数据的交互式查询(interactive
    query);基于实时数据流的数目处理(streaming data
    processing)),CSND有篇小说介绍的科学
  • 而外Spark,别的多少个科学的估测计算框架还有:Kylin,Flink,Drill
  • Ceph:Linux分布式文件系统(特点:无主题)
  • Storm:实时代时髦数据处理,能够看下IBM的一篇介绍
    (还有个Yahoo的S4,也是做流数据处理的)
  • Druid: 实时数据解析存款和储蓄系统
  • Ambari: 大数额平台搭建、监察和控制利器;类似的还有CDH
  • 塔赫yon:分布式内部存款和储蓄器文件系统
  • Mesos:总计框架三个集群众管理理器,提供了实用的、跨分布式应用或框架的财富隔断和共享
  • Impala:新一代开源大数据解析引擎,提供Sql语义,比Hive强在速度上
  • presto: facebook的开源工具,大数据分布式sql查询引擎
  • SNAPPY:连忙的数据压缩系统,适用于Hadoop生态系统中
  • 卡夫卡:高吞吐量的分布式新闻队列系统
  • ActiveMQ:是Apache出品,最盛行的,能力强大的开源音信总线
  • MQTT:Message Queuing Telemetry
    Transport,音讯队列遥测传输)是IBM开发的二个即时通信协议,有恐怕成为物联网的显要组成都部队分
  • RabbitMQ:记得OpenStack正是用的这么些事物啊
  • ZeroMQ:宣称是将分布式计算变得更简便,是个分布式音讯队列,能够看下云风的一篇小说的牵线
  • 开源的日记收集连串:scribe、chukwa、kafka、flume。那有一篇相比文章
  • Zookeeper:可信的分布式协调的开源项目
  • Databus:LinkedIn 实时低顺延数据抓取系统
  • 数据源获取:Flume、谷歌(Google)Refine、Needlebase、ScraperWiki、BloomReach
  • 类别化技术:JSON、BSON、Thrift、Avro、谷歌 Protocol Buffers
  • NoSql:ScyllaDB(宣称是社会风气上最快的NoSql)、Apache
    Casandra、MongoDB、Apache
    CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort、Neo4j
  • MapReduce相关:Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum
  • 数据处理:奥迪Q7、Yahoo! Pipes、Mechanical Turk、Solr/
    Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop
  • NLP自然语言处理:Natural Language Toolkit、Apache
    OpenNLP、Boilerpipe、OpenCalais
  • 机械学习:TensorFlow(谷歌(Google)出品),WEKA、Mahout、scikits.learn、SkyTree
  • 可视化技术:GraphViz、Processing、Protovis、谷歌 Fusion
    Tables、Tableau、Highcharts、EChats(百度的还可以)、Raphaël.js
  • Kettle:开源的ETL工具
  • Pentaho:以工作流为着力的开源BI系统
  • Mondrian:开源的Rolap服务器
  • Oozie:开源hadoop的工作流动调查度引擎,类似的还有:Azkaban
  • 开源的多少解析可视化学工业具:Weka、Orange、KNIME
  • Cobar:阿里Baba(Alibaba)的MySql分布式中间件
  • 数量清洗:data wrangler, 谷歌(Google) Refine

Web前端

  • Material Design: 谷歌出品,必属精品
  • Vue.js: 借鉴了Angular及React的JS框架,设计理念较为先进
  • GRUNT: js task runner
  • Sea.js: js模块化
  • knockout.js:MVVM开发前台,绑定技术
  • Angular.js: 使用超动感HTML & JS开发WEB应用!
  • Highcharts.js,Flot:常用的Web图表插件
  • NVD3: 基于d3.js的图表库
  • Raw:非凡不易的一款高档数据可视化学工业具
  • 里克斯haw:时序图标库,可用以构建实时图表
  • JavaScript InfoVis Toolkit:另一款Web数据可视化插件
  • Pdf.js,在html中展现pdf
  • ACE,CodeMirror:Html代码编辑器(ACE甚好啊)
  • NProcess:绚丽的加载进程条
  • impress.js:让你制作出让人眩目标内容展现效果(类似的还有reveal)
  • Threejs:3DWeb库
  • Hightopo:基于Html5的2D、3D可视化UI库
  • jQuery.dataTables.js:高度灵活的表格插件
  • Raphaël:js,canvas绘图库,后来意识百度指数的图纸正是用它绘出来的
  • director.js:js路由模块,前端路由,Nodejs后端路由等,适合布局单页应用
  • pace.js:页面加载进程条
  • bower:Web包管理器
  • jsnice:有趣的js反编写翻译工具,猜压缩后的变量名,http://www.jsnice.org/
  • D3.js: 是3个基于JavaScript数据体现库(类似的还有P5.js)
  • Zepto.js:移动端替代jQuery的东东,当然也能够选拔jquery-mobile.
  • UI框架:Foundation,Boostrap,Pure,EasyUI,Polymer
  • 前段UI设计师必去的多少个网站:Dribbble,awwwards,unmatchedstyle,UIMaker
  • Mozilla 开发者大旨:https://developer.mozilla.org/en-US/
  • 图标财富:IcoMoon(小编的最爱),Font Awesome, Themify
    Icons,FreePik,Glyphicons
  • artDialog:十分特出的对话框
  • AdminLTE:github上的二个开源项目,基于Boostrap3的后台管理页面框架
  • Respond.js:让不懂爱的IE6-8支撑响应式设计
  • require.js: js模块加载库
  • select2:比chosen具有越多特点的挑选框替代库
  • AngularUI:集成angular.js的UI库
  • normalize.css: 采纳了现代化正规化让各浏览器渲染出的html保持一致的库
  • CreateJS:Html5游玩引擎
  • Less,Compass:简化CSS开发
  • emojify.js:用于自动识别网页上的Emoji文字并将其出示为图像
  • simditor:1个没错的开源的html编辑器,简洁高效
  • Sencha: 基于html5的活动端支付框架
  • SuperScrollorama+Tween马克斯+skrollr:构建超酷的视差滚动作效果应网页动画
  • jquery-smooth-scroll:同上,平滑滚动插件
  • Animate.css:落成了各个卡通效果的css库
  • Emmet:前端工程师必备,ZenCode的前身
  • React: facebook出品的js UI库
  • highlight.js:专门用来做语法高亮的库
  • GoJS: Html5交互式图表库,看demo更切合层次结构的图纸。
  • 10 Pure CSS (Mostly) Flat Mobile
    Devices: http://marvelapp.github.io/devices.css/
  • CodePen: http://codepen.io/
  • jsfiddle: http://jsfiddle.net/ 前端js,html,css测试利器

语言篇

折腾中:Scala、Python、Lua、JavaScript、Go

待折腾:

Scala

Java

  • 常用的IDE:AMDliJ IDEA(强烈推荐),Eclipse,Netbeans
  • fastutil: 质量更好的Java集合框架
  • Guava: 谷歌(Google)的Java工具包,应用广泛
  • Curator:Netflix企业开源的3个Zookeeper client
    library,用于简化Zookeeper客户端编制程序,未来已经是apache下的四个独自项目了。斯Parker的HA也用的那货。
  • 哈弗x(Reactive Extensions)框架:Vert.x, 科雷傲xJava(Android中用的可比多),
    Quasar
  • FindBugs: 代码静态分析工具,找出代码缺陷
  • Java反编写翻译工具:Luyten,JD-Gui
  • Drools: 规则引擎
  • Jersey: Java RESTful 框架
  • canal: Alibaba产品,binlog增量订阅&消费组件
  • Web开发有关:汤姆cat、Resin、Jetty、WebLogic等,常用的组件Struts,Spring,Hibernate
  • Netty:
    异步事件驱动互连网使用编制程序框架,用于高并发互连网编制程序相比好(NIO框架,spark
    1.2.0就用netty替代了nio)
  • MINA:简单地付出高品质和高可信性的互联网应用程序(也是个NIO框架),不少手游服务端是用它开发的
  • jOOQ:java Orm框架
  • Janino: 一流小又快的Java编写翻译器,Spark的Tungsten引起用的它
  • Activiti:工作流引擎,类似的还有jBPM、Snaker
  • Perfuse:是二个用户界面包用来把有组织与无组织数据以全体交互性的可视化图形展示出来.
  • Gephi:复杂互连网分析软件,
    其根本用以各个网络和复杂性系统,动态和分层图的竞相可视化与探测开源工具
  • Nutch:盛名的爬虫项目,hadoop正是从这些类型中发展出来的
  • web-harvest:Web数据提取工具
  • POM工具:Maven+Artifactory
  • Akka:一款基于actor模型达成的 并发处理框架
  • Ecl埃玛:覆盖测试工具
  • Shiro:安全框架
  • joda-time:简化时间拍卖
  • parboiled:表明式解析
  • dozer: 深拷贝神器
  • dubbo: Alibaba出品的分布式服务框架
  • jackson databind: json类别化学工业具(fastjson,simplejson)
  • Atomikos: 分布式事务管理
  • BoneCP:品质相当的赞的数据库连接池组件,据悉比c3p0快好多
  • ProGuard: obconfuscation tool, 强大的模糊工具
  • S-99:Scala相关的99个问题

Python

  • PyCharm:最佳Python IDE
  • 埃里克,Eclipse+pydev,相比不错的Python IDE
  • PyWin:Win32 api编程包
  • numpy:科学总括包,重要用于处理大型矩阵总结等,其它还有SciPy,Matplotlib
  • GUI相关:PyQt,PyQwt
  • supervisor:进度监察和控制工具
  • PyGame: 基于Python的多媒体开发和游戏软件开发模块
  • Web框架: Django 开源web开发框架,它鼓励快捷支付,并依据MVC设计

Swift

客户端

Framework

小工具

游戏

.NET

  • Xilium.CefGlue:基于CEF框架的.NET封装,基于.NET开发Chrome内核浏览器
  • CefSharp:同上,有一款WebKit的封装,C#和Js交互会更简便易行
  • netz:免费的 .NET 可执行文件压缩工具
  • 斯马特Assembly:变态的.net代码优化混淆工具
  • NETDeob0:.net反混淆工具,真是魔高级中学一年级尺道高级中学一年级丈啊(还有个de4dot,在GitHub上,都以开源的)
  • ILMerge:将富有引用的DLL和exe文件打成一个exe文件
  • ILSpy:开源.net程序反编写翻译工具
  • Javascript.NET:很不利的js执行引擎,对v8做了包装
  • NPOI: Excel操作
  • DotRAS:远程访问服务的模块
  • WinHtmlEditor: Winform下的html编辑器
  • SmartThreadPool:使用C#达成的,带高级本性的线程池
  • Snoop: WPF Spy Utility
  • Autofac: 轻量级IoC框架
  • HtmlAgilityPack:Html解析利器
  • Quartz.NET:Job调度
  • HttpLib:@CodePlex,简化http请求
  • SuperSocket:简化Socket操作,基于他的还有个SuperWebSocket,能够支付独立的WebSocket服务器了
  • DocX:未安装Office的动静下操作Word文件
  • Dapper:轻量级的O奥迪Q3M类,质量不错
  • 哈勃勒DotNet:帮衬过渡数据库的全文字笔迹检验索系统
  • fastJSON:@CodeProject,高质量的json体系化类
  • ZXing.NET:@CodePlex,QPAJERO,条形码相关
  • 南希:轻量级Http服务器,做个袖珍的Web应用能够解脱IIS喽(Nancy.Viewengines.Razor,能够进入Razor引擎)
  • AntiXSS:微软的XSS防御库Microsoft Web Protection Library
  • Jint:JavaScript解释器
  • CS-Script:将C#代码文件作为脚本执行
  • Jexus:Linux下 高性能、易用、免费的ASP.NET服务器
  • Clay:将dynamic发挥的愈益灵敏,像写js一样写C#
  • DynamicJSON:不必定义数据模型获取json数据
  • SharpPcap:C#版的WinPcap调用端,牛逼的互连网包分析库(自带PacketNotNet用于中国包装技协议分析)
  • Roslyn:C#,VB编译器
  • ImageResizer:
    服务端自由支配图片大小,真乃神器也,对手提式有线电话机端传小图,PC端传大图,CMS用它很方便
  • UI相关:DevExpress, Fluent(Office 07风格), mui(Modern UI for WPF)
  • Net斯Parkerle:应用自动更新组件
  • ConfuserEx: 开源.net混淆工具
  • ServiceStack: 开源高品质Web服务框架,可用以营造高质量的REST服务
  • Expression Evaluator:Eval for C#,处理字符串表达式
  • http://nugetmusthaves.com/
  • Reactive Extensions (Muranox):异步,事件驱动编制程序包, 君越x = Observables +
    LINQ + Schedulers

C & C++

  • Thrift:用来开始展览可扩展且跨语言的服务的支出(类似的还有个Avro,Googleprotobuf)。
  • libevent:是二个事变触发的网络库,适用于windows、linux、bsd等三种阳台,内部选取select、epoll、kqueue等体系调用管管事人件机制。(对了还有个libev呢)
  • Boost:不多说了,准C++标准库
  • Valgrind\Ptmalloc\Purify: 调试工具
  • NetworkServer架构:acceptor->dispatcher->worker(那个不算工具哦)
  • breakpad:崩溃转储和分析模块,很多crashreport会用到
  • UI界面相关:MFC、BCG和QT那类的就隐瞒了,高端一点的还有Html和DirectUI技术:libcef(基于chrome内核的,想想使用html5付出页面,还真有点小感动吧)、HtmlLayout、Duilib、Bolt,非C++的,还有node-webkit也没错,集成了node和webkit内核。

其他

游戏支付有关

  • MINA:使用Java开发手游和页游服务器(对了还有Netty,也很猛的,都是基于NIO的)
  • HP-Socket:见有微微页游服务器使用这么些创设的
  • Unreal: 虚幻引擎,C++,基于这些引擎的游艺很多
  • OGRE:赫赫有名的3D图形渲染引擎,天龙八部OL、火炬之光等重重游戏都用了这么些引擎
  • OpenVDB:梦工厂C++的特效库,开源的
  • cocos2d:跨平台2D戏耍引擎
  • unity3d:跨平台3D游戏引擎,相当流行的啊
  • Nodejs:也有成都百货上千行使它来开发手游和也有服务器(乐乎的Pomelo)

日记聚合,分布式日志收集

  • Scribe:推文(Tweet)(脸谱)的(nodejs + scribe + inotify 同步日志)
  • logstash:强大的日志收集系统,能够根据logstash+kibana+elasticsearch+redis开发强大的日记分析平台
  • log.io: nodejs开发的实时日志收集系统

途观TP,实时传输协议与音录像

  • RTP,RTCP,RTSP-> librtp,JRTPLIB(遵循了RFC1889标准)
  • 环形缓冲区,实时数据传输用
  • SDL,ffmpeg,live555,Speex
  • Red5:用Java开发开源的Flash流媒体服务器。它协助:把拍子(mp3)和摄像(FLV)转换到播放流;
    录像客户端播放流(只帮衬FLV);共享对象;现场直播流发表;远程调用。

发表评论

电子邮件地址不会被公开。 必填项已用*标注