.NET平台常用的框架整理

</property>

格式和数据类型转换

Newtonsoft.Json:近日.NET出被相当流行的JSON系列化库,为新本子的WebApi库提供基础。

System.JSON.dll:微软协调支付的JSON连串化组件(需要独自下载)

DataContractJsonSerializer 和
DataContractXmlSerializer
:微软当WCF中采用的连串化器。

JavaScriptSerializer:微软默认针对WEB开发者提供的JSON格式化器。

iTextSharp、PDFsharp 和 PDF.NET:通过.NET处理与生成PDF文档的零部件。

SharpZipLib.dll:免费开源之ZIP和GZIP文件解压缩组件。

Math.NET:强大的数学运算、微积分、解方程和对运算。

DocX:不欲装word软件,通过C#操作word文件。

SharpSerializer:开源XML和、二进制、JSON、压缩和优化框架。

 

开源图表总括控件:

Visifire:一套效果挺好之WPF图表控件,匡助3D绘制、曲线、折线、扇形、环形和梯形。

SparrowToolkit:一效仿WPF图表控件集,辅助绘制动态曲线,可绘制示波器、CPU使用率和波。

DynamicDataDisplay:微软从头源之WPF动态曲线图,线图、气泡图和热力图。

 

得扩展音信队列列,如:Kafka是同样种分布式的,基于发布/订阅的音网。首要设计目标如下:

为时复杂度为O(1)的方法供音信持久化能力,即便对TB级以上数量也能确保常数时间复杂度的拜会性能。

赛吞吐率。即便以特别廉价的商用机器及为会不辱使命单机协助各国秒100K条以上音信之传输。

支撑Kafka
Server间的信息分区,及分布式消费,同时确保每个Partition内之音信顺序传输。

并且补助离线数据处理和实时数据处理。

Scale out:援助在线水平扩张。

RabbitMQ

RabbitMQ是以Erlang编写的一个开源之音讯队列,本身扶助广大之商:AMQP,XMPP,
SMTP,
STOMP,也正因如此,它充分重量级,更契合为公司级的支付。同时实现了Broker构架,这表示音信于发送给客户端时先在主旨队列排队。对路由,负载均衡或者数额持久化都发出特别好的补助。

Redis

Redis是一个遵照Key-Value对的NoSQL数据库,开发珍重好欢。尽管她是一个Key-Value数据库存储系统,但其自己帮忙MQ功效,所以全雅观作一个轻量级的行列服务来使用。对于RabbitMQ和Redis的入队和出队操作,各执100万次等,每10万次等记录同一不成实践时。测试数据分为128Bytes、512Bytes、1K跟10K季单不等大小的多少。实验注脚:入队时,当数较时辰Redis的属性要高于RabbitMQ,而要数量大小超越了10K,Redis则慢的不可以忍受;出队时,无论数额大小,Redis都显现有老好的习性,而RabbitMQ的出队性能则颇为低于Redis。

ZeroMQ

ZeroMQ号称太抢之音队列系统,尤其针对大吞吐量的需要情状。ZeroMQ能够落实RabbitMQ不擅长的高等级/复杂的行列,可是开发人员需要协调组合又技艺框架,技术达到的复杂度是针对性就MQ可以以成之挑衅。ZeroMQ具有一个与众不同的非中间件的情势,你切莫需设置与运行一个音信服务器或中等件,因为若的应用程序将去那多少个服务器角色。你独自需要简单的援ZeroMQ程序库,可以行使NuGet安装,然后你便可以手舞足蹈的以应用程序之间发送信息了。然则ZeroMQ仅提供非持久性的队,也就是说要宕机,数据将会合丢。其中,Twitter的Storm
0.9.0原先的本被默认使用ZeroMQ作为数据流的传输(Storm从0.9版本开端又协助ZeroMQ和Netty作为传输模块)。

ActiveMQ

ActiveMQ是Apache下的一个子项目。
类似于ZeroMQ,它会以代办与点对碰的艺实现队列。同时类似于RabbitMQ,它少量代码就可以急速地落实高级应用场景。

Kafka/Jafka

Kafka是Apache下的一个子项目,是一个胜过性能跨语言分布式宣布/订阅信息队列系统,而Jafka是当Kafka之上孵化而来的,即Kafka的一个升级版。具有以下特点:快捷持久化,可以在O(1)的系出下进展音讯持久化;高吞吐,在平台一般的服务器上既可直达10W/s的吞吐速率;完全的分布式系统,Broker、Producer、Consumer都原生自动援助分布式,自动实现负载均衡;辅助Hadoop数交互加载,对于如Hadoop的等同的日记数据和离线分析系统,但与此同时要求实时处理的限定,这是一个可行的化解方案。Kafka通过Hadoop的并行加载机制统一了在线与离线的消息处理。Apache
Kafka相对于ActiveMQ是一个挺轻量级的音信网,除了性能好好外,仍旧一个干活不错的分布式系统。

mac 启动sshd

图片 1

    scala
> val file=sc.textFile(“hdfs:/test/test.csv”)

常用之五只ORM框架:

EF(ADO.NET Entity Framework):微软因ADO.NET开发之ORM框架。

Nhibernate:面向.NET环境之轻量级的ORM框架。

SqlMapper.cs:用于小类之通用的C#数据库访问类。

AutoMapper:流行的靶子映射框架,可减掉大气硬编码,很细灵活,性能表现为只是承受。

SubSonic:优异的开源之ORM映射框架,同时提供合我需要的代码生成器。

FluentData:开源的基于Fluent API的链式查询ORM轻量级框架。

Dapper:轻量级高性能基于EMIT生成的ORM框架。

EmitMapper:性能比高的ORM框架,运行时通过EMIT动态生成IL代码,并非以反射机制。

cd hadoop/workspace

WEB开发以及计划性

Jumony Core:基于.NET开发的HTML引擎。

Microsoft.mshtml.dll、Winista.HtmlParser.dll 和
HtmlAgilityPack.dll
:解析处理HTML文档的框架。

JavaScript.NET和ClearScript(微软出品):基于.NET开发的JavaScript引擎。

NCrawler:其HTML处理引擎htmlagilitypack的底开源网络爬虫软件。

AntiXSS:微软官方预防跨站XSS脚本入侵攻击的开源类库,它经过白名单机制举行内容编码。

YUICompressor.NET、Microsoft Ajax Minifier 和 Google Closure
Compiler
:JavaScrip和CSS压缩器。

NancyFx:是一个不利的轻量级开源.NET
WEB框架。假设想飞速开个大概的WEB应用。

AspNetPager:国内老牌的ASP.NET分页控件,匡助多分页模式。

NOPI.dll:导出Excel报表的插件(基于微软OpenXml实现)(nopi.css.dl通过css设置样式)

Enterprise Library:微软对公司级应用开发之顶级实践组件。

PowerCollections:外国一个牛人写的高档开源集合。

查启动

日记记录非凡处理:

Log4Net.dll:轻量级的免费开源.NET日志记录框架。

Enterprise Library Log Application Black:微软集团库日志记录。

Elmah:实现最盛的ASP.NET应用特别日志记录框架。

NLog:是一个概括利落的日记记录类库,性能于Log4Net高,使用和护卫难度小。

</property>

图片和图像处理框架

Paint.NET:基于.NET小巧灵活有力的图形处理开源项目。

Imagemagick.NET:用C#本着开源图像处理组件Imagemagick的卷入。

Skimpt:基于.NET开源的屏幕截图软件。

ImageGlue.NET:商业的图像处理组件,匡助的格式列了平充裕堆。

Sprite and Image Optimization
Framework
:微软CSS精灵,多图合成一摆放大图和CSS样式。

     c. http://localhost:50070/ hadoop集群运行情形

网络通信与网络协议

SuperSocket:基于.NET轻量级的可是扩充的Socket开发框架。

SuperWebSocket:通过.NET实现TML5 WebSocket框架。

XProxy:支持插件的底子代理程序集,内置NAT、加解密、反向、直接与间接代理。

vi ~/.bashrc

分布式缓存框架:

Microsoft Velocity:微软自家分布式缓存服务框架。

Memcahed:一效分布式的高速缓存系统,目前受很多网站以以提高网站的访问速度。

Redis:是一个胜似性能的KV数据库。 它的产出大死程度上了Memcached在某些地方的阙如。

EnyimMemcached:访问Memcached最美好的.NET客户端,集成不错的分布式均衡算法

           在spark-env.sh 中加入 export
SPARK_MASTER_WEBUI_PORT=98080 来指定

桌面应用程序框架

DevExpress:一个世出名的桌面应用程序UI控件库。

Prism:微软支付之针对WPF和Silverlight的MVVM框架,通过效能模块化的盘算,来讲复杂的作业职能跟UI耦合性举办分离。

WPFToolkit 和 Fluent Ribbon Control
Suite
:开发近乎于Office风格的Ribbon菜单。

    <description>namenode上囤积hdfs名字空间元数据 </description> 

数据印证组件整理

FluentValidation for .NET:基于LINQ表明式方法链Fluent接口验证组件。

Microsoft.Practices.EnterpriseLibrary.Validation.dll:微软公司库验证程序块。

CuttingEdge.Conditions:基于Fluent接口方法练接口的契约编程组件。

DotNetOpenAuth:让网站有着帮忙OpenID、OAuth、InfoCard等地方验证的力量。

<configuration>

关于NoSQL数据库:

MongoDB:分布式文件存储数据库。

Membase:家族之一个初的重量级的积极分子。

    <description>副本个数,配置默认是3,应小于datanode机器数量</description>

工作以及分布式事务协助

KtmIntegration:一个扶助NTFS文件系统的事体开源类。

NET Transactional File
Manager
:对文件系统操作(复制、移动及去)插足工作帮忙。

<property>

走互联网跟云总括

PushSharp:通过.NET向各样运动平台推送消息。

mono
for Android
:用.NET语言开发安卓应用:

MonoTouch:用.NET语言开发iOS应用。

PhoneGap和AppCan:跨平台基于HTML5挪动开平台。

Cordova:PhoneGap贡献给Apache后底开源项目,是教PhoneGap的主导引擎。

 

越平台及运转时解决方案

MONO.NET:跨平台的.NET运行条件,让.NET跨平台运行成为可能。

DotGnu Portable.NET:类似于MONO.NET的跨平台运行时。

Phalanger:将PHP编译成.NET,可实现PHP与.NET互操作。

VMDotNet:中国移动飞信所采取过的.NET运行时。

Unity3D:微软全力以赴帮助的机遇C#及JavaScript的跨平台游戏支付框架。

Cassini、IIS Express和Cassinidev:开源的ASP.NET执行环境。

Katana:微软依照OWIN规范落实的非IIS寄宿ASP.NET和MVC等。

IKVM.NET:基于.NET的Java虚拟机,让JAVA运行在.NET之上。

</configuration>

赖注入IOC容器框架:

Unity:微软patterns&practicest团队开支的IOC倚重注入框架,辅助AOP横切关注点。

MEF(Managed Extensibility
Framework):是一个就此来放展.NET应用程序的框架,可支付插件系统。

spring.NET:依赖注入、面向方面编程(AOP)、数据看抽象,、以及ASP.NET集成。

Autofac:最风靡的依注入及IOC框架,轻量且高性能,对项目代码几乎无其他侵入性。

PostSharp:实现静态AOP横切关注点,使用简便,效率强大,对目的拦截的道无论需外改变。

Ninject:基于.NET轻量级开源的依赖注入IOC框架

sudo launchctl load -w
/System/Library/LaunchDaemons/ssh.plist

活动任务调度框架

Quartz.NET:开源之功课调度和自动任务框架。

Topshelf:另一样栽创立Windows服务的开源框架

29638 NameNode

分词、全文检索和查找引擎

Lucene.net:流行大性能的全文索引库,可用来为各个消息提供强劲的觅功用。

Lucene.Net.Analysis.PanGu:辅助Lucene.Net最新版本的天神粤语分词扩展库。

30231 NodeManager

开源的.NET系统推荐:

OXITE:微软ASP.NET MVC案例演示框架。

PetShop:微软ASP.Net宠物商店。

Orchard:外国一个MVC开源的博客系统。

SSCLI:微软以NET Framework 2.0一时之开源代码。

DasBlog:外国一个基于ASP.NET的博客系统。

BlogEngine.NET:外国相同磨蹭免费开源之博客系统。

Dotnetnuke.NET:一仿照好卓越的冲ASP.NET的开源门户网站程序。

Discuz.NET:国内开源的论坛社区系统。

nopCommerce和Aspxcommerce:外国相同效高质量的开源B2C网站系统。

JumboTCMS和DTCMS:国内少数款开源的网站管理网:

<configuration>

测试和属性评估方面

Faker.Net:方便生成大批量测试数据的框架。

Nunit:一个轻量级的单元测试框架。

Moq:相当流行的Mock框架,援助LINQ,灵活且大性能。

xUnit:比NUnit更好的单元测试框架,升级立异版的Nunit框架。

MiniProfiler和Glimpse:基于MVC的有限缓性能事件监控框架。

29970 SecondaryNameNode

映和动态语言

Clay dynamic:开源之动态语言dynamic框架为您出示若JavaScript的主意创立对象。

ExposedObject:在类的表面通过动态语言dynamic的章程访私有成员。

PrivateObject:微软单元测试框架中便在表面调用类内部私有成员的一个近乎。

  1. 出席环境变量

   
<value>/Users/ysisl/app/hadoop/workspace/tmp</value>

30407 Worker

29793 DataNode

vi spar-env.sh

export
JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home

cp spark-env.sh.template spark-env.sh

vi ~/.bashrc

jps 查看到多来一个Master,worker进程

<configuration>

  1. JDK 1.6 + 

  2. Scala 2.10.4

  3. Hadoop 2.6.4 

  4. Spark 1.6 

  ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

export
PATH=”${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH”

 

$HADOOP_HOME/bin/hdfs namenode -format 

sudo launchctl unload -w
/System/Library/LaunchDaemons/ssh.plist

export SPARK_WORKER_CORES=2

     解压安装包即可

29970 SecondaryNameNode

三、安装Hadoop 

</configuration>

export SPARK_MASTER_IP=localhost

 5. hadoop fs -lsr / 查看已开立的目文件

    <description>HDFS
URI</description>

</property>

        <name>yarn.nodemanager.aux-services</name>

输出- 0 com.openssh.sshd
表示启动成功

export
HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4

 

 

30468 SparkSubmit

mkdir tmp

sudo launchctl list | grep ssh

</property>

        <value>localhost:8099</value>

 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

30586 Jps

 

    <description>datanode上数据块的大体存储地方</description>

 tar xvzf spark.1.6.tar.gz 

  1. 解压spark压缩包

 

</configuration>

 

 1. 预备一个csv文件,路径  /Users/ysisl/app/hadoop/test.csv 

        <name>mapreduce.framework.name</name>

<property>

    <name>dfs.data.dir</name>

cd spar-1.6.1-bin-hadoop2.6/conf

vi ~/.bashrc

 3. 新建目录 , hadoop fs -mkdir /test

  1. core-site.xml

 

export SPARK_WORKER_MEMORY=2g

30231 NodeManager

    scala
> val count=file.flatMap(line=>line.split(” “)).map(word=>(word,1)).reduceByKey(_+_)

30070 ResourceManager

2. hdfs-site.xml

</property>

 

 

29638 NameNode

30256 Jps

  1. 安装JDK
  1. copy mapred-site.xml.template to
    mapred-site.xml

    <name>hadoop.tmp.dir</name>

     a. localhost:8080  ,查看spark 集群运行状态。
此端口一般和另外端口争执

mkdir -pv  hadoop/workspace

 

<property>

  1. yarn-site.xml

 

30070 ResourceManager

30275 Master

export
HADOOP_CONF_DIR=/Users/ysisl/app/hadoop/hadoop-2.6.4/etc/hadoop

SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4

</property>

21472

</configuration>

 

  1. 配置scala 、spark 、 hadoop 环境变量参与PATH
    ,方便执行

<property>

    <value>/Users/ysisl/app/hadoop/workspace/hdfs/name</value>

 

 6. 执行 spark-shell 

    <name>dfs.name.dir</name>

21472

    <value>/Users/ysisl/app/hadoop/workspace/hdfs/data</value>

    scala > count.collect

     b. http://localhost:4040/jobs/ ,查看
spark task job运行情形

    <value>1</value>

停止sshd服务

五. 测试运行 

29793 DataNode

        <value>yarn</value>

mkdir -pv hdfs/name

<property>

SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6

 2. 查看DFS文件系统结构, 执行 hadoop fs -lsr /

四、安装Spark

  1. 开创Hadoop文件系统目录

export
SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6

<property>

 

 

    <name>fs.default.name</name>

    <description>namenode temp
dir</description>

  1. 启动 sbin/start-all.sh

<property>

长如下内容

   
<value>hdfs://localhost:9000</value>

 

    <name>dfs.replication</name>

  1. 格式化HDFS文件系统

HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4

 

 

<configuration>

<property>

默认slaves现在虽然主机一玉

 

  1. 进入sbin/ 执行 start-all.sh

  2. 实施jps 查看是否健康启动

mkdir -pv hdfs/data

 7. 查看执行状态

亚、预先安装

cp slaves.template slaves

 4. 上污染文书及目录, hadoop fs -put
/Users/ysisl/app/hadoop/test.csv /test/

export
SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4

 

转载:http://www.cnblogs.com/ysisl/p/5979268.html

export
SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4

配置hadoop,都在$HADOOP_HOME/etc/hadoop 下

        <value>mapreduce_shuffle</value>

 

同一、 下充斥资料

  1. 安配置文件

        <name>yarn.resourcemanager.webapp.address</name>

</property>

  1. 打开 http://localhost:50070/explorer.html 网页查看hadoop目录结构,表明安装成功

</property>

添加hadoop目录环境变量

  1. 配置sshd 

2. 安装Scala 2.10.4

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注