shorn-CSDN博客

原创淘宝-新制造业务线找JAVA研发啦

有意者私信。职位描述作为阿里的五新战略（新零售、新制造、新金融、新技术和新能源）之一，新制造将和天猫、淘宝、lazada、AliExpress、阿里云、菜鸟、蚂蚁金服/支付宝、钉钉、飞猪等紧密合作，推动传统制造业的智能化和个性化升级，为商家（B类用户）提升口碑，为工厂提高产能利用率(reduce cost)，为买家提供质量更好的商品。我们希望，新制造就像勤劳的小蜜蜂，无论神马商品都可以制造...

2018-08-03 12:03:59 613

翻译 Spring Batch 2.1.8 中文文档(九)

4.5 Advanced Meta-Data usage到目前为止，已经讨论了JobLauncher和JobRepository接口，它们展示了简单启动任务，以及批处理领域对象的基本CRUD操作：一个JobLauncher使用一个JobRepository创建并运行新的JobExection对象，Job和Step实现随后使用相同的JobRepository在job运行期间去更新相同的J

2013-03-25 00:43:21 2475

原创【框架解析】Hadoop系统分析(十一)--RPC

hadoop自己实现了一个简单的rpc机制，用于在服务器之间进行数据传输，大体的结构如下：主要分为三个部分Server使用java.nio包发布服务Server.Connection保存与客户端的连接，存放对应的Socket、SocketChannel与UserGroupInformation使用UserGroupInformation控制当前操作的权限

2013-03-24 23:31:00 1145

原创【框架解析】Hadoop系统分析(十)--对象序列化

hadoop的内部数据传输涉及到三个角色之间的数据传输：Client - NameNodeClient - DataNodeDataNode - NameNodeDataNode - DataNode之间的通信使用的是rpc方式，那么rpc的过程就需要涉及对象的序列化。hadoop的源码中实现了两套序列化，一套是封装了java默认的java.io.Serializable方式，但是

2013-03-11 17:13:57 956

原创【框架解析】Hadoop系统分析(九)--Http服务

hadoop内嵌了jetty的服务，提供了一系列的servlet供外界或是内部节点之间使用http访问HttpServer封装了jetty的Server，提供http服务默认会提供三个context/logs/ 指向log目录配置为hadoop.log.dir/static/ 指向统计目录src/webapps/static/ 指向jsp页面目录src/webapps/

2013-03-05 17:06:36 975

原创【框架解析】Hadoop系统分析(八)--editlog管理

Editlog文件记录了日常针对数据文件的操作，在Hdfs启动时，会合并fsimage文件与editlog文件，构成整个hdfs整个文件系统。对editlog进行操作主要的类有如下：FSEditLog操作editlog文件，包括打开、关闭、写入等操作open使用EditLogOutputStream打开所有的editlog文件，准备往里写入数据。close关

2013-02-22 17:07:10 1699

原创【框架解析】Hadoop系统分析(七)--namenode后台进程

Trash.Emptierhdfs中删除文件后会将文件存放到用户目录的下的.Trash/子目录中，每隔一段时间Trash.Emptier线程进行彻底删除，在这段时间用户仍然可以把误删除的文件恢复。清空.Trash的时间间隔默认为60分钟，可以使用fs.trash.interval进行配置调整。如果interval设置为0则表示垃圾回收功能关闭。Trash.Emptier线程在NameNod

2013-02-18 15:02:02 959

翻译 Spring Batch 2.1.8 中文文档(八)

4.4 Running a Job运行一个批处理任务至少有两点要求：一个JobLauncher和一个用来运行的job。它们都包含了相同或是不同的context。举例来说，从命令行来启动job，会为每一个job初始化一个jvm，因此每个job会有一个自己的JobLauncher；从web容器的HttpRequest来启动job，一般只是用一个JobLauncher来异步启动job，http请求会

2012-12-03 23:36:21 2469

翻译 Spring Batch 2.1.8 中文文档(七)

4.2 Confinguring a JobRepository之前说过，JobRepository是基本的CRUD操作，用于持久化Spring Batch的领域对象(如JobExecution,StepExecution)。许多主要的框架组件(如JobLauncher,Job,Step)都需要使用JobRepositor。batch的命名空间中已经抽象走许多JobRepository的实现细

2012-11-12 22:45:05 2835

翻译 Spring Batch 2.1.8 中文文档(六)

Chapter 4. Configuring and Running a Job在领域章节，我们讨论了整体结构的设计，使用下图表示：虽然一个job看上去只是许多step的简单容器，但是开发者必须要注意许多配置项。此外，job的运行以及job运行过程中元数据如何被保存也是需要考虑的。本章将会介绍job运行时的各种配置项。4.1. Configuring a Jobjob接口的

2012-09-20 23:19:16 1783

翻译 Spring Batch 2.1.8 中文文档(五)

3.2 Step Step是一个领域对象，它封装了批处理任务中的一个独立的连续阶段。因此每个job是由一个或是多个step组成的，step包含了定义以及控制一个实际运行中批处理任务所必须的所有信息。这个描述很含糊，是因为step中的内容完全是编写job的开发者所赋予的，step的复杂度完全依赖于开发者。一个简单的step可能只是从文件中加载数据到数据库，只需要几行代码(依赖于实现

2012-09-07 14:14:39 2518

翻译 Spring Batch 2.1.8 中文文档(四)

Chapter 3. 批处理的领域语言 Spring Batch所使用的批处理概念对于任何有批处理操作的架构师来说都会感到熟悉与舒适，其中有"Jobs"，"Steps"以及工程师提供的被称为"ItemReader"和"ItemWriter"的批处理单元。然而，由于Spring的模式、操作、模板、回调和术语，还有着以下的方便性：在分离关注点方面的显著增强轮廓清晰的架构层次与

2012-08-28 16:07:26 2561

原创【框架解析】Hadoop系统分析(六)--secondarynamenode

secondarynamenode是针对namenode所做的一个镜像备份，以及定时去合并editlog与fsimage内容为checkpoint(默认一个小时)。在namenode发生故障无法启动时，可以使用snn准备的checkpoint文件，在namenode启动时带上-importCheckpoint参数来进行恢复。不带参数启动，是默认启动secondarynamenode服务，查看o

2012-08-21 15:02:23 1459

原创【框架解析】Hadoop系统分析(五)--namenode其他

upgrade/rollback/importCheckpoint在FsImage.recoverTransitionRead方法中，针对upgrade/rollback/importCheckpoint参数，在启动前做了特殊的操作，代码如下：switch(startOpt) { case UPGRADE: doUpgrade(); return f

2012-08-21 13:59:21 1406

原创【框架解析】Hadoop系统分析(四)--namenode regular

hadoop namenode -regular正常启动NameNode服务，regular是默认参数用于启动服务，如果不带参数直接执行hadoop namenode，也是进入regular运行流程。执行regular，主要完成两个任务加载fsimage，建立blockmap启动如下的一些服务：服务类作用serviceRpcServe

2012-08-20 17:26:35 1950

翻译 Spring Batch 2.1.8 中文文档(三)

2.3 配置强化在2.0之前，只有一种方式把批处理任务配置成一个spring配置项，到了2.0版本，批处理任务配置有了新的namespace。例如，在1.1版本中需要像下面这样配置任务：<bean id="footballJob" class="org.springframework.batch.core.job.SimpleJob">

2012-08-19 16:39:27 3525

翻译 Spring Batch 2.1.8 中文文档(二)

Chapter 2 Spring Batch 新特性 Spring Batch 2.0正式版特性分为6个主题：Java 5不连续的分布执行面向Chunk处理强化元数据扩展性可配置2.1 JAVA 5 Spring 1.x都是基于Java 1.4开发的，因此这个系列版本的框架都无法使用Java 5提供的一些增强特性，如泛型，参数化类型等。升级后的框架充分利用了这

2012-08-10 18:54:16 3055

原创【框架解析】Hadoop系统分析(三)--namenode format

hadoop namenode后需要带上一系列参数才能顺利执行。执行hadoop namenode时，会从org.apache.hadoop.hdfs.server.namenode.NameNode进入hadoop，通过参数的不同调用不同的方法对namenode进行操作。try { StringUtils.startupShutdownMessage(NameNode.class, a

2012-08-10 16:25:21 2159

翻译 Spring Batch 2.1.8 中文文档(一)

Chapter 1 Spring Batch 介绍许多企业领域的应用需要在关键任务中进行批量处理来操作业务逻辑。这些业务操作并不需要与人类进行交互就能够自动高效地进行大数据量的复杂处理。例如有基于时间的事件(如月底的统计、通知、邮件等)，也有定期对大数据量进行业务逻辑计算(如保险收益计算和利率调整)，或者是把从内部和外部系统中获取到的数据进行格式化以及校验后集成到系统记录中去。

2012-08-02 23:09:25 3798

原创【框架解析】Hadoop系统分析(二)--代码模块汇总

查看Hadoop的源码包，主要分为以下几个模块:corepackage作用sub-packageorg.apache.hadoop.conf读取及解析配置文件 org.apache.hadoop.fs支持各种文件系统数据操作以及处理文件系统权限org.apache.hadoop.fs.ftp,org.apach

2012-08-02 22:27:28 1831

原创【框架解析】Hadoop系统分析(一)--shell命令汇总

安装完hadoop后，在命令行执行hadoop，会出现如下提示：Usage: hadoop [--config confdir] COMMANDwhere COMMAND is one of: namenode -format format the DFS filesystem secondarynamenode run the DFS secondary na

2012-07-13 16:21:05 1015

原创【环境搭建】hadoop分布式计算开发环境搭建

安装前准备(各服务器环境保持一致)硬件环境hadoop只能安装在linux或unix服务器之上。3台或以上linux服务器(h1,h2,h3)。如果使用windows服务器，则需要安装cygwin，在cygwin中部署hadoopjava环境jdk 1.6及以上在每台服务器上创建hadoop用户用于安装hadoopuseradd hadoop在每台服务器

2012-07-09 19:51:51 1600

Mstr Web客户端位置 //10.20.130.6/pub/soft/Microstrategy/MicroStrategy.war在host文件中定义项目源所在i-server的名称 10.249.170.123 aliyun_mstr复制MicroStrategy.war文件到JBoss的部署目录下在jboss/server/default/conf目录下增加两个properties文件，如下文件名：roles.properties.文件内容：admin=JBoss

2011-04-06 00:02:00 2025 1

原创 Mstr for linux安装Step by Step

解压并安装mstr I-Servertar xvf mstr812.tar进入解压目录，执行./setupLinux.bin -console，安装mstr应用程序到90%的时候会出现安装目录若干文件(文档文件)找不到会报错，没关系继续完成安装安装支持软件libXp-1.0.0-8.1.el5.x86_64.rpm安装ssl支持如果服务器上还没有安装ssl支持，则只需安装附件中的openssl097a-0.9.7a-9.x86_64.rpm如果服务器上已经安装过ssl，则按照以下步骤配置已有的ssl即可mk

2011-04-05 18:10:00 3016 1

原创搭建BlazeDs的几点注意事项

BlazeDs环境一直用了一段时间，最近需要重新建一个环境，结果折腾了半天。 现在记下几点注意事项，免得以后又忘了。 客户端: 老是报:Channel.Connect.Failed error NetConnection.Call.Failed: HTTP: Failed: url这类错误。 主要是没有找到连接的配置，基本上下面两个地方注意一下就可以了: 1.配置flex server里的context root参数为we

2011-03-28 00:07:00 691

shorn的专栏