下雨天_____-CSDN博客

转载 Hadoop_FileInputFormat分片

01. InputFormat和OutFormat1. 整个MapReduce组件InputFormat类和OutFormat类都是抽象类。可以实现文件系统的读写，数据库的读写，服务器端的读写。这样的设计，具有高内聚、低耦合的特点。2. 提交任务时，获取split切片信息的流程 JobSubmitter初始化submitterJobDir资源提交路径，是提交到HDFS保存...

2018-09-04 11:07:17 415

转载 python操作docx文档

在2017年暑假绿盟实习期间，部门做的一个项目需要用到docx格式的word文档模板操作，现在有如下记录：关于python操作docx格式文档，我用到了两个python包，一个便是python-docx包，另一个便是python-docx-template;,同时我也用到了很出名的一个工具"pandoc，下面我会对他们各自进行介绍。首先便是python-docx包

2017-10-10 16:21:26 3201

原创 HDFS 和YARN 的HA原理

HDFS：基础架构1、NameNode（Master）1)命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。2)块存储管理。使用Active NameNode，Standby NameNode 两个节点可以解决单点问题，两个节点通过JounalNode共享状态，通过ZKFC 选举Acti

2017-09-12 15:41:05 820

原创 Python SQLAlchemy基本操作和常用技巧

这篇文章主要介绍了Python的ORM框架SQLAlchemy基本操作和常用技巧，包含大量实例,非常好的一个学习SQLAlchemy的教程,需要的朋友可以参考下首先说下，由于最新的 0.8 版还是开发版本，因此我使用的是 0.79 版，API 也许会有些不同。因为我是搭配 MySQL InnoDB 使用，所以使用其他数据库的也不能完全照搬本文。接着就从安装开始介绍吧，以 D

2017-09-08 11:31:10 689

转载看不到git远程分支

问题描述git上已经有人建立分支branch170628_foo，希望在本地切换到该分支。但使用git命令切换分支时报错。$ git checkout branch170628_fooerror: pathspec 'branch170628_foo' did not match any file(s) known to git.12查看远程分支，发现看不到目标分支。

2017-09-07 19:10:21 11276

转载 CentOS下iptables设备双网卡的端口转发规则

1. 两张网卡：eth0 =》内网172.18.1.240eth1=》外网211.139.169.X目标机IP：172.18.1.X2. 原理，外网IP的端口有连接进来=》转发到目标机上=》回路：目标机=》转发到内网IP上3. 在命令行下执行：[plain] view plain copy

2017-08-30 12:08:42 6799

原创实例展示elasticsearch集群生态,分片以及水平扩展

elasticsearch用于构建高可用和可扩展的系统。扩展的方式可以是购买更好的服务器(纵向扩展)或者购买更多的服务器（横向扩展）,Elasticsearch能从更强大的硬件中获得更好的性能，但是纵向扩展也有一定的局限性。真正的扩展应该是横向的，它通过增加节点来传播负载和增加可靠性。对于大多数数据库而言，横向扩展意味着你的程序将做非常大的改动来利用这些新添加的设备。对比来说，Elasticsea

2017-08-30 10:32:52 543

原创 Elasticsearch索引管理-reindex重建索引

一个field的设置是不能被修改的，如果要修改一个field，那么应该重新按照新的mapping，建立一个index，然后将数据批量查询出来，重新用bulk api写入新index中。批量查询的时候，建议采用scroll api，并且采用多线程并发的方式来reindex数据，每次scroll就查询指定日期的一段数据，交给一个线程即可。具体操作步骤：（1）一开始，依靠dynamic ma...

2017-08-29 18:27:08 23517 1

原创 ELASTICSEARCH健康red的解决

Elasticsearch健康red今天惯例看统计报表, 才发现es集群悲剧了......昨天下午到今天早上, 持续报错, 写了1G的错误日志>_当前状态: 单台机器, 单节点(空集群), 200W 数据

2017-08-29 14:55:36 14838 3

原创 HttpClient使用SESSIONID模拟用户发送请求

使用HttpClient版本 4.2.5 准备一已登录用户的sessionid：Java代码 public static void main(String[] args) { String url = "http://10.10.10.90/urcweb/api/http.do?method=get_im_info";

2017-08-18 17:27:41 2236

原创 centos增加swap空间

想在centos6.5里面安装oracle11g,发现默认的swap交换空间不满足最低要求，因为我分配的物理内存是20G，那么就按照要求需要16G以上的swap交换空间，需要16G，默认只有15G多的交换空间。添加swap交换空间的步骤如下：第一步：确保系统中有足够的空间来用做swap交换空间，我使用的是KVM,准备在一个独立的文件系统中添加一个swap交换文件，在/opt中添加2G的sw

2017-08-17 10:09:04 381

转载 Hadoop2.6集群安装配置教程

本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，否则请先查看Hadoop安装教程_单机/伪分布式配置或 CentOS安装Hadoop_单机/伪分布式配置。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行

2017-08-16 17:59:19 503

转载 Hadoop2.6.0安装教程

当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hado

2017-08-16 15:04:57 1352

转载 Python学习进阶资料

Python进阶(二十一)-Python学习进阶资料学习Python已经将近2周了，掌握了基本的语法，并学习了简单的爬虫操作，现将相关学习资料整理如下。大部分资料均取材于慕课网，感觉一路学下来受益匪浅。1.Python入门2.Python进阶3.Python装饰器4.Python-面向对象5.Python-走进Requests库6.Pyt

2017-07-19 16:59:11 856

原创 Elasticsearch]聚合 - 时间处理

时间数据处理(Looking at Time)如果在ES中，搜索是最常见的行为，那么创建日期柱状图(Date Histogram)肯定是第二常见的。为什么要使用日期柱状图呢？想象在你的数据中有一个时间戳。数据是什么不重要-Apache日志事件，股票交易日期，棒球比赛时间-任何拥有时间戳的数据都能通过日期柱状图受益。当你有时间戳时，你经常会想创建基于时间的指标信息：

2017-07-19 15:52:37 1377

原创 sqlalchemy高级用法

sqlalchemy高级用法本文将介绍sqlalchemy的高级用法。外键以及relationship首先创建数据库，在这里一个user对应多个address，因此需要在address上增加user_id这个外键（一对多）。#!/usr/bin/env python# encoding: utf-8from sqlalchemy import creat

2017-07-10 18:47:56 1848 1

转载图解mapreduce原理和执行过程

说明：下面的图来自南京大学计算机系黄宜华老师开设的mapreduce课程的课件，这里稍作整理和总结。本文旨在对接触了mapreduce之后，但是对mapreduce的工作流程仍不是很清楚的人员，当然包括博主自己，希望与大家一起学习。mapreduce的原理MapReduce借鉴了函数式程序设计语言Lisp中的思想，Lisp(List processing)是一种列

2017-02-09 16:12:34 3270

转载初步掌握Yarn的架构及原理

1、YARN 是什么？从业界使用分布式系统的变化趋势和 hadoop 框架的长远发展来看，MapReduce的 JobTracker/TaskTracker 机制需要大规模的调整来修复它在可扩展性，内存消耗，线程模型，可靠性和性能上的缺陷。在过去的几年中，hadoop 开发团队做了一些 bug 的修复，但是这些修复的成本越来越高，这表明对原框架做出改变的难度越来越大。为从根本上解决旧M

2017-02-09 14:36:19 434

原创 java 树形对象工具类封装

基础的树形对象：import java.io.Serializable;import java.util.List;/** * treegrid树形表格基础对象，后续的该类型的对象均继承该对象 * */public class BaseTreeGrid implements Serializable{ /** * */ private static final l

2017-01-25 15:37:11 11425 5

原创 extjs4可编辑表格优化

用过extjs4的同学应该都是奔着其好用的可编辑啊表格去的吧，虽然看着好用，但是用起来却伤痕累累啊。今天针对其最大的一个问题，大量数据（800以上）的表格进行编辑时，特别是在ie下，编辑单元格时，要4，,5秒才能编辑完成，这客户能接受？欲哭无泪吧。我下断点调试，从源码看，冒泡时间太多，最后发现是一个store的set方法占了很多时间。最后就是从extjs的可编辑表格编辑完成的先后事件来进行优化的。

2017-01-25 15:20:21 1328

原创 extjs4导入数据到表格控件

用extjs4件数据导入表格控件，数据量比较少的话，可以使用store的set方法赋值，但是当数据量达到一定级别（600条数据以上）时，导入就会非常慢，在ie下凸显的更明显。下面提供一种方法来进行大量数据的导入。思想：先remove掉之前的元素，再从root元素下一次性添加所导入的元素.看下面的js脚本，其实很简单，很粗暴，但是速度很快。有这方面问题的童鞋可以借鉴下。 /** * 填充jso

2017-01-25 15:04:26 615

原创 extjs4获取表格元素

用extjs4也有一段时间了，最近一直在用extjs4的可编辑表格，但是用的途中，照着api看，却发现有些函数功能无法使用.用的也有点痛苦.从今天开始，对extjs的小函数功能开始，方便以后开发使用。今天要介绍的是获取树形表格空间的所有元素.废话不多说了，直接上代码.//遍历treegrid的数据 var temptreebodesdata = [];//临时存储数据 /** *

2017-01-25 14:55:28 867

转载 JDK动态代理实现原理

之前虽然会用JDK的动态代理，但是有些问题却一直没有搞明白。比如说：InvocationHandler的invoke方法是由谁来调用的，代理对象是怎么生成的，直到前几个星期才把这些问题全部搞明白了。废话不多说了，先来看一下JDK的动态是怎么用的。 Java代码 package dynamic.proxy; import java.la

2016-12-23 11:04:42 346

原创 SoapUI压力测试的指标项说明

soapUI Pro指标项说明：Test StepSets the startup delay for each thread (in milliseconds), setting to 0 will start all threads simultaneously.minThe shortest time the step has taken (in mill

2016-12-01 17:13:10 619

转载 oracle中redo和undo的区别

redo--> undo-->datafileinsert一条记录时, 表跟undo的信息都会放进 redo 中, 在commit 或之前, redo 的信息会放进硬盘上. 故障时, redo 便可恢复那些已经commit 了的数据.redo->每次操作都先记录到redo日志中，当出现实例故障（像断电），导致数据未能更新到数据文件，则数据库重启时须redo，重新把数据更新到数据文件

2016-11-29 16:32:14 501

原创 activemq 控制面板里的 Number Of Pending Messages、 Messages Enqueued、Messages Dequeued含

Number Of Consumers 消费者这个是消费者端的消费者数量 Number Of Pending Messages 等待消费的消息这个是当前未出队列的数量。可以理解为总接收数-总出队列数 Messages Enqueued 进入队列的消息进入队列的总数量,包括出队列的。这个数量只增不减 Messages Dequeued 出了队列的消息可以理解为是消费这

2016-11-25 15:09:44 559

转载 Logstash实践: 分布式系统的日志监控

1. 前言服务端日志你有多重视？我们没有日志有日志，但基本不去控制需要输出的内容经常微调日志，只输出我们想看和有用的经常监控日志，一方面帮助日志微调，一方面及早发现程序的问题只做到第1点的，你可以洗洗去睡了。很多公司都有做到第2点和第3点，这些公司的服务端程序基本已经跑了很长时间了，已比较稳定，确实无需花太多时间去关注。如果一个新产品，在上线初期，我觉得就有必要做到第4点。

2016-11-25 09:37:56 805

原创 activemq订阅模式以及消息时长和确认机制

代码如下：[java] view plain copy package com.activemq; import org.apache.activemq.ActiveMQConnectionFactory; import javax.jms.*; public class TopicPub { pu

2016-11-24 17:43:45 2238

原创 ORACLE物化视图与视图区别

物化视图是一种特殊的物理表，“物化”(Materialized)视图是相对普通视图而言的。普通视图是虚拟表，应用的局限性大，任何对视图的查询，Oracle都实际上转换为视图SQL语句的查询。这样对整体查询性能的提高，并没有实质上的好。物化视图：是包括一个查询结果的数据库对像，它是远程数据的的本地副本，或者用来生成基于数据表求和的汇总表。物化视图存储基于远程表的数据，也可以称为快照！

2016-11-18 17:32:50 7738

原创 oracle表数据还原和恢复

一：表的恢复对误删的表，只要没有使用PURGE永久删除选项，那么从flash back区恢复回来希望是挺大的。一般步骤有：1、从flash back里查询被删除的表 select * from recyclebin2.执行表的恢复 flashback table tb to before drop,这里的tb代表你要恢复的表的名称。

2016-11-15 17:41:28 2720

原创 JPA事务和hibernate混合事务研究<一>

混合事务用起来确实是比较麻烦的事情，我也百度了下，基本上只看见了关于jdbc事务和jpa事务（hibernate事务）混合事务的介绍，以及用法，但是就是没有看到jpa事务和hibernate混合事务的用法说明的博客或者文章。关于JPA和hibernate我就不详细介绍了，理论上来说JPA规范，hibernate是其实现，混合起来使用应该没有那么麻烦，但是混合起来是个什么样的效果呢。下

2016-11-03 17:28:57 3649 2

转载 Java NIO：浅析I/O模型

也许很多朋友在学习NIO的时候都会感觉有点吃力，对里面的很多概念都感觉不是那么明朗。在进入Java NIO编程之前，我们今天先来讨论一些比较基础的知识：I/O模型。下面本文先从同步和异步的概念说起，然后接着阐述了阻塞和非阻塞的区别，接着介绍了阻塞IO和非阻塞IO的区别，然后介绍了同步IO和异步IO的区别，接下来介绍了5种IO模型，最后介绍了两种和高性能IO设计相关的设计模式（Reactor和Pr

2016-10-27 15:21:04 367

转载 JAVA 中BIO,NIO,AIO的理解

在高性能的IO体系设计中，有几个名词概念常常会使我们感到迷惑不解。具体如下：序号问题1什么是同步？2什么是异步？3什么是阻塞？4什么是非阻塞？5什么是同步阻塞？6什么是同步非阻塞？7什么是异步阻塞？8什么是异步非阻塞？散仙

2016-10-26 14:44:38 344

原创 TCP协议与UDP协议的区别

首先咱们弄清楚，TCP协议和UCP协议与TCP/IP协议的联系，很多人犯糊涂了，一直都是说TCP/IP协议与UDP协议的区别，我觉得这是没有从本质上弄清楚网络通信！TCP/IP协议是一个协议簇。里面包括很多协议的。UDP只是其中的一个。之所以命名为TCP/IP协议，因为TCP,IP协议是两个很重要的协议，就用他两命名了。TCP/IP协议集包括应用层,传输层，网络层，网络访问层。其中应用

2016-10-12 17:16:03 291

原创对JAVA集合进行遍历删除时务必要用迭代器

今天同事写了几行类似这样的代码：123456789101112public static void main(String args[]) { List famous = new ArrayList(); famous.ad

2016-09-29 17:02:46 1405

转载字符集进化史

很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们看到8个开关状态是好的，于是他们把这称为”字节“。再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来组合出很多状态，状态开始变来变去。他们看到这样是好的，于是它们就这机器称为”计算机“。开始计算机只在美国用。八位的字节一共可以组合出256(2的8次方)种不同的状态。他们把

2016-09-29 14:56:19 353

原创 python快速入门

初试牛刀假设你希望学习Python这门语言，却苦于找不到一个简短而全面的入门教程。那么本教程将花费十分钟的时间带你走入Python的大门。本文的内容介于教程(Toturial)和速查手册(CheatSheet)之间，因此只会包含一些基本概念。很显然，如果你希望真正学好一门语言，你还是需要亲自动手实践的。在此，我会假定你已经有了一定的编程基础，因此我会跳过大部分非Python语言的相关内容。

2016-09-28 09:22:08 853

原创 Axis1.4发布WebService

2016-08-30 13:57:59 4976 3

转载深入理解ThreadLocal

学习一个东西首先要知道为什么要引入它，就是我们能用它来干什么。所以我们先来看看ThreadLocal对我们到底有什么用，然后再来看看它的实现原理。ThreadLocal如果单纯从名字上来看像是“本地线程"这么个意思，只能说这个名字起的确实不太好，很容易让人产生误解，ThreadLocalVariable（线程本地变量）应该是个更好的名字。我们先看一下官方对ThreadLocal的描述：该类

2016-08-24 08:44:28 456

转载同一服务器部署多个tomcat时的端口号修改详情

同一服务器部署多个tomcat时，存在端口号冲突的问题，所以需要修改tomcat配置文件server.xml，以tomcat7为例。首先了解下tomcat的几个主要端口：其中8080为HTTP端口，8443为HTTPS端口 8005为远程停服务端口 8009为AJP端口，APACHE能过AJP协议访

2016-07-14 14:24:21 1930

log4j详细手册

qt音乐播放器

图书销售系统

多级反馈调度算法

C语言PDF，讲义

java图书管理系统

javacaculate

空空如也