CloudCraft-CSDN博客

原创 Elasticsearch+Logstash+Kibana配置

1. AWS EC2中安装需要的注意事项2. grok有哪些pattern?3. 如何丢失掉不需要的日志？4. 为什么索引的值不能做sum/average，为什么我的字段不是Number类型而是String？5. 怎么制作visualization?6. 如何配置kibana 4到apache上？

2015-08-03 12:13:12 2188

转载从Linkedin和Iron.io抛弃ruby说起

原文地址：http://robbinfan.com/blog/40/ruby-off-rails最近半年关于Ruby编程语言最负面的两条新闻莫过于2012年10月的报导：Linkedin从ruby迁移到node.js，30台服务器减到3台，以及2013年3月的报导：Iron.io从ruby迁移到Go，30台服务器减到2台node.js和Go都是最近两年服务器端高并发编程的热门语言，

2014-03-03 18:25:44 1329

转载 Java编程中“为了性能”需做的26件事

Java编程中“为了性能”需做的26件事摘要：最近的机器内存又爆满了，除了新增机器内存外，还应该好好review一下我们的代码，有很多代码编写过于随意化，这些不好的习惯或对程序语言的不了解是应该好好打压打压了。本文参考网络资源总结的一些在Java编程中尽可能要做到的一些地方。最近的机器内存又爆满了，除了新增机器内存外，还应该好好review一下我们的代码，有很多代码编写过

2014-03-03 18:24:37 694

转载一网打尽13款开源Java大数据工具，从理论到实践的剖析

一网打尽13款开源Java大数据工具，从理论到实践的剖析摘要：Java Code Geeks联合创始人Byron Kiourtzoglou近日发表文章，从理论到实践剖析了大数据的4个V，并于文章最后分享了Java工程师可能会需要的13个主流开源大数据工具。大数据几乎已成为所有商业领域共有的最新趋势，然而大数据究竟是什么？是噱头、泡沫，又或是真如传言一样的重要。事实上，大

2014-03-03 18:23:51 998

原创 Amazon AWS亚马逊云服务新服务简介(DynamoDB, Redshift,Kinesis)

Redshift现阶段我心目中的女神。和hadoop+Hive的结构相比，redshift能用1/4的价格达到Hive 20X的效率。觉得不可能？好吧，有的人说是10X效率的。最无法让人释怀的是：它支持SQL！！！当在经过这两年写couchDB的view(用javascript)，到写SimpleDB的find，到写dynamoDB的那不知道算什么东西，到写Hive之后，你真的不知道写SQL是多么美妙的事情。。。。什么样的应用适合使用Redshift？AWS的架构师给我的标杆是“应用是否以聚合类计算为

2014-03-03 18:11:07 5509

原创 Linux环境常用工具

服务器端常用的系统之一是Linux，对于偷懒的用户，可以在自己电脑上也使用linux，这样可以减少学习成本：）发行版选型：名目众多，日常使用推荐ubuntu LTS版（安装学习成本低，社区支持大）；学习折腾推荐使用Gentoo/Arch（确保有时间）；其余根据口味选择各自喜欢的发行版。日常生活的方方面面中，linux基本也有相应的工具提供：视频/音频：mplayer（大而全

2013-12-15 13:36:48 1021

转载 Turbolinks 并不糟糕

Turbolinks 是 Rails 4.0 的默认组件，我用上的时间大概比 Rails 4.0 的发布提前了半年，所以我写了一些文章介绍 Turbolinks 的用法和要避免的陷阱，这样后来用上的人就可以不掉到这些陷阱里。我并不意外看到这样的评论：Turbolinks 不好我是不会用的，简直就是鸡肋我不打算成为 Turbolinks 的鼓吹者，不止一种方法

2013-11-08 20:56:45 1507

原创 mongodb增删改查

闲着没事干，自己用了下mongodb 写了点 mongodb的增删改查代码如此啊有注解，自己看吧package com.xiaochen.test;import com.mongodb.*;import com.mongodb.util.JSON;import org.bson.types.ObjectId;import org.junit.After;import o

2013-10-25 14:18:02 2461

转载 Android系统分区理解及分区目录细解

Android 通常有以下分区：System分区: 就是我们刷ROM的分区Data分区: 分区就是我们装APK的分区Catch分区：是缓存分区SDCard分区：就是挂载的SD卡。我们可以在adb中使用df 来查看分区情况。1、跨分区不能用 MV命令来拷贝。但是可以用CP命令。如PWD，当前目录为：/data/local/tmp 。

2013-10-24 22:05:06 4817

原创关于做survey的

做survey遇到一个比较重要的问题：为了获得填写者的信息所以题目要设成必填，但是根据个人不同情况有些题目会隐藏而不能设成必填不然问卷无法提交。这就产生了一个矛盾：是将那些题目设成隐藏不必填而导致一部分填写者漏填缺失信息还是将题目设成必填不隐藏使没有那些情况的填写者为了提交问卷而乱填，显然这两种都不是什么好的解决方案。既然隐藏的题目因为没有填而无法提交，那么只要想办法让那些题目有值就行了，而触

2013-10-22 18:56:09 1644

原创 java值传递

Java使用按值传递的函数调用方式，这往往使我感到迷惑。因为在基础数据类型和对象的传递上，我就会纠结于到底是按值传递，还是按引用传递。其实经过学习，Java在任何地方，都一直发挥着按值传递的本色。首先，让我们看一看基础数据类型是如何按值传递的。public static void main(String[] args) { int a = 2; calculate(a)

2013-09-24 23:53:37 2057

原创使用java连接hive，并执行hive语句详解

安装hadoop 和 hive我就不多说了，网上太多文章自己看去首先，在机器上打开hiveservicehive --service hiveserver -p 50000 &打开50000端口，然后java就可以使用java连了，需要的jar包我发个图片就这多jar包，必须的不多说，直接上代码package asia.wildfire.hiv

2013-09-24 23:46:59 6470 5

原创使用spring 并加载模板发送Email 发邮件 java 模板

以下例子是使用spring发送email，然后加载到固定的模板，挺好的，大家可以试试需要使用到spring-context 包和 com.springsource.org.apache.velocity-1.6.2.jar 其他都是常用包，自选，包括commons 系列包代码如下package asia.wildfire.mail;import java.io.File;

2013-09-24 23:40:11 6485 1

原创 JavaScript实现联动选择

最近在项目中负责做了一个规则配置的模块，不同的参数配置不同的规则，不同的一级参数配置不同的二级参数，规则之间的逻辑关系存取等。于是搜集了一些js实现联动选择的方法，在这里与大家分享。1. 静态联动选择这里说的静态联动选择是指我们的第一级选择参数对应哪些二级参数是静态的，最常见的实例就是日期和省市的选择：对于类似这样的需求，我们可以事先将不同参数之间对应的二级参数定义好，如日期选

2013-09-24 23:32:32 2342

转载 MySQL批量SQL插入性能优化

对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。经过对MySQL innodb的一些性能测试，发现一些可以提高insert效率的方法，供大家参考参考。1. 一条SQL语句插入多条数据。常用的插入语句如：

2013-09-24 22:51:16 875

原创 ubuntu安装zabbix

1.安装apache、php5、mysqlsudo apt-get install apache2sudo apt-get install php5sudo apt-get install libapache2-mod-php5sudo /etc/init.d/apache2 restart // 重启apache，此时php5已经可用了sudo apt-get install

2013-08-27 07:57:09 4798

原创 ruby复制对象的方法(dup 和 clone)

Ruby内置的方法Object#clone和Object#dup可以用来copy一个对象，两者区别是dup只复制对象的内容，而clone还复制与对象相关联的内容，如singleton method[ruby] view plaincopyprint?s = "cat" def s.upcase "CaT" end s_dup = s.dup s_clone = s.

2013-08-26 16:08:28 7129 1

转载通过Gearman实现MySQL到Redis的数据同步

对于变化频率非常快的数据来说，如果还选择传统的静态缓存方式（Memocached、File System等）展示数据，可能在缓存的存取上会有很大的开销，并不能很好的满足需要，而Redis这样基于内存的NoSQL数据库，就非常适合担任实时数据的容器。但是往往我们又有数据可靠性的需求，采用MySQL作为数据存储，不会因为内存问题而引起数据丢失，同时也可以利用关系数据库的特性实现很多功能。

2013-08-25 19:41:29 4241

转载 android之发送短信的方法研究

android中可以通过两种方式发送短信第一：调起系统发短信功能；主要代码如下：[java] view plaincopyprint?Uri uri = Uri.parse("smsto:10010"); Intent it = new Intent(Intent.ACTION_SENDTO, uri);

2013-08-23 09:26:25 4903 1

转载谈谈我对CallBack的理解_回调函数的意义和用法

CallBack是回调的意思，一般称之为回调函数百科的解释:http://baike.baidu.com/link?url=8yMUwVEFRzxR4JGMxVN_UnFgJIH4WTnsybuW5NfwgKqVKP8NtShfJnNNeY9mBzRT用一个比较形象的例子:你饿了,想吃饭,就一会去问你妈一声"开饭没有啊?"这就是正常函数调用.但是今天你妈包饺子,花的时间比较长,

2013-08-23 09:23:43 1733

原创 Rails 数据库学习笔记

大家都知道Rails框架的强大、简单和优雅，所以闲话不多说，总结一下最近学习到用到的Rails在数据库上的一些基本操作方法。1. 在Rails项目中实现多个数据库的连接在rails项目中通常会设置development、test和production三种环境，分别对应我们开发、测试和正式的三种环境。在项目的数据库配置中通常也会设置三种环境下的数据库连接，如在我们的databas

2013-08-22 23:25:19 964

转载 Ruby中的Rake任务详述

转自：http://blog.csdn.net/liuxiaochen123/article/details/8927912Rake简介Rake和Make及AntRake的意思是Ruby Make，一个用ruby开发的代码构建工具。Rake的英文意思是耙子，一种很朴实的劳动工具。真的是很贴切，Rake正是一个功能强大、勤勤恳恳的劳动工具。但是，为什么Ruby需要Rake

2013-08-22 19:15:03 892

原创 ruby变量详解(收集+整理)

ruby的变量有局部变量，全局变量，实例变量，类变量，常量。1、局部变量局部变量以一个小写字母开头或下划线开头局部变量有局部作用域限制（比如一个block内），它的作用域起始于声明处，结束于该声明所在的块、方法定义、类/模块定义的结尾。大家在写代码时经常这样写： irb(main):001:0> i=123 ---------- 这里的i就是局部变

2013-08-22 13:09:08 1996

原创 REST四种请求(get,delete,put,post) 收集整理之一

资源是REST中最关键的抽象概念，它们是能够被远程访问的应用程序对象。一个资源就是一个标识单位，任何可以被访问或被远程操纵的东西都可能是一个资源。资源可以是静态的，也就是该资源的状态永远不会改变。相反，某些资源的状态可能随着时间推移呈现很大的可变性。这两种类型的资源都是有效的为了简化整体系统架构，REST架构风格包含了统一接口的概念。统一接口包含一组受限的良定义的操作，由它

2013-08-19 22:35:07 8129 1

原创 linux的screen命令使用详解

系统管理员经常需要SSH 或者telent 远程登录到Linux 服务器，经常运行一些需要很长时间才能完成的任务，比如系统备份、ftp 传输等等。通常情况下我们都是为每一个这样的任务开一个远程终端窗口，因为它们执行的时间太长了。必须等待它们执行完毕，在此期间不能关掉窗口或者断开连接，否则这个任务就会被杀掉，一切半途而废了。GNU Screen是一款由GNU计划开发的用于命令行终端切

2013-08-18 21:12:53 1134

转载 Git详解之Git基础

读完本章你就能上手使用 Git 了。本章将介绍几个最基本的，也是最常用的 Git 命令，以后绝大多数时间里用到的也就是这几个命令。读完本章，你就能初始化一个新的代码仓库，做一些适当配置；开始或停止跟踪某些文件；暂存或提交某些更新。我们还会展示如何让 Git 忽略某些文件，或是名称符合特定模式的文件；如何既快且容易地撤消犯下的小错误；如何浏览项目的更新历史，查看某两次更新之间的差异；以及如何从远程

2013-08-18 21:06:39 1180

原创 rails 中 create, new, build, save 的用法以及误区汇总

自己很初级，初级的不能再初级，所以初次接触rails的时候，对于里面的create，new，build等方法不是很了解，用的很混乱，导致经常出现不必要的bug，很苦恼，决定，总结一下，结合网上已有资源，深入理解下向数据库插记录时经常会用到new, build, create。这三个方法很容易混淆save：rails中的save其实是create_or_update，新建或修改记录！

2013-07-24 23:50:38 3320

原创 ruby on rails 中render的使用

最近写ror，因为比较菜，很多东西不知道，只能看一点查一点了render 先上点搜集的常用方式render :action => "long_goal", :layout => "spectacular"render :partial => "person", :locals => { :name => "david" }render :template => "weblog/show

2013-07-24 23:23:20 3715

翻译 Gamification：使用游戏策略影响用户行为的入门介绍(1)

Gamification101: An Introduction to the Use of GameDynamics to Influence BehaviorGamification：使用游戏策略影响用户行为的入门介绍原文见附件ppt，此次翻译仅为第一部分。后续会跟上。Gamification在你的网站、服务、社区、内容或活动中融入游戏策略来增强参与性。

2013-07-22 18:15:57 1742

原创自己总结的ruby on rails 查询方法

闲来无事，结合以前的代码，总结了ruby on rails的查询方法，方便自己以后查看，也方便后来人，如下，欢迎批评指正1::simpleDB modules = find(:all, :conditions => ["site_id != '' and next_crawl "next_crawl") modules = Module.find(:all, :conditions =>

2013-07-16 15:08:39 3089

原创 mysql出现Waiting for table metadata lock的原因及解决方案

最近经常遇到mysql数据库死锁，郁闷死，show processlist; 时 Waiting for table metadata lock 能一直锁很久下面有官网的一段话，可以理解下http://dev.mysql.com/doc/refman/5.5/en/metadata-locking.html8.10.4. Metadata LockingMySQ

2013-07-16 15:06:23 17014

原创 Vim三十分钟入门教程前篇

这篇教程希望可以在短期内给希望使用Vim做处理，以及对Vim基础的一些命令不是很了解的使用者一个尽量简短的入门教程。Vim是...?Vim(Vi iMprove)是从vi("Visual"的不正规缩写)发展出来的一个文本编辑器。代码补完、编译及错误跳转等方便编程的功能特别丰富，在程序员中被广泛使用。和Emacs并列成为类Unix系统用户最喜欢的编辑器。 (来源wiki)

2013-05-29 17:42:24 1320

翻译 Chrome DevTools —— Mobile Emulation

Mobile emulationContentsEmulating Touch Events （模拟触摸事件）Emulating Device Viewports （模拟设备窗口）Device Geolocation Overrides （重写设备地理位置）Device Orientation Overrides （重写设备定位）

2013-05-29 00:09:58 9628

翻译 Play!Framework vs Ruby on Rails

Play!Framework vs Ruby on RailsPosted by Dillon in ProgrammingOver the past few months I’ve been playing a lot with web frameworks – and if you’re just starting out, let me tell you: there’s a

2013-05-28 23:01:23 2319

原创跨域请求解决方法(JSONP, CORS)

一个众所周知的问题，Ajax直接请求普通文件存在跨域无权限访问的问题。解决方法有JSONP，Flash等等。JSONP我们发现，Web页面上调用js文件时不受是否跨域的影响，凡是拥有"src"这个属性的标签都拥有跨域的能力，比如、、。那就是说如果要跨域访问数据，就服务端只能把数据放在js格式的文件里。恰巧我们知道JSON可以简洁的描述复杂数据，而且JSON还被js原生支持，所以在客户端几乎

2013-05-28 22:02:07 34124

原创 EMR+DynamoDB+Hive 15分钟入门

amazon emr 相当于一个已经安装配置好的 Hadoop 集群。所有在普通Hadoop集群上能做的事情在 emr 上面基本都能做。DynamoDB 是一个 k-v 的 no-sql 数据库。它的特点主要是使用了 SSD 进行存储，所以对于一般的请求一般在 10ms 就可以完成了，而且请求的速度不会随着数据量的增加而缓慢。Amazon 把 emr 和 Dynamodb 进行了深

2013-05-25 16:20:14 2961

转载 Apache ab测试解析

2013-05-22 11:15:36 816

原创 Play framework 2.x 连接mysql

笔者所使用的系统为64位 windows7。本文假设java1.5版本以上环境已经搭好，play 框架已经下载至本地。首先我们创建一个项目。命令行进入play的目录命令：play new demo 再次输入项目名字输入2 选择java项目创建完成界面OK，一个play框架下的java项目就创建完成了，首先看一下我们创建

2013-05-19 02:35:05 4782

转载计算机如何未卜先知

原译文地址： http://article.yeeyan.org/view/123740/108260作者：Lev Grossman 2010年5月27日，星期四照片由C.J. Burton提供给《纽约时报》做个试验：试着不把一首歌当做单纯的歌曲，而想象成各种不同音乐属性的集合这首歌可能有政治性的歌词。它只是歌的一个属性。歌曲中可能有警笛鸣响、令人印象

2013-05-09 18:46:33 1284

翻译使用RAMP理解内在动机 Understanding Intrinsic Motivation with RAMP

使用RAMP理解内在动机原文地址关于Gamification中的外在奖励和内在动机我们讨论了很多了。这种讨论总是像在讨论好的和坏的方式。我对于之前这样讨论常常感到内疚！其实最好的是两者皆有，但是内在的动机确实是长久的、真实的互动的来源。定义内在动机什么是内在动机？Chambers.co.uk给了我们内在和动机的定义：内在：属于某个事物或某个人

2013-05-08 10:31:59 2268

win7 64bit mysql+php

win7 64bit apache2

空空如也