fengyun14-CSDN博客

原创我的kafka JAVA调试代码

kafka 是很好的供所有分析库从生产库多次提取数据的中转库，特别是kafka 0.9后出现的kafka connect，个人认为能作为实时的ETL工具。另外，kafka和storm都是流，但kafka不处理数据，storm可在kafka的基础上处理数据。storm在原理上和hadoop的mapreduce差不多，都有map reduce的过程，只是hadoop处理完一次MR后，就会结束，但storm不会结束，除非手动kill。个人认为，对于每次都是处理结构化数据的工作，可以不用storm。下面是kaf

2016-06-23 22:04:28 2031

原创我的SPARK调试java代码

仅供自己参考，其他人可能看不懂。import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.mllib.rdd.RandomRDD;import or

2016-06-23 21:53:58 1102

原创 spark、hive、impala、hbase、gbase在结构化数据方面查询原理对比(含parquet/orc)

spark、hive、impala、hbase、gbase在结构化数据方面查询原理对比(含parquet/orc)

2015-12-11 23:26:49 13061

原创 kettle变量及常用备注

我以前使用Talend作为ETL工具，但总感觉非常麻烦，特别是在变量方面，而且网上也没多少资料，我的文章反倒被看了不少；书也没有。后来接触kettle，感觉上手非常快，但和talend比起来，有一个缺点，就是容易死，而且死后不报警。下面是在使用kettle中的总结的一点经验。1、命令行窗口执行kettle。绝大多数kettle操作员，仍然在那个耗费内存的窗口界面中执行命令，导致靠人工天天监控，

2015-09-28 23:10:29 4639

原创 Hadoop Spark 集群简便安装总结

Hadoop 安装简单说就是：ssh、配JAVA_HOME / HADOOP_HOME等profile参数、配数据存放目录 / MR要用yarn 及 master是谁。本文还提供涉及到的文件下载。

2015-07-05 02:03:48 8794

原创 actionscript3写飘雪花程序，为培养孩子编程兴趣

本周，上4年级的小孩开始学方程式，用到了代数。为了方便孩子理解，并学以致用，打算教他一点编程。程序的选择上不能太难，比如JAVA、C#应该不行，学习javascript应该行，但是会比较枯燥，于是决定让他玩玩FLASH。虽然随着HTML5 的兴起，FLASH正在没落，但FLASH却简单易懂，并且还能帮助孩子画画。这次编程选择了飘雪花的程序，虽然简单，但内容却还比较全，涉及了：

2015-05-07 21:27:47 2285

原创私网安装Ambari实现Hadoop、Hbase等自动化安装(离线本地源)

这几天一直尝试通过安装Ambari来实现HBASE的分布式安装，但因为是私网，而安装过程都需要yum安装（yum安装和rpm包安装的区别就是一个网上安装一个离线安装），所以调试了好几天，最终配置了本地yum源特别是操作系统本地源，才得以安装成功，记下来。我这是安装概述和注意事项

2015-03-23 13:42:59 9932

转载 SQLServer2008-2012资源及性能监控

http://blog.csdn.net/dba_huangzj/article/details/8614817

2014-05-27 18:17:14 1186

原创 SQL SERVER 2012 的分页方法创新版

关于SQL SERVER的分页方法，早在2004年，我就写了分页算法，

2014-05-08 21:11:04 2308

原创 ORACLE和SQL SERVER 分区索引的区别

ORACLE和SQL SERVER都可以建立与表分区不一样的

2014-05-07 13:23:55 2218

原创 talend的常用控件使用教程

1、建立作业，然后在“元数据”下，配置数据库连接。2、元数据。元数据是将常用的schema“结构”（即数据结构，或者是数据库的表结构）。在这里配置后，对常用的配置，可以免得以后在作业设计时再配置。3、input是针对该软件的input，实际是数据库的抽取功能；output，实际是写入功能。4、如果想input到另外一个数据库的output，那么必须二者的schema结构一模一样，或者基

2014-03-24 20:49:29 22605 3

原创 talend中的传值

1、如果你想写到context中去，就要先在“上下文”中定义变量，并拖到作业中；无论你如何从数据库提取哪些字段，都必须要有key和value字段（其中key外面要用中括号 [ ]，否则key作为数据库关键字无法引用，如：select 'abc' value,'mykey' [key] ），然后还要利用 tcontextLoad 控件来引入。引入后，引用方法：context.mykey。2、如果

2014-03-21 11:36:47 3131

原创 SQL SERVER的表锁

为提高数据库表效率，可以不使用表锁。使索引的中2个含lock的选项为OFF。创建分区表后，使用：ALTER TABLE Person.AddressSET (LOCK_ESCALATION = AUTO)这样可以使表设定在分区，而不是默认的表锁。

2014-02-24 20:12:21 670

原创用半行代码实现在LINUX(SUSE/RH)下安装ORACLE 12C

最近新到单位的朋友总是抱怨在LINUX下安装ORACLE，实在是太麻烦了，而且这些步骤既不知是什么意思，也记不住；索性，我就分析了一下，经过实践，实现了只用半行代码（确切的说，只消4个字母）就可实现在LINUX下的ORACLE 安装了。 1、建立用户oracle（什么名字都行）。 2、将桌面环境切换到新建的oracle用户。注意，不是用代码切换，从图形界面中选择切换用户。3、写4个代码（./ru 然后按Tab 键）实现安装ORACLE。

2014-02-21 00:33:06 3288

转载基于SSD固态硬盘的数据库性能优化

NOR和NANDNOR和NAND都是闪存技术的一种，NOR是Intel公司开发的，它有点类似于内存，允许通过地址直接访问任何一个内存单元，缺点是：密度低（容量小），写入和擦除的速度很慢。NAND是东芝公司开发的，它密度高（容量大），写入和擦除的速度都很快，但是必须通过特定的IO接口经过地址转换之后才可以访问，有些类似于磁盘。我们现在广泛使用的U盘，SD卡，SSD都属于NAND类型，

2014-01-23 17:03:05 8724

原创装修心得体会（家装团购实战版）

经过3个月的前期准备，和2个月的装修实战，家里基本装修差不多了。虽然有较多的前期准备，但装修过程中还是难免有一些遗憾，现记录下来，以备后用，或给大家提个醒。我原本是要找个装修公司的，因为我对装修一无所知；原本想找一家能28800元就能全包的，可遗憾的是，这家公司倒闭了（近来才看到，原来是搬家了）；之后我找了一家公司了解装修费用，人家给我报了很高的价格，后来我才知道，这家公司基本

2014-01-02 21:48:08 2327

原创 c#中反射的用法（即如何根据字符找到已定义的变量）

常常羡慕javascript中，用$('#ab')，即可找到某个变量或控件，然后赋值或取值。而c#这种静态语言就不好办了，但其有反射，可以达到目的。反射要先：1、引用using System.Reflection; 2、定义一个类。举例如下： public class ids { public string id1="a", id2="a", id

2013-07-20 08:06:52 4126

转载 sql中case的用法

Case具有两种格式。简单Case函数和Case搜索函数。 --简单Case函数CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女'ELSE '其他' END--Case搜索函数CASE WHEN sex = '1' THEN '男' WHEN sex = '2' THEN '女'

2013-06-14 15:13:23 752

原创 .NET FrameWork 各版本程序的兼容测试

我用VS2012写了一个程序，结果无法部署到 WINDOWS XP上，于是，就测试了一下.NET程序的兼容情况：1、.NET 4.5 无法在 .NET 4 上运行。即使将 XX.exe.config 中：，4.5改为4.0，也仍然运行不了。2、.NET 2.0程序不可以在只安装了.NET 4.0的机器上运行，但可以在.NET 3.5上运行。其实能在.NET 3.5上运行的根本原因是，.

2013-06-14 09:20:29 7146 1

原创装修文章心得体会

一、交房1、开发商应主动向购房者出示建设工程质量检验合格单和商品房房地产权证（大产证），不出示的，购房者可以拒绝验收。2、根据《商品住宅实行住宅质量保证书和住宅使用说明书制度的规定》等相关法规，商品房交付使用时，应当提供住宅质量保证书和住宅使用说明书。3、开发商已取得国家认可的专业测绘单位对面积的实测数据，看是否与购房合同中约定的有出入。4、①看门窗是否开合顺畅、方便锁闭，配套钥匙

2013-06-07 15:22:34 1227

原创 Android Studio 在内网的使用方法（离线使用gradle）

Android Studio，在15号左右发布了，这让程序猿们都很高兴，我也马上下载，并安装了，期间遇到了很多困难，汇总如下：一、无法运行问题。悲剧的是，我家里的XP无法运行，后来看了别人的文章（很高兴，这么快就有人写心得了），才知道原因，但主要原因：需要增加 ANDROID_HOME 变量，看说明是，只要有JAVA_HOME就行，但实际却是，增加了这个 ANDROID_HOME 就好

2013-05-20 21:24:21 45625 1

转载 ASP.NET MVC Web API - 利用jQuery進行CRUD

( 這篇文章主要來源為ASP.NET官網的教學，在經過小弟的改編與添加一堆雜七雜八的東西XD )前期提要通常漫畫前面都會有一個前期提要，畢竟前篇拖的時間也有點久了，所以這邊就稍微的劇情回顧一下吧XD，首先，我們談到ASP.NET MVC Web API，其實Web API就是透過HTTP的一個Web Service，所謂的Service，就是一個服務窗口，你可以透過這個窗口進行某些事情 (

2013-03-05 15:27:04 2287

转载 .NET 网站自动登录

首先，我们先定义一些变量：C# codeprivate const string NET_SESSIONID= "ASP.NET_SessionId=";private const string CLIENTKEY = "ClientKey=";string aspcookie = "";private string html = "";private string ses

2013-02-27 09:37:42 1523

原创 easyui中edatagrid 的正确用法

这个easyui中的 edatagrid，我刚看到的时候，给了我惊喜，很方便，但在测试的时候，才发现怎么也使用不好。新加记录好办，但我更新时，系统却仍然找到我的saveUrl，就是新记录，应该update，却实际 insert。让我苦恼不已。经研究发现，需要每次添加记录、修改记录后，返回本行的JSON，起码是带有唯一标示的JSON，如:{"uuid":"lerjktl34t5lljtl

2012-11-18 00:53:30 9142

原创用java servlet返回jquery异步调用后出现的data不等于想要的内容问题的解决

在用jquery异步调用程序后返回的data： $.post('xx.ashx', function(data){ alert(data); if(data="NO") alert('出现问题了'); });原来用.NET执行这段程序是没有问题的，可现在用JAVA就出现问题了。明明看到返回的内容是“NO“，可系统就是认为他们不等于。我还以为是javascript的比较符问题呢。研究了快

2012-11-18 00:47:45 1030

原创 javascript中的null 和 undefined 的用法(JSON中）

javascript中的null 和 undefined，总是困扰着我，下面总结如下，以备查询。在JSON里面，如果没有这个节点，你却用到了这个节点的某个属性，就会出错，但不报错。正确的办法是先判断是否有该节点，然后再判断属性。1、节点的判断是用 null 。可以写： if ( ! Nodeselect )。这就表示不为null 了，也可以写为 !==null，但有时会出错。2、

2012-11-14 21:55:51 4053

原创 proxool与c3p0在使用中遇到的问题与解决办法

proxool与c3p0哪个效率高？仁者见仁，智者见智，我没测试不敢说，好像c3p0名声更大一些，于是采用了c3p0.。结果，这个家伙在网页里嵌套执行servlet，然后servlet来执行这个命令，怎么都不行；最后写了另外一个类，来执行，竟然OK，后来发现，在哪里任何类中调试都OK，哪怕是servlet中新建一个main来执行，都OK，但就是用doget()或dopost()中不行，死活不行

2012-11-03 17:18:23 683

原创工作中用到的SQL语句

1、统计每人涉及多少次案件的语句。张三，4101，A张三，4101，A李四，5101，B张三，4101，C赵六，6101，Cselect count( disctinct( 涉及案件 )) 涉案数，身份证号 from t group by 身份证号结果：涉案数身份证2 41011 51011

2012-08-28 09:15:32 593

转载 ORACLE的分页语句

原来在SQL SERVER中写过分页语句，比较麻烦，因为ORACLE没有TOP命令，所以认为ORACLE分页一定很难，但今天见了一条语句，很好玩，也好使，就记下来了。select * from( select rownum r, field1,field2 from table_name where rownum <= page* rows ) where r >

2011-12-25 00:07:09 610

原创 jQuery及EasyUI学习心得

在VS2010中，如果不能智能提醒，就先要确保JS文件被引入，然后再多次点击“编辑”》》“IntelliSense"》》更新JS。一、JQUERY部分：1、在中，如果是需要页面打开就要载入的，需要先写：$(function(){});然后把需要变成EasyUI的input或div等的ID写入其中，否则他们不能变成你想要的插件。当然，其他的函数，如onclick()，就要写到

2011-12-24 13:09:10 4049

原创某个身份证号出现多次

自己想的，尚未验证。select 身份证号,count(身份证号) 次数 from(select distinct 身份证号 from 表 where 日期='20100101' union allselect discinct 身份证号 from 表 wher

2011-09-27 15:12:45 1036

原创 ASP.NET变量的作用域

ASP.NET不用于delphi等WinForm，因为桌面程序是面向一个用户，而ASP.NET是面向多个用户。所以，当你在程序中的class下，在方法、函数前写变量是，虽然是全页变量，但只要页面刷新，这个新赋值的值都会丢失。如： public class alon

2011-08-30 22:19:33 3693 2

原创通过Linq来获取数据库中的所有表及其字段名称

static void Main(string[] args) { DataClasses1DataContext dc = new DataClasses1DataContext(); Console.WriteLine("Database: {0}", dc.Mapping.DatabaseName);//数据库名称 Console.WriteLine("The table coun

2011-05-04 12:32:00 5022

转载 Flex页面的切换

目前学习到的方法主要有下面几种: 1.navigateToURL 通过设定URL路径，进行页面切换 <?xml version="1.0" encoding="utf-8"?> <mx:Application xmlns:mx="http://www.adobe.com/2006/mxml" layout="absolute"> <mx:Script> <![CDATA[ private function Lin

2011-04-19 07:59:00 861

原创 FLEX事件中几个概念的理解

你可以将事件对象本身传递给方法.每当组件触发一个事件,这个组件都会发送一个Event类型的对象,所有事件监听对象都可以接受.例如:

2011-04-07 22:37:00 918

原创 .NET学习心得点滴

1、C#程序是一组类型声明。（C程序时一组函数和数据类型，C++程序时一组函数和类）这里的类型是指type，包括：(1)预定义类型：int、bool、string 等；（2）用户定义类型：类类型(class）、结构（struct）、数组（ARRAY）、枚举(enum)、委托(delegate)、接口(interface)、泛型。类型通过类型声明创建，包含：(1)要创建的类型的种类；（2）新类型的名称；（3）对类型中每个成员的声明（名称和规格）。array和delegete类型除外，他们不含有命名成员。一旦声

2011-04-05 16:59:00 731

FLEX的ASCB函数包

空空如也