yangning5850-CSDN博客

原创 windows下配置网络代理

由于公司网络环境是通过代理访问外网的，所以在ie配置中需要勾选“自动检测设置”。作为一个职场菜鸟，一直不知道这个自动检测设置的机制，所以查了一些资料，下面简单总结一下。如果有不对的地方，还请大家指正，共同进步关于这个自动检测设置，在 http://msdn.microsoft.com/en-us/library/fze2ytx2(v=vs.110).aspx 中给出了答案。它就是win

2014-03-28 17:10:24 7218

原创 MongoDB Java API查询实现

最近在学习MongoDB的JAVA API，便于以后查阅，总结java中实现MongoDB查询的实现方式：总的来讲，java api中的BasicDBObject相当于mongo命令中的大括号"{}"，BasicDBList相当于中括号"[]"，这样就比较容易理解下面的语句了。1.创建连接import com.mongodb.MongoClient;import com.mo

2014-02-06 18:46:06 4115

原创 eclipse_javaEE配置中的常见问题及解决办法

为了总结经验，便于以后查阅，特总结如下：一、Eclipse Kepler配置Tomcat 7（Windows环境）： 1、创建server以后，无法访问http://localhost:8080 解决办法：在系统环境变量里面配置CATALINA_HOME即可。本文章将不断维护更新，如有不妥之处，还望批评指正，谢谢~

2014-01-10 10:32:00 4273

转载 Postgresql 编译问题

转自：http://blog.knowsky.com/211553.htm，以备以后查阅方便。在运行./configure编译Postgresql时可能会遇到如下问题：问题1：configure: error: readline library not foundIf you have readline already installed, see config.log

2013-12-15 18:10:55 1327

原创 Shell编程经验总结

这篇博客将持续更新，用于记录自己在shell编程中遇到的问题～1. 多个子shell命令调用如果在一个shell里面调用了多个其它的子shell，注意是否需要在调用之间增加sleep。问题举例：在编写postgresql测试脚本的时候，在一个shell里面需要后台启动postgres进程，然后再调用psq执行命令，代码如下：bin/postgres -D mydb >logf

2013-09-21 15:26:18 1191

Splunk对于各种日志的监测非常好用，个人感觉它与Ganglia的最大不同点在于：Ganglia只是采集实时的数据并显示，不会对这些数据进行存储和备份，但是Splunk会将监测到的数据进行存储，并对这些数据进行有效的索引。另外，Splunk对于日志数据的分析功能也十分强大，它支持对于日志信息的检索，它定义了一种类似SQL语句的查询语法，能够针对日志数据中的不同字段进行查询。当然，你可以根据需要认

2013-08-29 22:22:52 5545

转载 shell字符串操作

来自：http://www.cnblogs.com/chengmo/archive/2010/10/02/1841355.html在做shell批处理程序时候，经常会涉及到字符串相关操作。有很多命令语句，如：awk,sed都可以做字符串各种操作。其实shell内置一系列操作符号，可以达到类似效果，大家知道，使用内部操作符会省略启动外部程序等时间，因此速度会非常的快。一、

2013-08-21 16:17:45 918

转载 shell编程学习

来源：http://wiki.ubuntu.org.cn/Shell%E7%BC%96%E7%A8%8B%E5%9F%BA%E7%A1%80#Shell.E9.87.8C.E7.9A.84.E6.B5.81.E7.A8.8B.E6.8E.A7.E5.88.B6我们可以使用任意一种文字编辑器，比如gedit、kedit、emacs、vi等来编写shell脚本，它必须以如下行开始（必须放在

2013-08-20 10:43:01 816

翻译 Oracle基本表压缩（Basic Table Compression）

翻译来源：http://docs.oracle.com/cd/E11882_01/server.112/e25494/tables002.htm#CJAGFBFGOracle支持在表空间（tablespace）、数据表（table）和分区（Partition）级别的压缩，如果设置为表空间级别，那么默认将该表空间中的全部的表都进行压缩。压缩操作可以在数据单条插入、数据修改和数据批量导入时发生

2013-07-12 21:24:48 4851

原创 Hadoop学习——HDFS中的Snapshot和Checkpoint

Snapshot（快照）：在数据库或者文件系统中，一个快照表示对当前系统状态的一个备份，当系统发生故障时，可以利用这个快照将系统恢复到产生快照时的样子。Checkpoint（检查点）：因为数据库系统或者像HDFS这样的分布式文件系统，对文件数据的修改不是直接写回到磁盘的，很多操作是先缓存到内存的Buffer中，当遇到一个检查点Checkpoint时，系统会强制将内存中的数据写回磁盘，当然此时才

2013-07-09 22:05:02 5005 5

原创 Hadoop学习——HDFS数据存储和删除

HDFS中的数据都是分块存储的，默认块大小为64M，这个值可以从hdfs配置文件中更改dfs.blocksize。这样分快处理的好处是可以增加读取数据的吞吐量，因为可以同时从读取文件的不同分块。一、数据写入在客户端想HDFS写数据的过程中，主要分为下面几个过程：客户端将数据缓存到本地的一个临时文件中；当这个本地的临时文件到达HDFS中的块大小限制时，客户端访问Namenode，

2013-07-09 10:39:17 12157

原创约瑟夫问题与递归思想

今天看了一道算法问题：n个人（编号0~(n-1）），从0开始报数，报到m-1的退出，剩下的人继续从0开始报数，求胜利者的编号。其实这是一个约瑟夫（ Josephus problem）问题，原始的想法是采用数组或者链表结构模拟整个过程，总的时间复杂度为O（mn）。后来看到更好的解法，采用递归思想，它是这样描述的（引用：http://baike.baidu.com/view/213217.htm）

2013-07-08 23:51:00 4135

原创 Hadoop学习——HDFS数据备份与放置策略

对于分布式文件系统来说，为了保证数据的高可用性和系统容错能力，往往会把同一数据块在多个节点上进行备份，那么如何分配这些复制数据的位置，不同的文件系统会有不同的策略。一、业界分析在介绍HDFS之前，先简单了解一些其它文件系统的放置策略：1. Lustre——一致性哈希环对于不同的数据备份，需要放到不同的节点上面，一种直观的想法就是利用Hash函数，这样可以把每个备份id对应到一个哈希

2013-07-07 10:27:27 20217

原创 Hadoop学习——HDFS系统架构

Hadoop的分布式文件系统HDFS主要是借鉴了Google发表的论文：The Google File System。该文件系统最大的优点是可以利用很多低配的计算机搭建高扩展和高容错性的分布式文件系统，另外，HDFS放宽了POSIX关于I/O的规定，因为HDFS需要解决的是write-once-read-many问题，所以串行化和流处理技术被应用到HDFS中。HDFS的设计目的主要是下面几

2013-07-05 20:30:24 5206 1

原创集群计算系统Spark——安装

Spark——Lightning-Fast Cluster Computing，这是Spark 官方logo的内容，让人很期待它的计算速度是否真的如此之快。Spark是由UC Berkeley AMPLab开发的，一种类似Hadoop MapReduce的系统，但是在读写速度上面都有很快的速度。大家都知道Hadoop框架I/O开销是很大的，基于Hadoop的MapReduce运算很多是基于磁盘

2013-06-21 11:36:32 4271 1

原创二叉查找树递归遍历与非递归遍历

本文只是为了对二叉查找树的递归和非递归方式进行总结，便于以后查看，也希望得到其他朋友的批评指正。代码实现用了c++，需要指出的是，由于本文重点在于而叉树遍历，所以没有自己实现队列和栈的结构，在算法中的队列和栈结构是引用其他博文的内容，说明如下：队列MyQueue引自：http://blog.csdn.net/yushuai007008/article/details/7096726代码

2013-06-20 15:14:09 974

转载 linux tar 加压、压缩命令详解

原文地址：http://blog.sina.com.cn/s/blog_7993615401015244.htmltar [-cxtzjvfpPN] 文件与目录 ....参数：-c ：建立一个压缩文件的参数指令(create 的意思)；-x ：解开一个压缩文件的参数指令！-t ：查看 tarfile 里面的文件！特别注意，在参数的下达中， c/x/t 仅能存在一个！不可

2013-06-04 09:32:03 792

原创算法理解——统计二进制位1的个数

最近读了一篇关于统计二进制位中1个数的文章：http://www.cnblogs.com/kaikai/archive/2006/02/15/330901.html 里面提到的第三种算法对于解决1个数比较多的情形，显然是比较高效的。因为算法三的时间复杂度是log(logN)，而算法一和二的时间复杂度分别是logN以及N二进制表示中1的个数。但是对于算法三没有直观的理解，所以就简单

2013-05-06 10:44:00 1439

原创 Hadoop集群监测工具——ganglia安装实例

Ganglia是一个用于集群性能监测的工具，为了说明其使用方法，本文结合Hadoop集群环境讲解ganglia的安装过程，希望能给感兴趣的朋友提供参考帮助。测试环境Ubuntu 12.04 LTSHadoop 0.20.2ganglia 3.1.7主要概念数据监测节点（gmond）：这个部件装在需要监测的节点上，用于收集本节点的运行情况，并将这些统计信息传送到gmetad，

2013-03-08 18:56:03 4428 1

原创 Hadoop安装笔记

原来只是装过单节点伪分布模式的hadoop，最近需要在集群上部署，所以又重新学习了一下。在这里首先要感谢实验室的CM师兄，给了我很多指导；另外还参考了来自codestinity的博文ubuntu10.04+hadoop0.20.2平台配置（完全分布式模式）我利用本机和一台VirtualBox虚拟机搭建的小集群（主要是为了学习安装步骤，所以确实很小，☺）。主机开发环境是Ubunt

2012-05-12 08:48:43 1026

hadoop-eclipse-plugin-1.0.2

这个资源是csdn上另一位朋友分享的，http://download.csdn.net/detail/e10514001/4229811 只不过他那需要1分的下载资源，我这只是免费分享一下，但还是要感谢e10514001的工作，谢啦！有需要的朋友拿去用吧，我试过可以的。

2012-05-08

c语言程序报告——图书馆管理系统

程序的功能：（1）保存书籍各种相关信息：入馆日期、书名、作者、图书类别编号、价格等。（2）查找功能：按照时间和书名查找需要的书籍，查找成功后可以修改记录的相关项。（3）排序功能：按照多种关键码对所有的书籍进行排序，例如按照购买日期进行排序、按图书类别排序等。（4）显示图书的信息。（5）其他辅助的维护工作。

2010-01-02