- 博客(42)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hadoop nfs网关
hadoop nfs网关1. 在hadoop下的core-site.xml,加入 hadoop.proxyuser.root.groups * 允许所有用户组用户代理 hadoop.proxyuser.root.hosts localhost 允许挂载的主机域名2. 在hadoop下的hdfs-site.x
2022-11-16 16:11:19
172
原创 hive添加自定义认证类 CustomHiveServer2Auth.java
package hive.server2.auth; import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.IOException; import java.security.MessageDigest; import j
2017-04-26 20:24:45
1037
原创 ApacheHadoop版本演变
ApacheHadoopApache版本衍化ApacheHadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则NameNode HA等新的重大特性。第二代Had
2017-04-26 20:23:39
876
原创 hive shell进入
进入hive shell步骤1./etc/init.d/hive-server2 stop2.如果是安全模式，需要先退出安全模式 su hdfs hdfs dfsadmin -safemode leave exit3. chown -R hive.hive /var/lib/hive/metastore/metastore_db4. hive shel
2017-04-26 20:22:43
2182
原创 hive添加认证
hive 添加认证认证有好几种，用户名和密码认证属于CUSTOM自定义认证，需要实现一个PasswdAuthenticationProvider接口，然后生成jar包，放到/usr/lib/hive/lib/下1.需要在/etc/hive/conf/hive-site.xml，添加 hive.server2.authentication CUSTOM
2017-04-26 20:22:04
2261
原创 cdh源
1. hadoop源 http://archive.cloudera.com/cdh5/ http://archive.cloudera.com/cdh4/ http://archive.cloudera.com/cdh/下有1、2、3 http://archive.apache.org/dist/hadoop/core/下面有所有版本的源码
2017-04-26 20:21:11
928
原创 fuse挂载hdfs文件系统
fuse挂载hdfs文件系统步骤（以cdh5的源为主，对应hadoop2.6版本）1.cdh版本介绍 1. hadoop源 http://archive.cloudera.com/cdh5/ http://archive.cloudera.com/cdh4/ http://archive.cloudera.com/cdh/下有1、2、3 h
2017-04-26 20:20:17
3045
原创 hadoop hive基本操作
hive 基本操作命令：hive shell || hive --service cli进入shell后1. 设置显示当前database和显示列字段 set hive.cli.print.current.db=true //显示当前db set hive.cli.print.headers=true //显示列
2017-04-26 20:19:16
366
原创 hadoop nfs网关
hadoop nfs网关1. 在hadoop下的core-site.xml,加入 hadoop.proxyuser.root.groups * 允许所有用户组用户代理 hadoop.proxyuser.root.hosts localhost 允许挂载的主机域名2. 在hadoop下的hdfs-site.x
2017-04-26 20:18:26
661
原创 libhdfs api调用
libhdfs is a JNI based C api for Hadoop’s DFS.It provides C apis to a subset of the HDFS APIs to manipulate DFS files and the filesystem.libhdfs is part of the hadoop distribution and comes pre-co
2017-04-26 20:13:59
496
转载 log4xx
最近在linux下使用log4cxx库，按照其官方文档提供的方法来进行编译，不能成功，又利用google搜索了好几个中文博客上讲述在linux下编译使用log4cxx库的方法，依然不能成功，在这里我奉劝写博客或是转载博客指导人的朋友们，首先您起码得自己按照您写的或是转载的编译通过了再发表文章吧，其中有几处明显的低级错误，另外，建议您把你编译时的具体的linux系统及版本附带上，这样才能够成
2015-07-16 16:26:29
1322
转载 安装和使用php的mcrypt扩展
PHP程序员们在编写代码程序时，除了要保证代码的高性能之外，还有一点是非常重要的，那就是程序的安全性保障。PHP除了自带的几种加密函数外，还有功能更全面的PHP加密扩展库Mcrypt和Mhash。其中，Mcrypt扩展库可以实现加密解密功能，就是既能将明文加密，也可以密文还原。PHP加密扩展库Mcrypt的算法和加密模式Mcrypt库支持20多种加密算法和8种加密模式，具体可以
2015-07-14 09:31:40
647
转载 linux下线程的分离
2）线程的分离与结合 在任何一个时间点上，线程是可结合的（joinable），或者是分离的（detached）。一个可结合的线程能够被其他线程收回其资源和杀死；在被其他线程回收之前，它的存储器资源（如栈）是不释放的。相反，一个分离的线程是不能被其他线程回收或杀死的，它的存储器资源在它终止时由系统自动释放。线程的分离状态决定一个线程以什么样的方式来终止自己。在上面的例子中，我们采用了
2015-07-14 09:30:08
298
原创 http错误代码表
所有 HTTP 状态代码及其定义。 代码 指示 2xx 成功 200 正常；请求已完成。 201 正常；紧接 POST 命令。 202 正常；已接受用于处理，但处理尚未完成。 203 正常；部分信息 — 返回的信息只是一部分。 204 正常；无响应 — 已接收请求，但不存在要回送的信息。 3xx 重定向 301 已移动
2015-07-14 09:27:13
523
转载 PHP程序员的技术成长规划
PHP程序员的技术成长规划作者：黑夜路人（2014/10/15） 按照了解的很多PHP/LNMP程序员的发展轨迹，结合个人经验体会，抽象出很多程序员对未来的迷漫，特别对技术学习的盲目和慌乱，简单梳理了这个每个阶段PHP程序员的技术要求，来帮助很多PHP程序做对照设定学习成长目标。 本文按照目前主流技术做了一个基本的梳理，整个是假设PHP程序员不
2014-10-20 11:30:00
401
原创 openssl生成证书
步骤1：生成密钥命令：openssl genrsa 1024 > server.key说明：这是用128位rsa算法生成密钥，得到server.key文件步骤2: 生成证书请求命令：openssl req -new -key server.key > server.csr说明：这是用步骤1的密钥生成证书请求文件server.csr, 这一步提很多问题，一一输入步骤3
2014-10-17 14:42:44
488
转载 shell变量的替换
转载：http://blog.163.com/wghbeyond@126/blog/static/35166181201051483723579/1.条件变量替换: Bash Shell可以进行变量的条件替换,既只有某种条件发生时才进行替换,替换 条件放在{}中. (1) ${value:-word} 当变量未定义或者值为空时,返回值为word的内容,否则返回
2014-06-26 09:34:54
660
转载 高效并发处理之libevent
出处：http://www.oschina.net/question/12_15837构建现代的服务器应用程序需要以某种方法同时接收数百、数千甚至数万个事件，无论它们是内部请求还是网络连接，都要有效地处理它们的操作。有许多解决方 案，但是 libevent 库和 libev 库能够大大提高性能和事件处理能力。在本文中，我们要讨论在 UNIX® 应用程序中使用和部署这些解决方案所用的基本
2014-06-11 11:44:59
3494
转载 select, iocp, epoll,kqueue及各种I/O复用机制
出处http://blog.csdn.net/shallwake/article/details/5265287首先，介绍几种常见的I/O模型及其区别，如下：blocking I/Ononblocking I/OI/O multiplexing (select and poll)signal driven I/O (SIGIO)asynchron
2014-06-11 09:45:12
359
原创 select poll epoll区别
select:下面是select的函数接口：int select (int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout); select 函数监视的文件描述符分3类，分别是writefds、readfds、和exceptfds。调用后select函数会阻塞，
2014-06-10 17:36:37
473
转载 零拷贝
传统的数据传输方式 很长一段时间内，数据拷贝的认识仅仅停留在应用程序层，实际上隐藏在背后的数据拷贝行为比想象的要多的多。在传输数据的时候，用户应用程序需要分配一块合适大小的缓冲区来存放需要传输的数据。用户从应用程序中读取数据，然后发送出去，只需要两个系统调用read,write即可完成数据传输工作，应用程序并不知道这个数据传输过程中操作系统进行了多少次拷贝操作。某些情况下，这些数据拷贝
2014-06-09 10:19:28
529
转载 搜索引擎原理
搜索引擎技术之概要预览前言 近些天在学校静心复习功课与梳理思路（找工作的事情暂缓），趁闲暇之际，常看有关搜索引擎相关技术类的文章，接触到不少此前未曾触碰到的诸多概念与技术，如爬虫，网页抓取，分词，索引，查询，排序等等，更惊叹于每一幅精彩的架构图，特此，便有记录下来的冲动，以作备忘。 本文从最基本的搜索引擎的概念谈起，到全文检索的概念，由网络蜘蛛，分词技术
2014-04-30 10:42:30
3879
转载 打包和压缩及常见解压缩方法
对于刚刚接触Linux的人来说，一定会给Linux下一大堆各式各样的文件名给搞晕。别个不说，单单就压缩文件为例，我们知道在Windows下最常见的压缩文件就只有两种，一是,zip，另一个是.rar。可是Linux就不同了，它有.gz、.tar.gz、tgz、bz2、.Z、.tar等众多的压缩文件名，此外windows下的.zip和.rar也可以在Linux下使用，不过在Linux使用.zip和.r
2014-04-24 14:06:24
1379
转载 平台通用类型
1、前言 今天在看代码时，发现将之一个指针赋值给一个intptr_t类型的变量。由于之前没有见过intptr_t这样数据类型，凭感觉认为intptr_t是int类型的指针。感觉很奇怪，为何要将一个指针这样做呢？如是果断上网查查，发现我的感觉是错误的，所以，任何事情不能凭感觉，要弄清楚来龙去脉。先总结一下intptr_t类型，然后介绍指针与intptr_t类型的转换，最后给出测试程序。2、
2014-04-23 15:46:10
527
转载 linux调试技巧
实际上，Linux的调试方法非常多，针对不同的问题，不同的场景，不同的应用，都有不同的方法。很难去概括。本篇文章主要涉及本专栏还没有涵盖，但是的确有很重要的方法。本文主要包括动态库注入调试；使用ltrace命令处理动态库的调试；使用strace调试系统调用的问题；Valgrind的简要介绍。1. 动态库注入 如何排除其他library的调用问题？动态库注入（library
2014-04-22 10:17:44
415
转载 wireshark抓包
wireshark 开始抓包开始界面wireshark是捕获机器上的某一块网卡的网络包，当你的机器上有多块网卡的时候，你需要选择一个网卡。点击Caputre->Interfaces.. 出现下面对话框，选择正确的网卡。然后点击"Start"按钮, 开始抓包Wireshark 窗口介绍WireShark 主要分为这几个界面1. Display Filter(显示过
2014-04-22 10:16:19
486
原创 如何编译内核
是否曾编译过Linux的内核，被认为是告别Linux入门阶段的标志。那么什么是内核，该如何编译Linux的内核呢？一、 什么是Linux的内核我们经常听到操作系统的内核这个词，但是什么是操作系统的内核呢？内核这个词起源于UNIX，在UNIX的设计中首先使用了层次结构的设计，这种结构将操作系统的组成程序按照他们对于系统的重要性和对于具体设备的依赖性划分为几个层次，其中作为系统最为核心，独
2014-03-31 11:42:42
396
转载 Linux strace命令
简介strace常用来跟踪进程执行时的系统调用和所接收的信号。 在Linux世界，进程不能直接访问硬件设备，当进程需要访问硬件设备(比如读取磁盘文件，接收网络数据等等)时，必须由用户态模式切换至内核态模式，通 过系统调用访问硬件设备。strace可以跟踪到一个进程产生的系统调用,包括参数，返回值，执行消耗的时间。输出参数含义root@ubuntu:/usr# strace ca
2014-03-31 11:04:27
352
原创 使用libcurl进行邮件的下载与转发
一.邮件下载：1）相关函数CURL *curl;CURLcode res = CURLE_OK;curl = curl_easy_init();curl_easy_setopt(curl,CURLOPT_USERNAME,"USER");//有的邮件服务器不能加域名比如，[email protected],qq.com不能要curl_easy_setopt(curl,CURLOPT
2014-02-19 15:16:16
1886
转载 POP3协议
POP3 协议: 采用对等的会话方式完成邮件的收取。过程为交互式的请求应答模式。 客户端首先要和POP3服务器110号端口进行连接。然后使用标准命令进行对话 //-----------------------------------标准命令 USER 标识用户进行验证 PASS发送密码进行验证 APOP转换验证机制 QUIT终止会话 NOOP空操作
2014-02-19 14:39:18
991
转载 libcurl 使用及例程
关于libcurl的文章网络上很多, 这里不再描述. 以下是如何使用libcurl的例子.一、常用函数 1) libcurl的全局初始化及释放 CURLcode curl_global_init(long flags) flags: CURL_GLOBAL_ALL //初始化所有的可能的调用。
2014-02-12 14:22:20
602
转载 libcurl
libcurl编辑libcurl主要功能就是用不同的协议连接和沟通不同的服务器~也就是相当封装了的sockPHP 支持libcurl（允许你用不同的协议连接和沟通不同的服务器）。, libcurl当前支持http, https, ftp, gopher, telnet, dict, file, 和ldap 协议。libcurl同样支持HTTPS证书授权，HTTP
2014-02-12 11:04:16
642
转载 TCP三次握手及四次挥手详细图解
相对于SOCKET开发者,TCP创建过程和链接折除过程是由TCP/IP协议栈自动创建的.因此开发者并不需要控制这个过程.但是对于理解TCP底层运作机制,相当有帮助. 而且对于有网络协议工程师之类笔试,几乎是必考的内容.企业对这个问题热情之高,出乎我的意料：-）。有时上午面试前强调这个问题，并重复讲一次，下午几乎每一个人都被问到这个问题。 因此在这里详细解释一下
2013-11-22 11:52:31
477
转载 sed命令
sed命令详解转载：http://blog.chinaunix.net/u/22677/showart_1076318.html 1.简介sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：首先sed把当前正在处理的行保存在一
2013-10-30 14:27:48
409
原创 linux下使用tar命令
linux下使用tar命令解压语法：tar [主选项+辅选项] 文件或者目录使用该命令时，主选项是必须要有的，它告诉tar要做什么事情，辅选项是辅助使用的，可以选用。主选项：c 创建新的档案文件。如果用户想备份一个目录或是一些文件，就要选择这个选项。相当于打包。x 从档案文件中释放文件。相当于拆包。t 列出档案文件的内容，查看已经备份了哪些文件。
2013-10-30 11:27:00
421
转载 细说Cookie
阅读目录开始Cookie 概述Cookie的写、读过程使用Cookie保存复杂对象Js中读写CookieCookie在Session中的应用Cookie在身份验证中的应用Cookie的安全状况如何在C#发请的请求中使用Cookie重构与使用总结补充Cookie虽然是个很简单的东西，但它又是WEB开发中一个很重要的客户端数据来源，而且它可以实现扩展性很好的会话状态， 所以我认
2013-06-11 23:50:41
433
转载 Android数据的四种存储方式SharedPreferences、SQLite、Content Provider和File
Android数据的四种存储方式SharedPreferences、SQLite、Content Provider和File （一） —— 总览 作为一个完成的应用程序，数据存储操作是必不可少的。因此，Android系统一共提供了四种数据存储方式。分别是：SharePreference、SQLite、Content Provider和File。由于Android系统中
2013-06-06 11:53:13
630
贪吃蛇微机课程设计你懂得
2011-06-30
汇编贪吃蛇贪吃蛇小程序可以斜向移动,
2011-06-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人