技术补完计划-CSDN博客

原创 2021年1月31日后使用Ambari部署HDP和HDF集群（中）部署ambari-server和ambari-agent

目录配置时间服务安装ambari-server配置ambari-server参考资料配置时间服务这里使用master节点作为server，其它worker节点作为client每个节点都需要设置时区timedatectl set-timezone Asia/Shanghai安装chrony yum install -y chrony先备份一下配置文件cp /etc/chrony.conf /etc/chrony.conf.bak编辑chrony.conf，先注释掉下面几行，在前面加各“

2021-08-15 19:46:55 329

原创使用VirtualBox搭建一套集群环境

目录背景环境配置网络安装操作系统配置静态IP开启SSH服务导出虚拟机导入虚拟机参考资料背景随着软件系统越来越复杂，出现了分布式、微服务等概念，我经常需要几台计算机相互协作。那么，怎么在自己的个人电脑中搭建一套集群环境，将是一个码农必备技能。环境宿主机CPU：4核8线程宿主机内存：16G虚拟机软件：Oracle VM VirtualBox 6.1.26Linux镜像：CentOS-7-x86_64-Minimal-2009.torrent.iso配置网络由于需要部署集群，那么虚拟机之间必

2021-08-15 11:23:36 1249

原创 2021年1月31日后使用Ambari部署HDP和HDF集群（上）迅雷YYDS

目录背景内容简介下载资源搭建环境部署Ambari本地镜像仓库安全配置安装Nginx配置镜像仓库参考资料背景2018年10月4日，两家大数据先驱Cloudera和Hortonworks宣布平等合并。Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。2020年11月，Cloudera宣布：从2021年1月31日开始，所有Cloudera软件都需要有效的订阅进行访问。这包括以下产品的所有先前版本：包含Apache Hadoop的 Cloudera 发行版

2021-08-14 18:58:26 2006 1

原创 Hive练习之蚂蚁森林

背景说明：以下表记录了用户每天的蚂蚁森林低碳生活领取的记录流水。user_low_carbonuser_id data_dt low_carbon用户日期减少碳排放u_001 2017/1/1 10u_001 2017/1/2 150u_001 2017/1/2 110u_001 2017/1/2 10u_001 2017/1/4 50u_001 2017/1/4 10...

2019-06-09 20:30:25 2120

原创深入分析 i++ 与 ++i

下面一段程序相信每个 Java 程序员都做过：public class PlusPlusTest { @Test public void test0() { int i = 0; i = i++; System.out.println(i); }}输出结果也不难想，就是 0。这样的结果，大家肯定会想到一个口诀“先赋值...

2019-06-08 08:19:06 248

原创 Hadoop 运行原理（一）Configuration解析

本系列基于 Apache Hadoop 2.7.2，并附源码。PS：Apache 基金下所有项目源码都可以在 archive.apache.org 这个网页中找到。强烈鄙视那些拿着公开源码放到论坛中提供有偿下载的行为！！！Hadoop 运行原理概览Hadoop 的运行过程可以划分为以下五个流程：client端创建并提交一个 job；yarn 的 ResourceManager 进行...

2019-06-02 16:20:03 523

原创使用prismjs实现Jekyll代码语法高亮并显示行号

在 jekyll 上设置代码语法高亮有好几种选择，然而要使代码能显示行号似乎有些困难，至少在百度上是很难找到满意的答案的。其实，jekyll 本身是可以开启行号的，但是这样是不利于网页的美化的。由于我们无法控制 jekyll 输出的内容，当在页面使用其它语法高亮插件时，就会出现格式错误。那就只能让 jekyll 输出不带行号的代码块，直接让 js 插件生成行号。prismjs 是一款轻量级可扩展的代

2017-12-20 15:15:33 4851

原创 macOS装回java8

2017年9月21日,千呼万唤始出来,Java 9 终于发布了。但是它对一些旧版本软件的支持似乎不好。比如我正在使用的 Hbase 1.2.6，使用 Java 9 后就无法打开 hbase shell 了。于是就采用最直接最简单的 Homebrew 安装法：brew cask install java8然后就报错了：Error: No available formula with the name

2017-12-11 20:21:38 2145

原创 LaTeX快速指南（二）LaTex的结构

在开始撰写LaTeX前，一个好的习惯是新建一个以文档名命名的文件夹，因为LaTeX在编译成PDF的过程中会产生许多中间文件，有一个文件夹就可以方便管理。基本结构LaTeX 分位导言区和正文区两个部分，两者缺一不可。导言区主要进行全局设置。正文区也称为文稿区，这里便是文档开始的地方。% 导言区\documentclass{article} % 改变类可以改变文档结构，还有book、report、le

2017-11-19 12:43:42 1140

原创 LaTeX快速指南（一）安装LaTeX

目前世界上有许多电子排版系统。这些系统各有特点，也各有自己的适用范围。TeX 就是一种优秀的电子排版系统。TeX 是 LaTeX 的基石,LaTeX 建立在 TeX 之上。但是，与 Word 相比，LaTeX显得不那么友好，为了帮助大家快速入门，于是编写了《LaTeX快速指南》系列。希望大家都能写出优雅的文档。大家要勤动手，遇到 Bug 可以在下面留言。下载安装Knuth 创造了 TeX 之后，免费

2017-11-19 12:37:10 19673

原创 RHEL7密码恢复

在linux中，以管理员身份登录或具有完全sudo的访问权限的用户恢复根密码是一个简单任务,但是如果管理员没有登陆，情况就有些复杂了。在这种情况下,管理员可以从Live CD启动，挂载root文件系统，然后编辑/etc/shadow。管理员还应该能够在不使用外部媒体的执行root密码恢复。在Red Hat企业版Linux 6和更早版本，管理员可以引导系统进入配有root提示符runleve

2016-03-09 15:37:11 649

原创 mac下使用xampp的Acccess forbidden错误

由于学校开设了PHP课程，被迫开始学习这门编程语言。万事开头难，安装完xampp后，一直如下报错：Access forbidden!You don’t have permission to access the requested directory. There is either no index document or the directory is read-protec

2016-03-06 15:51:17 692

原创 Nginx配置Restful风格url

开始做seo的优化，当然牵扯到固定链接，wordpress提供多种类型的链接形式：1234567/%year%/%monthnum%/%day%/%postname%//%year%/%monthnum%/%postname%//%year%/%monthnum%/%day%/%postname%.html/%year%/%monthnum%/%postname%.html/%cate

2016-03-03 23:09:52 9044

转载 Linux必学的60个命令

Linux提供了大量的命令，利用它可以有效地完成大量的工作，如磁盘操作、文件存取、目录操作、进程管理、文件权限设定等。所以，在Linux系统上工作离不开使用系统提供的命令。要想真正理解Linux系统，就必须从Linux命令学起，通过基础的命令学习可以进一步理解Linux系统。不同Linux发行版的命令数量不一样，但Linux发行版本最少的命令也有200多个。这里我把比较重要和使用频率最多的

2015-11-06 16:55:31 422

原创 Hibernate5创建工厂回话类SessionFactory

在使用Hibernate执行持久化操作前，需要得到一个Session对象。有了Session对象，就可以以面向对象的方式保存、获取、更新和删除对象。Session对象可以通过SessionFactory（回话工厂类）的openSession方法来获得。Hibernate5与4和3相比有一点小变化，具体代码如下：protected void setUp() throws Exceptio

2015-10-30 20:04:13 2953

原创 RHEL 6.7换CentOS的yum源

RHEL 6.7的源需要序列号，可以使用CentOS的yum源来替代。首先要删除RHEL中的yum命令。1rpm -aq | grep yum |xargs rpm -e --nodeps下载rpm包123wgethttp://mirrors.163.com/centos/6.7/os/x86_64/P

2015-10-24 16:30:46 3916

原创 linux——网络知识

网络分层网络互连设备，如以太网、分组交换网等，它们相互之间不能互通，不能互通的主要原因是因为它们所传送数据的基本单元（技术上称之为“帧”）的格式不同。为了简化网络设计的复杂性，通信协议采用分层的结构，各层协议之间既相互独立又相互高效的协调工作。物理层( Physical )数据链路层(Data Link)网络层(Network)传输层(Transport)会话层(Sessi

2015-10-23 19:21:44 349

原创 nginx与tomcat集群

nginx配置 server { listen 80; server_name wanshicheng.org www.wanshicheng.org; #charset koi8-r; #access_log logs/host.access.log main; location / {

2015-10-19 20:37:56 1587

原创提交表单不转义url中的中文

当我们提交的表单含有文中时：在浏览器的地址栏里，中文就会变成形如\****\****这样的一堆字符。这是我们使用javascript来提交表单。function submit() { var test = "测试"; var str = "http://localhost:8080/index.jsp?name=" + encodeURI(test);

2015-10-19 20:23:21 1442

原创程序员也需要知道的经济学通识

公用品（public goods），也译作公共物品，指的是一个人用不影响其他人用的物品。如：音乐的旋律、故事情节、科学定理等。私用品（private goods），，也译作私人物品，之的是一个用了别人就不能用的物品。包括粮食、电力、用水、医疗服务、教育设施、国家公园、交通工具和公路航道等。只要是私人物品，就有肯能出现争用，社会就不得不采用这样或那样的竞争规则，来替争用者决出胜负，以便让部分人得

2015-10-16 16:41:33 547

原创铁路图详解

在学习《javascript语言精粹》的时候，遇到了一种叫做铁路图的东西，对其百思不得其解。经过查找资料和分析，总结出如下规律。简介铁路图（railroad diagram)，又叫于发图(syntax diagrams)，是一种表示形式语法的方式，是巴科斯范式和扩展巴科斯范式的图形化表示。基本规则从左边界开始，沿着轨道到右边界。沿途，你在圆框中遇到的是字面量，在方块中遇到

2015-10-12 20:30:15 6837 3

原创用PHP编写CAPTCHA（验证码）

CAPTCHA，是Completely Automated Public Turing Test to Tell Computers and Humans Apart (完全自动化公共图灵测试以区分计算机和人类)的简称。现在已经设计出丰富的CAPTCHA，不过最简单有效的方法是生成一个要求用户输入的随机字符，即我们所说的验证码。<?php define ('CAPTCHA_NUMCHA

2015-02-07 17:10:06 955

技术补完计划