- 博客(27)
- 资源 (42)
- 收藏
- 关注
RSS订阅
原创 ESXI安装威联通NAS系统
前言：由于看到网上没有一篇ESXI安装威联通的安装教程，大部分都是群辉的安装教程，我又是想在自己的ESXI主机上体验一下，经过长时间的折腾和无数次的失败，我终于搞成功了，其实和在VMware中的安装区别不大，就是可能有些设置选项不一样，现在我就写这个全网首篇教程教大家安装。1.准备工作准备威联通的引导盘，名字为：QNAP1G-BOOT.vmdk，老骥伏枥做的那个就可以，貌似也没有第二个大神搞这个了，esxi一定是要有的，这个不多说，毕竟没这个你要能装上我把esxi主机吃了，我用的是6.7版本。2.创
2020-07-26 16:31:31
9821
6
原创 第1章 有状态的流式处理
目录第1章 有状态的流式处理1.1 传统数据处理架构1.1.1 事务处理1.1.2 分析处理1.2 有状态的流式处理1.2.1 事件驱动应用程序1.2.2 数据管道1.2.3 流分析1.3 开源流处理的演进1.4 Flink 简介1.5 编写第一个 Flink 程序1.5.2 下载 Flink 运行时环境，提交 Jar 包的运行方式第1章 有状态的流式处理 Apache Flink 是一个分布式流处理器，具有直观和富有表现力的 API，可...
2021-03-08 21:18:28
813
原创 DataNode（面试开发重点）
DataNode（面试开发重点）一、DataNode工作机制（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataN.
2021-02-09 10:20:05
292
原创 三、zookeeper实战部署
三、zookeeper实战部署3.1 客户端命令行操作1）help : 显示所有的操作指令；2）ls path : 使用ls命令来查看当前znode的子节点 -w ：监听子节点变化（只能监听一次） 3） 查看当前目录下的详细信息： ls -s path / ls2 path / stat path 4) create 创建节点 （默认创建的是：持久性无顺序号的节点） -s 含顺序号 -e 临时的5） get path : 获得节点的值 -w 监听节点内容变化6）
2021-02-09 10:09:19
329
原创 二、zookeeper内部原理
二、zookeeper内部原理2.1 节点类型分为持久性和短暂性节点。1） 持久性：客户端与服务器断开连接以后，创建的节点不删除； -- 分为带序号的持久性节点和不带序号的持久性节点。2） 短暂性：客户端与服务器断开连接以后，创建的节点删除； -- 分为带序号的短暂性节点和不带序号的短暂性节点。 -- 如何理解带序号的呢？1） 在zk分布系统中，顺序号用于为所有事物进行全局排序，这样客户端根据顺序号推测事件的顺序。2） 顺序号是指当前节点下的节点数量，不可重复使用。如之前已经创建了一个
2021-02-09 10:06:53
195
原创 一、zookeeper入门
zookeeper总结总结： 时间：2020.05.02一、zookeeper入门1.1 概述-- 理解1) Apache一个分布式项目；2）是一个基于观察者模式设计的分布服务管理框架，负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦数据发生变化，则zookeeper通知观察者。-- zookeeper = 文件系统 + 通知机制。1.2 zookeeper特点-- 特点1) 每一节点都有一个不重复的myid标识zookeeper集群；2） 一个领导者（le
2021-02-09 09:46:55
188
原创 Hive自定义一个函数
本文以hive的upper函数为例，使用idea编程1）创建一个Maven工程Hive2）导入依赖（在pom.xml文件中插入）<dependencies><dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>3.1.2</version></dependency>
2020-11-30 20:44:30
287
原创 Maven修改本地jar包仓库
前言：本人在培训班学习，由于学校的网比较慢，下载jar包的依赖总是下载不下来，所以有时候老师会把自己下载好的直接发给我们，直接改下配置后就可以用了，接下来给大家说下怎么修改。第一步先准备好jar仓库，这里我以我们老师提供的为例，名为“LocalRepository”的压缩包，解压到自己想要放置的位置，我放在了maven的根目录下，复制路径“D:\Develop\Apache\apache-maven-3.6.3\LocalRepository”第二步进入maven的根目录下面的conf文件
2020-11-30 20:25:41
737
原创 DataGrip工具连接hive使用hiveserver2出现内存不足解决方案
hive-3.1.2启动的时候，默认申请的JVM堆内存大小为256M，JVM堆内存申请太小，导致执行复杂的sql时经常会报错（如下图所示）：java.lang.OutOfMemoryError: GC overhead limit exceeded，然后HiveServer2服务就异常了，因此最好调整一下HADOOP_HEAPSIZE这个参数。解决方案：进入hive下的conf目录，先把“hive-env.sh.template”拷贝一下，或者“mv”重命名[hanxiao@hadoop102 co
2020-11-27 13:37:34
1745
原创 ESXi6.7修改静态ip地址
首先登陆网页控制台，在主界面点击“主机”–>“服务”–>“启用安全shell”，我这里已经启用，所以显示的是禁用，用shell工具连接esxi主机，在命令行输入“dcui”，就会出现显示器的控制台，由于没有显示器，所以就用这种方式改比较方便，如果有显示器，直接在显示器输出的界面上改就行，我这里由于是命令行，所以是黑白界面，显示器上博认识黄黑界面。按f2进入以下界面，输入用户名和密码回车选择“configure management network”回车选择“ipv4 config
2020-11-14 21:20:38
21733
2
原创 在Linux操作系统下的PPPoE拨号上网
由于培训班的教室网络是拨号上网，我把虚拟机装进了esxi主机里，由于笔记本还要用红蜘蛛接收老师的上课投屏，所以就需要用到centos7集群的拨号上网，于是就有了以下的折腾经历。1、搜寻PPPoE相关软件，比如rp-pppoeyum search pppoe2、使用yum安装rp-pppoeyum install rp-pppoe -y3、开始配置PPPoE连接pppoe-setup4、输入ISP提供的账户（宽带账户）5、输入以太网卡代号，默认是eth0（CentOS 6为eth0，Ce
2020-11-13 21:04:06
1558
原创 SSH连接虚拟机Linux系统较慢问题解决方案
每次登录SSH时总是要停顿等待一下才能连接上，,这是因为OpenSSH服务器有一个DNS查找选项，UseDNS默认情况下是yes状态。UseDNS 选项打开状态下，当客户端试图登录SSH服务器时，服务器端先根据客户端的IP地址进行DNS PTR反向查询出客户端的主机名，然后根据查询出的客户端主机名进行DNS正向A记录查询，验证与其原始IP地址是否一致，这是防止客户端欺骗的一种措施，但一般我们学习创建的虚拟机都是自己用，打开这个选项不过是在浪费时间，所以建议关闭，提升连接速度在root用户下输入：vi
2020-11-13 20:35:38
375
1
原创 ESXI上载镜像和导入模版超级慢的原因
前言：我用了一段时间ESXI6.7感觉很不错，有一次上传镜像和文件比龟速还慢，我在网上查找各种资料，有的说驱动问题，下了别人提供的驱动没有安装上，还尝试了重装系统，依旧没有解决问题，我快要崩溃了，想了两天，彻夜难眠，我是m2的固态硬盘，还是nvme协议的，速度把不可能这么慢，然后我都准备备份二十多个虚拟机，全盘格式化的时候，我终于发现问题所在了，接下来我就把我的经验分享给大家。解决办法：我之前笔记本都用的谷歌浏览器，后来重装系统先装了个火狐浏览器先用着，其实问题就出在这，我又装回谷歌，确实加载网页的速
2020-09-09 11:18:55
6138
2
原创 威联通安装教程
用浏览器输入：你的ip地址:8080进入群辉的安装界面，如下图，点击开始智能安装向导给NAS起一个名字，然后设置密码，用户admin这里不能设置，先用默认的，点击下一步根据自己的需要设置，我这里默认用NTP服务器，点击下一步ip地址想改了改一下，我这里就先不改了，自动获取这里不管用上用不上全点了，你也可以光点你需要的。这里我直接配置磁盘了，就一块，选择了单一磁盘区，你要是硬盘多，可以用别的，也可以稍后初始化磁盘，进系统设置我暂时不需要，所以选了否，这个界面是你全部的配置信息了，核
2020-07-26 16:48:21
10123
原创 群辉服务器搭建FineRepore数据决策系统
本人用群辉搭建FineRepore数据决策系统时遇到了下面的问题，令我特别苦恼，然后网上各种搜索资料，各种试验都无解，问题依旧存在，但是随着百度搜索，提高了自己的知识，扩宽了视野，于是就有了解决的思路。成功搞定之后，就总结了一下，把全程写下来，帮助其他群辉使用者搭建这套系统。安装tomcat7就不说了，套件里点下鼠标的事，把下载的FineRepore Linux版压缩包下的webapps/web...
2020-02-22 16:18:59
1840
1
原创 我家云刷第三方系统软改防止掉盘
前言：此教程适用于全部我家云，首先要先弄明白我家云掉盘的原因：主要是因为一些大神编译的第三方系统没有集成我家云的硬件驱动，无法控制硬盘休眠，然后硬盘没事干就想休息，再唤醒就容易造成找不到硬盘的问题，很多人为了解决都是硬改，我看了很多大神弄得防止掉盘的补丁，我试了n次，还是不行，还有个大神弄了个菩萨保佑防掉盘，我刚开始看着感觉这菩萨做的不错，结果打开脚本一看，里面没有任何真正有用的东西，只有一个实现...
2020-02-16 19:40:20
10090
1
原创 扩容移动硬盘
让你们见识一下拼多多上150块2T的移动硬盘，见过很多500g的u盘，还没见过扩容的移动硬盘，今天就花了150块入下坑，共同见识一下世界的奇妙和华强北的奸商。收到货了，先来个开箱，废话不多说上图：插上之后是exFAT格式，正常显示2T，然后我把它格式化成NTFS格式，奇妙的事情发生了，我等了半天，没有反应，试了各种格式化，每一次都想把我的电脑卡死。下面是大名鼎鼎的Disk磁盘工...
2020-02-16 18:52:00
7148
1
原创 Hadoop环境搭建笔记
声明：个人笔记，我自己看的不想看勿喷配置jdk在根目录opt文件夹下创建两个文件夹：module和software（命令：mkdir），software用来存放tar包，module用来存放解压后的tar包。修改文件夹用户和用户组，当前是root用户（命令：ls -l 查看文件用户和用户组名）命令：chown pi:spi module/ software/解压tar包：tar -zx...
2020-02-16 18:19:33
269
原创 deepin linux下安装vnc软件
1.安装vnc服务在终端中输入：sudo apt-get install x11vnc回车后出现如下安装界面：2.配置VNC的密码：输入：x11vnc -storepasswd回车后如下图所示，Enter VNC password是输入VNC密码的意思，Verify password是确认密码，Write password to /home/deepin/.vnc/passwd? [...
2020-02-16 18:12:44
5519
1
原创 可道云kodexplorer隐藏免费版按钮及简单修改使用方法
**前言：**免费版的可道云的功能已经够我们玩了，没必要再去破解人家的产品，自己修改着玩玩就行了，千万不要用于非法或商业用途，本文最大难点是隐藏两个免费版按钮，是本人经过很久的研究和心思才搞定的，毕竟本人有强迫症，看着那个按钮不爽，不想让他显示。 **声明：**如果本文侵犯到了官方的利益，请联系我立即删除。 1.kodexplorer4.40\app\template\common\下的n...
2020-02-16 15:48:53
11122
4
原创 OpenWRT初次进入设置联网
一、OpenWRT修改管理IP地址：vi /etc/config/network，下图红框处就是管理IP，默认是192.168.1.1，我这里修改成了192.168.2.2，主要我的路由器无线桥接到了其他路由器上，主路由是192.168.1.1，从路由是192.168.2.1，然后我的设备都在从路由上连着，就改成了192.168.2.2，你们可以根据自己的实际情况修改。（进入编辑模式是“i”，退出...
2020-02-16 15:26:51
51088
转载 宝塔面板常用命令
1.安装宝塔Centos安装脚本yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh && sh install.shUbuntu/Deepin安装脚本wget -O install.sh http://download.bt.cn/install...
2020-02-16 15:16:08
1139
原创 TeamViewer远程连接群辉
群辉上安装了TeamViewer软件，打开虽然能正常显示ID和密码，但是线面的REMOTE TERMINAL是关闭的，怎么点都点不开，鼠标按坏也没用，经过很多次的研究和查阅资料，终于知道了方法。用电脑端的TeamViewer登陆自己的账号（没有自己注册，太过简单不过多描述），然后点击“计算机和联系人”——箭头“2”处的小人图标，然后会出来一个下拉菜单，点击“附近的联系人和设备”，切记一定要在一...
2020-02-16 15:09:13
2710
2
原创 Notepad++安装教程
第一步：去官网下载 地址如下：https://www.baidu.com/link?url=9IRMEfb6PSO3yCrxgQ2SC1-KFWVOw-4YC8JtZ0pk8JtiiefEOfl1dcW3Zmnq4Ysr&wd=&eqid=873cd79a00053243000000025da05e39一般人都会选择最新版，如果法相最新版有bug，可以下载之前的版本。这...
2020-02-16 14:58:13
23615
原创 关于在Windows10中开启或关闭administrator管理员账户
这个本人也是折腾了很久，才搞定的，然后给大家分享一下经验。 详细操作：点击“此电脑”右键“管理”，点击“本机用户和组” 双击“用户” 右键管理员账户，点击“属性”，勾选“账户已禁用”，点击“确定”，然后重启一下就会发现没有出现管理员账户了。 如果在计算机管理里面没有“本机用户和组”，而是“共享文件夹”的选项，使用以下方法关闭：用管理员权限打开“命令提示符”，输入...
2019-09-20 23:10:17
1798
1
原创 Deepin Linux防火墙问题
前言 自从我表哥告诉我这个Deepin Linux的操作系统之后，我甚是喜爱，有时候甚至超过了Windows10，我是学大数据的，老师教过了Hadoop集群之后，我就想把这个搭在Deepin Linux的操作系统上，然后再安装中遇到了点问题，到关闭防火墙的时候，会有“找不到ufw的命令”，刚开始我水平比较垃圾，搭集群就卡在了这里，网上根本找不到关于Deepin Linux关闭防火墙的方案，然...
2019-09-20 23:01:12
15856
3
原创 树莓派6大问题解决方案
树莓派6大问题解决方案1.vi编辑器进入编辑模式后上下左右键出现ABCD，回删键失灵2.vi编辑器编辑完文件后保存退出时出现，请输入“readonly”强制执行3.分辨率设置4.系统黑边问题5.树莓派改中文6.SSH和VNC的开启方法1.vi编辑器进入编辑模式后上下左右键出现ABCD，回删键失灵解决方法：卸载vim编辑器输入：sudo apt-get remove vim-common重新...
2019-09-15 21:42:30
2404
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人