weixin_44589713的博客

原创 cd /op-bash: 无法为立即文档创建临时文件: 设备上没有空间

【代码】cd /op-bash: 无法为立即文档创建临时文件: 设备上没有空间。

原创 虚拟机打不开

打不开磁盘“G:\centeros\hadoop104kl\hadoop100-cl2.vmdk”或它所依赖的某个快照磁盘。另一个程序已锁定文件的一部分，进程无法访问。模块“Disk”启动失败。

原创 Hive启动命令

【代码】Hive启动命令。

原创 关于hive启动的相关问题记录

主要原因是hadoop引入了一个安全伪装机制，使得hadoop 不允许上层系统直接将实际用户传递到hadoop层，而是将实际用户传递给一个超级代理，由此代理在hadoop上执行操作，避免任意客户端随意操作hadoop。参考文章https://blog.csdn.net/qq_35746739/article/details/119032729。“*”表示可通过超级代理“xxx”操作hadoop的用户、用户组和主机。当时的原因是引擎问题，安装配置了tez引擎。beeline 的常用参数。

原创 datagrip连接Presto

文件–新建–数据源–>Presto。

原创 Presto安装

Presto安装记录

原创 项目中遇到的sql问题记录

【代码】项目中遇到的sql问题记录。

原创 sql join

【代码】sql join。

原创 sql多表依次查询取第一个非空字段

【代码】sql多表依次查询取第一个非空字段。

原创 NoSuchColumnFamilyException: org.apache.hadoop.hbase.regionserv

参考链接：https://www.cnblogs.com/mkl34367803/p/10723554.html。

原创 IDEA插件配置--maven篇

在D盘新建一个文件夹用做本地仓库地址，例如 D:\Program Files\maven\repository，将原先C盘路径下的repository拷贝到D盘。IDEA中maven插件仓库默认地址：C:\Users\Administrator.m2\repository。修改settings.xml配置文件。

原创 HBASE命令行查看中文字符

参考文章：https://www.bilibili.com/read/cv5826951/

原创 hbase Master is initializing

参考文章：http://www.manongjc.com/detail/40-wusaeobbqibrftb.html。3、重启ZK、重启hadoop（hdfs、yarn）、重启hbase。2、连接ZK，执行以下命令清除Hbase数据。

原创 虚拟机网络图标不见了

【代码】虚拟机网络图标不见了。

原创 python os模块

【代码】python os模块。

转载 Python依赖包迁移

Python依赖包迁移

转载 Python selenium 基本操作

转载：https://blog.csdn.net/weixin_36279318/article/details/79475388from selenium import webdriverfrom selenium.webdriver.support.select import Selectfrom selenium.webdriver.common.action_chains import ActionChainsfrom selenium.webdriver.common.by imp

原创 Python截图与存储

获取截图坐标 # left, top, right, bottomfrom PIL import ImageGrabimport pyautoguifrom openpyxl import load_workbookfrom openpyxl.drawing.image import Imageimport timedef GetIma(): print("------begin--------") time.sleep(1) # 全屏抓取 .

原创 Python连接MySQL数据库

import pymysqlDBHOST = 'localhost'DBUSER = 'root'DBPASS = 'root'DBNAME = 'DBtest' # 数据库名try: db = pymysql.connect(DBHOST, DBUSER, DBPASS, DBNAME) print('数据库连接成功') # 创建一张表 cur = db.cursor() cur.execute('DROP TABLE IF EXISTS STUDE

原创 idea运行报路径不存在

原创 pip 配置

把PIP所在目录放到系统变量path里把Python路径放到系统变量

原创 oracle求最大值及其相关属性

建表，写入数据create table H_26(xuhao number,names varchar2(5),shuliang number);insert into H_26 values(1,‘A’,20);insert into H_26 values(2,‘A’,10);insert into H_26 values(1,‘B’,20);insert into H_26 values(2,‘B’,30);insert into H_26 values(3,‘B’,50);inse..

原创 Windows安装Scala步骤详解

Spark1.6中使用的是Scala2.10。Spark2.0版本以上使用是Scala2.11版本。官网下载 scala2.10：http://www.scala-lang.org/download/2.10.4.html下载好后安装。双击msi包安装,记住安装的路径。配置环境变量1、新建SCALA_HOME2、编辑系统的Path变量，在后面追加如下：;%SCALA_HOME%\bin;%SCALA_HOME%\jre\bin;3、编辑系统的Classpath..

原创 HDFS中文件的副本数量设置

setrep：设置HDFS中文件的副本数量设置副本数前设置副本数后在对应的路径设置所需副本数，如下hadoop fs -setrep 6 /TFBOYS/KarryWang/xiaopangxie.txt这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到6台时，副本数才能达到6。...

原创 HDFS的Shell操作

1、基本语法bin/hadoop fs 具体命令bin/hdfs dfs 具体命令dfs是fs的实现类2、常用命令hdfs dfs （查看一些基本命令）启动Hadoop集群start-dfs.shstart-yarn.shhadoop fs -help rm （帮助查看命令）hadoop fs -ls / （查看根目录）hadoop fs -ls -R / （递归查询根目录）hadoop fs -mkdir -p /TFBOYS/KarryWang (在根目录下

原创 HDFS文件块大小

HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数来规定，默认大小在hadoop2.x版本中是128 M，老版本中是64M– 如果寻址时间约为10ms，即查找到目标block的时间维10ms– 寻址时间为传输时间的1%时，则为最佳状态。– 目前磁盘的传输速率普遍为100ＭＢ/s为什么块的大小不能设置太小，也不能设置太大？（1）、HDFS的快设置太小，会增加寻址时间，程序一直在找块的开始位置（2）、如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的.

原创 HDFS概述

分布式文件管理系统：一种系统管理多台机器上的文件，HDFS 是分布式文件管理系统的一种。HDFS（hadoop distributed file system），它是一个文件系统，用于存储文件，通过目录树来定位文件；HDFS 的使用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。优缺点优点：（1）、高容错性– 数据自动保存多个副本。它通过增加副本的形式，提高容错性。–某一副本丢失以后，可以自动恢复（2）、适合处理大数据–数据规模：能.

原创 hadoop配置日志的聚集

应用运行完成以后，将程序运行日志信息上传到HDFS系统上。开启日志聚集功能，需要重新启动NodeManager、ResourceManager和HistoryManager。开启日志聚集功能具体步骤如下：1、配置yarn-site.xml进入etc目录下cd etc/hadoop/vi yarn-site.xml把下面内容配置到yarn-site.xml<!--日志聚集功能使能--><property><name>yarn.log-aggr

原创 hadoop单节点 配置历史服务器

1、配置mapred-site.xml先进入etc目录cd etc/hadoop/vi mapred-site.xml在该文件里面增加如下配置。(将karry01改为自己的节点)<!--历史服务器端地址--><property><name>mapreduce.jobhistory.address</name><value>karry01:10020</value></property><!

原创 hadoop单节点配置yarn-site.xml和mapred-site.xml

先进入hadoop目录etc下1、配置yarn-site.xmlvi yarn-site.xml最后一个value的值要改成自己的<!--Reducer获取数据的方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定YARN的Resourc

转载 Hadoop安装包目录结构

https://blog.csdn.net/henrrywan/article/details/88343529

原创 详解hadoop单词统计案例（word count）

首先，进入hadoop目录下cd hadoop-2.7.0/然后，在本地新建一个目录mkdir coninput在coninput 文件夹下新建一个文件cd coninput/touch wc.test往文件里添加任意单词后并保存，返回上一级目录新建一个HDFS目录bin/hdfs dfs -mkdir /user/root/temp将本地文件上传到 HDFS目录下bin/hdfs dfs -put coninput/wc.test /user/roo.

原创 打开hadoop的网页web端

先启动集群start-dfs.sh jps 测试一下是否启动方法一：输入 虚拟机ip：50070方法二：输入设置好的名称：50070

原创 ORACLE 数据字典

当前用户SHOW USER; 获取当前用户能访问的数据字典SELECT * FROM DICTIONARY; 查询用户创建的表SELECT * FROM USER_TABLES; 数据字典的命名规则常用的数据字典用户创建的数据库对象SELECT * FROM USER_OBJECTS;用户能访问的数据库对象SELECT * FROM ALL_OBJECTS;查询列注释--建表CREATE TABLE PRODUCT(APP.

原创 hadoop免密登录设置

主节点test00，从节点test01主节点执行以下命令，回车到结束，生成免秘钥ssh-keygen -t rsa 查看是否生成 .ssh 文件ls -lacd .sshls -la返回根目录cd ~ scp .ssh/id_rsa.pub [email protected]:~测试是否能直接登录从节点ssh test01从节点执行以下命令，回车到结束，生成免秘钥ssh-keygen -t rsals -lallcat i.

转载 WARNING: You are using pip version 19.2.1, however version 20.1.1 is available.

WARNING: You are using pip version 19.2.1, however version 20.1.1 is available.You should consider upgrading via the ‘python -m pip install --upgrade pip’ command.问题：安装包的时候报错，执行 python -m pip install --upgrade pip命令还是不能解决解决： 需要加个user，如下：python -m pi

原创 oracle 内关联，左外关联，右外关联，全外关联

创建表一USER_TABLE，表二WORKS_LISTCREATE TABLE USER_TABLE(USER_ID NUMBER(10),USER_NAME VARCHAR2(10),USER_WORKS VARCHAR2(20));CREATE TABLE WORKS_LIST(USER_NAME VARCHAR2(10),WORK_CONTENT VARCHAR2(20...

原创 Linux文件权限3（1-6）

权限连接所有者所属组容量-默认单位B修改的日期文件名-rw-r–r--中的第一位：d：表示目录-：表示文件l：表示连接文件b：设备文件，提供存储的接口设备c：设备文件，提供串行的接口设备----键盘，鼠标文件的权限：所有者，所属组，其他人rwx：读、写、执行，没有权限就是 -第一组rwx：文件所有者的权限第二组rwx：文件所属组的权限第三组r...

原创 虚拟机环境配置

关闭防火墙service iptables stopchkconfig （可省略）chkconfig iptables off修改configcd /etc/selinuxls （可省略）vi config改中间那行没注释的值为disabled （如下图第六行）删除文件（企业中不需要这一步）cat /etc/udev/rules.d/70-presistent-n...

原创 Linux常用操作

Linux用户的基本操作查看当前登入用户 ：whoami添加一个用户：useradd 用户名（管理员才有权限）设置用户登入密码：passwd 用户名 （管理员才有权限）切换用户：su– su 用户名– su (切换到root)– 管理员切换到普通用户不需要密码，普通用户之间或普通用户到管理员的切换都需要密码管理员登入 # ，普通用户 $...