- 博客(59)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Hive3 单机版(含Derby 多用户及Spark on Hive)
Hive3 单机版(含Derby 多用户及Spark on Hive)
2022-11-19 22:41:20
1561
1
原创 PySpark 单机版(含spark-submit)
JDK 1.8Python 3.7https://spark.apache.org/downloads.htmlhttps://archive.apache.org/dist/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz检验Spark2PySpark 开发Spark2 单机版说明由于是，所以本例的默认使用自带的和管理，且数据文件都存储在例如执行其就会在即下生成上面说到和在执行程序的当前路径下生成，不方便管理，需要指定一个集中的地方示例程序
2022-10-04 23:22:13
1033
原创 Spark 源码理解之withScope (含补充说明)
Spark 源码理解之withScope在通过看RDD源码理解各算子的作用时, 总能看到withScope, withScope到底是个什么东西?首先需要了解几个东西: scala柯里化(currying), 贷出模式(loan pattern)scala 柯里化(currying)在scala 中，一个经过柯里化的函数在应用时支持多个参数列表，而不是只有一个。当第一次调用只传入第一个参数时，返回一个用于第二次调用的函数值。scala> def curriedSum(x: Int)(y:
2022-05-04 16:06:41
1370
原创 ClickHouse 初步体验
ClickHouse 初步体验官方网站快速开始离线下载官方Docker官方Docker 更新官方安装指南Docker 版体验启动ClickHouse 服务# 单纯启动ClickHouse Server，映射宿主机8123 端口## 升级clickhouse-server 为21.8docker run --rm --name clickhouse-server \ --ulimit nofile=262144:262144 -p 8123:8123 \ -d clickhous
2022-03-07 16:06:24
802
原创 Linux 命令行参数中“-“(一个减号)的作用
Linux 命令行参数中"-"(一个减号)的作用补充说明对减号- 代表标准输入输出的一点补充-可称之为dash、minus、hyphen(连字符)、minus-sign(减号)# 参考，https://tldp.org/LDP/abs/html/special-chars.html# 减号- 代表标准输入还是标准输出，视具体命令而定# 如果命令是往外输出的，则减号- 代表标准输出stdout# 如果命令是等待输入的，则减号- 代表标准输入stdin # 以下面复制文件的列子进行讲解#
2022-01-20 17:33:10
3192
原创 解决高分辨率下远程桌面连接服务器，字体图标太小的问题
使用Remote Desktop Organizer V1.4.7 代替系统自带的mstsc 即可https://remote-desktop-organizer.en.lo4d.com/windowshttps://www.xitong520.com/xtjc/20200220/1582210973.html在MacBook Pro 上的Bootcamp 远程连接Windows 2k3 测试通过
2022-01-10 09:25:52
6626
原创 join 原理手撕JDK8 源码
join 原理手撕JDK8 源码当一回标题党????，希望内容对道友们有所帮助原版现象示例代码// TT01.javapublic class TT01 { public static void main(String []args) throws Exception { Thread tt = new Thread(() -> { try { for (int i=0; i<5; i++) {
2021-11-02 16:35:32
96
原创 HBase2.1.10 + Phoenix5.1.2 整合
HBase2.1.10 + Phoenix5.1.2 整合本文适用于HBase2.1.10 + Phoenix5.1.2HBase2.3.6 + Phoenix5.1.2安装步骤清理旧版# 清除zookeeper 信息cd /opt/modules/zookeeper-3.5.8 &&\ bin/zkCli.sh -server hadoop113:2181 <<< "deleteall /hbase"# 清除HDFS 数据cd /opt/modul
2021-09-10 14:58:24
466
原创 Java8 Lambda 函数式接口和函数引用示例
Java8 Lambda 函数式接口和函数引用综合示例示例代码package com.abc.java.test;// 1. 定义一个函数式接口// 函数式接口有且只有一个抽象方法的接口，但可以有0 到多个已实现的方法// 只要满足以上条件就是函数式接口，@FunctionalInterface 只用于编译器检验，可选@FunctionalInterfaceinterface PlayAble { void play();}// 2. 定义一个Device 类class D
2021-06-12 14:17:16
99
原创 Linux date 命令临时修改时间及还原
date 命令临时修改时间及还原# 查看当前时间date## Thu Mar 18 00:46:07 AEDT 2021## 可见当前日期为2021 年3 月18 日# 临时设置日期sudo date -s 12/12/12date## Wed Dec 12 00:00:00 AEDT 2012## 这样设置的时间日期仅本次登录有效，exit 退出后失效# 还原系统时间sudo ntpdatedate## Thu Mar 18 00:48:00 AEDT 2021## 意外发
2021-03-17 21:53:24
3566
原创 Linux sudo 免密设置
Linux sudo 免密设置测试系统Ubuntu 14.0.4免密sudo 设置谨慎操作‼️若改错只能进安全模式还原????，编辑**/etc/sudoers**，内容如下：Defaults env_resetDefaults mail_badpassDefaults secure_path="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin"root ALL=(ALL:ALL) ALL%adm
2021-03-15 19:55:20
671
原创 Hive3 安装和简单使用(含Hive on Spark)
Hive3 安装和简单使用准备工作JDK 8 安装参考《Oracle JDK 安装》笔记内容ZooKeeper 安装参考《Zookeeper 集群配置》笔记内容，仅Hadoop3 HA 会用到Hadoop 3 安装参考《Hadoop3 集群配置》，《Hadoop3 HA 安装配置》笔记内容MySQL 5.6 安装参考《Ubuntu14.04 安装MySQL5.6》笔记内容Hive3 安装设置Hive3 下载部署# 0. 应用准备工作的环境变量_HIVE_VER=3.1.2_HIV
2021-02-18 13:23:58
3311
原创 修改MacOSX 启动菜单中磁盘名称
MacOSX 开机时按住Option 键或Alt 键即可进入启动菜单一般默认都是“EFI Boot”，不好区分是哪个分区，可以在MacOSX 中使用bless命令修改分区名以微软的ESP 分区为例# 1. 默认MacOSX 不加载MSR 和ESP 分区，所以先要mountls /dev/disk* # 查看目前有什么磁盘分区sudo mkdir /Volumes/ESPsudo mount -t msdos /dev/disk2s2 /Volumes/ESP## /...
2021-02-03 18:41:31
4647
1
原创 Ubuntu 18.04 安装Wine 微信
Ubuntu 18.04 安装Wine 微信前言Ubuntu 18.04与Ubuntu 16.04安装Wine和微信总体流程相似但也有小区别操作步骤安装Wine 最新版# 0. 卸载旧版Winesudo apt purge --autoremove wine winehq# 1. 开启32 bit 架构支持sudo dpkg --add-architecture i386 # 2. 下载和添加 repository keysudo apt-get updatesudo apt-g
2021-01-30 14:14:02
844
原创 打造自定义的Ubuntu Live CD ISO
打造自定义的Ubuntu Live CD ISO前言最近为了儿子们上网课流畅把家里的iPad mini 2降级了，但是降级的条件相当苛刻，对软硬件都有要求考虑到不是人人都有MacBook或者黑苹果可以用，于是有了寻找Linux上替代方案的想法虽然如愿找到了https://github.com/LukeZGD/iOS-OTA-Downgrader，但对普通人还是显得无从下手最终想将远程协助软件和降级工具集成在一个镜像中，无论是刻盘还是做出Live USB都相对简单很多需求安装vim，git和T
2021-01-24 20:16:51
1743
原创 打造可保存数据的Ubuntu Live USB
打造可保存数据的Ubuntu Live USB前言之前写过一个打造纯UEFI 启动的Ubuntu 系统U 盘，那种方法跟将Linux安装到硬盘上没有任何区别，是最纯粹的一种安装方式。只是20.04版的Grub2在UEFI引导有Bug，需做些处理，详见本文的操作步骤里Grub2 配置。本次介绍另一个用Grub2引导ISO文件并使用Persistent的分区或文件来保存数据的方法，但注意这种方法会有些底层上的问题，例如使用Docker、安装无线网卡驱动等，本文也会列出解决办法。材料准备至少8GB支持
2021-01-13 10:20:42
3594
原创 Presto 安装和简单使用
Presto 安装和简单使用0. 集群工具脚本ccmd.sh 集群命令执行cd && cat > ccmd.sh << 'EOF'#!/bin/bashif((0==$#)); then echo no args; echo "Usage: $0 cmd1; cmd2; cmd3" # 多个命令用分号隔开 exit;fi# cd -P 透过软连接获取绝对路径pdir=`cd -P . ; pwd`# 修改seq 范围以覆盖更多节点for
2020-08-18 09:57:47
1480
原创 Java 直接访问私有属性的抢劫例子
Java 直接访问私有属性的抢劫例子代码讲解package com.abc.java;public class Test02 { public static void main(String[] args) { Person p1 = new Person("Lily", 999); Person p2 = new Person("Badman", 0); System.out.println(p1.getName() + " has money " + p1.get
2020-08-07 09:05:11
103
原创 PVE FRP MySQL 端口映射
PVE FRP MySQL 端口映射前言虚拟软件(PVE，VMWare，Docker，VirtualBox)如果用有线连接除宿主机之外的主机均有可能连不上虚拟机里的MySQL，使用Wifi 就100% 能连上目前已知的解决办法是用frp 做虚拟机和宿主机的端口映射，然后其他机器访问宿主机服务端# 创建安装目录mkdir -p /opt/modules# 下载frpcd && wget https://github.com/fatedier/frp/releases/dow
2020-08-06 17:57:02
1398
原创 Scala 下划线_ 简化匿名函数注意事项
Scala 下划线_ 简化匿名函数注意事项eta-expansion 概念把 x => func(x) 简化为 func _ 或 func 的过程称为 eta-conversion把 func 或 func _ 展开为 x => func(x) 的过程为 eta-expansionEta Expansion 的就近expand 解析原则Underscores extend outwards to the closest closing Expr: top-level express
2020-07-03 21:14:05
411
原创 Linux 特殊权限s 和t 演示
Linux 特殊权限s 和t 演示前言概念s 和t 权限会代替原x 权限所在的位置一、关于t 权限最好的例子是ls -ld /tmp # -d 表示目录任何人都可以在/tmp下创建文件，且只能删除自己创建的文件(root 用户例外)二、本文主要演示s 权限，它表示执行者将用于文件创建者同样的权限注意：仅适用于二进制可执行文件，对于.sh 脚本文件不使用演示过程# 1. Ubuntu 14.04 上安装gccsudo apt-get install -y gcc# 2. 切换到/tmp
2020-06-12 10:20:00
204
原创 03 Scala 高阶函数自己总结
Scala 高阶函数自己总结基础文档之前自己总结的笔记，重点看 《Scala 中方法和函数底层Java 实现》代码讲解// HOFunc.scalapackage com.abc.scalaobject HOFunc { // 一、高阶函数说明 /* 1. Scala 命名函数用def 定义，其底层实现跟Java 中定义方法一样，为了跟Scala 匿名函数区分也称其为"方...
2020-05-08 10:59:36
236
原创 02 Scala 中方法和函数底层Java 实现
Scala 中方法和函数底层Java 实现Scala 源代码// FuncMeth.scalapackage com.abc.scalaobject FuncMeth { // 命名函数，又叫方法 Method def meth1(name1: String, name2: String): String = { return "Method " + name1 + "...
2020-05-07 12:50:10
159
原创 01 Scala 中Object 反编译Java 模拟运行
Scala 中Object 反编译Java 模拟运行Scala 源代码// Obj1.scalapackage com.abc.scalaobject Obj1 { def main(args: Array[String]): Unit = { println("I am here.") } def func(name:String): Unit = { pri...
2020-05-07 12:49:06
265
原创 scala 匿名函数即lambda 表达式简化规则
// ParInf.scalapackage ParameterInferobject ParInf { def main(args: Array[String]): Unit = { val list = List(1, 2, 3) /* 匿名函数类型推断简化规则： 1. 参数类型是可以推断时，可以省略参数类型 2. 当传入的函数，只有单个...
2020-05-07 12:47:30
459
原创 scala 普通函数和匿名函数即lambda 表达式
scala 普通函数和匿名函数即lambda 表达式 函数function / 方法method 的定义 基本语法 def 函数名 ([参数名: 参数类型], ...) [[: 返回值类型] =] { 语句... return 返回值 } 1. 函数声明关键字为def (definition) 2. [参数名: 参数类型],...
2020-05-07 12:45:38
775
原创 由普通用户执行service redis-server 想到
如果普通用户执行service redis-server status即使redis-server 已经运行了还是显示以下内容redis-server is not running如果换成用root 用户或用sudo 执行sudo service redis-server status就能显示出正确的redis-server 状态了redis-server is ...
2020-04-28 17:09:16
649
原创 窗口函数和OVER 关键字(自己再次总结)
窗口函数和OVER 关键字环境准备MySQL 部署# 可选，如果本机没装mysql 客户端brew install mysql-client## 然后导⼊入到PATH 中echo 'export PATH="/usr/local/opt/mysql-client/bin:$PATH"' >> ~/.bash_profilesource ~/.bash_profile#...
2020-04-23 22:06:35
633
原创 shell 中!$ 和$_ 的区别
shell 中!$ 和$_ 的区别测试# !$ 和$_ 实际指代的东西是不同，只是在某些情况下它们的值看起来一样而已# 测试!$echo aaa bbb cccecho 111 && echo !$ # 先被替换成echo 111 && echo ccc 然后执行# 结论，!$ 指代的是上一行命令的最后一个参数ccc# 测试$_echo aaa...
2020-04-18 08:54:27
1370
原创 SysDVR Switch 串流到笔记本
SysDVR Switch 串流到笔记本Switch下载最新版的SysDRVhttps://github.com/exelix11/SysDVR/releases本文用的是v3.0https://github.com/exelix11/SysDVR/releases/download/v3.0/SysDVR.zip解压SysDVR.zip，将atmosphereconfig...
2020-04-17 14:48:20
11754
5
原创 CentOS 6.10 minimal 安装及虚拟机克隆
CentOS 6.10 minimal 安装及虚拟机克隆1. 下载官网下载地址https://wiki.centos.org/Download，点击x86_64# wget 方式下载wget http://centos.melbourneitmirror.net/6.10/isos/x86_64/CentOS-6.10-x86_64-minimal.iso2. 安装虚拟机配置CPU...
2020-03-27 15:26:58
581
原创 ssh 远程执行脚本(自己总结)
ssh 远程执行脚本(自己总结)1. 远程执行前台脚本# 1. 在hadoop113 上创建脚本s1.sh，用cat 和here document 创建并赋予执行权限cd && cat > s1.sh << 'EOF' && chmod +x s1.shread # 标准输入echo $REPLY # 标...
2020-03-26 22:33:01
5392
原创 Flume 安装使用(自己总结) 吐槽CSDN 对Markdown 的mermaid 语法支持不完整
Flume 安装使用(自己总结)准备工作安装JDK8# 下载JDK 8wget --no-cookies --no-check-certificate --header \"Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" \"http://download...
2020-03-21 09:57:45
510
原创 HBase 安装使用(自己总结)
HBase 安装使用(自己总结)环境准备集群工具脚本ccmd.sh 集群命令执行cd && cat > ccmd.sh << 'EOF'#!/bin/bashif((0==$#)); then echo no args; echo "Usage: $0 cmd1; cmd2; cmd3" # 多个命令用分号隔开 exit;fi# c...
2020-03-15 08:22:37
614
原创 关于Linux 中文件夹权限x 和Inode 的自己总结
关于Linux 中文件夹权限x 和Inode 的自己总结理论猜测之前看了几篇文章得知，Linux用inode号码来识别文件，它相当于文件在文件系统中唯一的ID，不同文件有不同的inode号码，文件在被创建时就有inode号码了，不管该文件被放到哪个路径下inode号码都是不变的。获取inode号码可以有以下方法：# 获取a.txt 文件信息，包含inode 号码stat a.txt#...
2020-03-12 12:53:11
514
原创 Sqoop 1.4.6 安装使用(自己总结)
Sqoop 1.4.6 安装使用(自己总结)JDK 安装# 下载JDK8wget --no-cookies --no-check-certificate --header \"Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" \"http://download...
2020-03-08 15:39:50
488
原创 Azkaban 3.48 编译安装测试(自己总结)
Azkaban 3.48 编译安装测试(自己总结)Azkaban 运行模式Azkaban分为三种模式模式说明SoloServer一个SoloServer进程包含了WebServer和Executor，使用自带的H2数据库。WebServer + Executor分WebServer和Executor两个进程，仍部署在同一台机器上，可使用第三方数据库。Web...
2020-03-07 20:21:52
573
Tcl/Tk命令与C/C++的集成研究
2009-03-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人