- 博客(18)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 使用Python Faker 造数据
什么是FakerFaker是一个Python包，开源的GITHUB项目，主要用来创建伪数据，使用Faker包，无需再手动生成或者手写随机数来生成数据，只需要调用Faker提供的方法，即可完成数据的生成。项目地址： https://github.com/joke2k/faker项目案例：[[Python脚本使用Faker构造一个1万行的csv客户表]]Faker使用官方文档：Faker 8.1.1 documentation引用包、初始化、调用from faker import Fakerf
2021-05-16 01:54:52
374
原创 Linux 命令详解
1.帮助命令1.1 help命令#语法格式： 命令 --help#作用: 查看某个命令的帮助信息# 示例: # ls --help 查看ls命令的帮助信息 # netstat --help 查看netstat命令的帮助信息1.2 man命令#语法格式： man 命令#作用: 查看某个命令的帮助手册# 示例: # man ls #查看ls命令的帮助手册 # man netstat #查看netstat命令的帮助手册2.路
2021-05-16 01:48:14
959
原创 Raft详解
#分布式协调/Raft拜占庭将军问题Leslie Lamport 在三十多年前发表的论文《拜占庭将军问题》。拜占庭位于如今的土耳其的伊斯坦布尔，是东罗马帝国的首都。由于当时拜占庭罗马帝国国土辽阔，为了防御目的，因此每个军队都分隔很远，将军与将军之间只能靠信差传消息。在战争的时候，拜占庭军队内所有将军必需达成 一致的共识，决定是否有赢的机会才去攻打敌人的阵营。但是，在军队内有可能存有叛徒和敌军的间谍，左右将军们的决定又扰乱整体军队的秩序，在进行共识时，结果并不代表大多数人的意见。这时候，在已知有成员不可
2021-05-16 01:39:20
1424
原创 PCRE中正则表达式全集
#算法/正则表达式\将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，n匹配字符n。\n匹配一个换行符。序列\\匹配\而\(则匹配(。^匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配\n或\r之后的位置。$匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性，$也匹配\n或\r之前的位置。*匹配前面的子表达式零次或多次。例如，zo*能匹配z以及zoo。*等价于{0,}。+匹配前面的子表
2021-05-16 01:33:10
360
转载 图数据库基础知识—（上）
图数据库基础知识—（上）目录背景知识图数据库的介绍图数据库的特点图数据库应用场景图数据库的术语一图数据库介绍图数据库（英文：Graph Database）在传统意义上被归类为NoSQL（Not OnlySQL）数据库的一种，也就是说属于非关系型数据库，其它的非关系型数据库在广义上还包含例如，键值数据库、文档数据库、列数据库、时序数据库等。从数据科技（DT）、数据处理技术发展的趋势来看，过去的40年间，我们经历了从Data到Big Data 到Fast...
2021-02-10 11:59:08
335
2
原创 Mac Docker 安装及使用
Mac安装官网：https://docs.docker.com/get-docker/下载：Docker Desktop on Mac双击打开安装：Docker.dmg查看版本：$ docker version安装Kitematic本地镜像管理工具，安装Docker Toolbox后自动安装：https://github.com/docker/toolbox/releases获取镜像直接从Docker Hub镜像源$ docker pull ubuntu:1804..
2020-10-11 20:18:38
223
原创 Mysql字符集不匹配导致insert报错 “SQL 错误 [1366] [HY000] ”解决方案
查看表的字符集show full columns from 表名;可以看到每个字段的字符都是utf8因此导入数据没问题，如果是其他可能会出现问题。查看Mysql服务器字符集show variables like '%character%';说明：此配置可以正常insert，你的不能insert，可能在database这项配置为latin1，我们至少需要将database这项配置改为utf8。这项配置指建表时的默认字符。修改配置setcharacter_set..
2020-09-16 17:12:44
598
原创 Hive不支持update、delete解决方案
Hive ACID要实现update和delete功能，该表就必须支持ACID，而支持ACID，就必须满足以下条件： 表的存储格式必须是ORC（STORED AS ORC）； 表必须进行分桶（CLUSTERED BY (col_name, col_name, …) INTO num_buckets BUCKETS）； Table property中参数transactional必须设定为True（tblproperties(‘transactional’=‘true’)）；
2020-09-09 17:02:39
8413
原创 git/github/gitlab
本地git配置初始化git config --global user.name "zhuqinjie"git config --global user.email "[email protected]" 初始化空的代码仓库git init testgit查看所有目录（包含隐藏目录）：ls -la展开所有目录和文件：find .git文件介绍：/.git/branches 分支文件/.git/config...
2020-09-05 04:35:19
162
原创 centos硬盘扩容
1、查看磁盘空间使用情况df -h2、VMWare菜单设置磁盘大小虚拟机设置 => 硬件 => 硬盘3、创建分区[root@localhost]# fdisk /dev/sda p 查看已分区数量（我看到有两个 /dev/sda1 /dev/sda2）n 新增加一个分区p 分区类型我们选择为主分区 分区号输入3（因为1,2已经用过了,sda1是分区1,sda2是分区2,sda3分区3）...
2020-08-17 19:01:45
144
原创 mac系统下的Rootless机制的关闭与开启
设置这个机制的情况/usr/bin/目录下报错： Operation not permitted步骤一重启按住 Command+R，进入恢复模式。步骤二找到终端，打开键入命令 csrutil disable(关闭)/csrutil enable(开启)，回车步骤三重启搞定！...
2020-08-12 16:12:19
348
原创 mac安装telnet最简方法【非homeblew】
介绍Mac OS 10.13.1 以后无法使用telnet命令，需要自己安装。而常规的使用Homeblew，下载会非常慢，而且不容易成功，因此不建议使用该方式，这里提供一种非常简单的安装方式。步骤一下载mac 10.12版本下/usr/bin/中的telnet可执行文件下载地址：步骤二将可执行文件放入/usr/local/bin/中；mac的finder默认不显示/usr目录，可通过command+sheft+G打开全路径目录搜索栏。搞定 ！！...
2020-08-12 16:00:26
1460
原创 使用Windows命令行下载网页文件
1、打开PowerShell搜索栏输入：powershell2、依次输入$client = new-object System.Net.WebClient$client.DownloadFile('https://labfile.oss.aliyuncs.com/courses/812/chapter6.tar.gz','D:\sources\chapter6.tar.gz')注：一个参为下载地址，第二个参为存储路径及文件名...
2020-07-12 19:58:48
3485
原创 手动下载依赖使用 pip 安装 wxPython
1. 下载 wxPython 的依赖numpy : numpy-1.16.4-cp37-cp37m-win_amd64.whlPillow : Pillow-6.0.0-cp37-cp37m-win_amd64.whlsix : six-1.12.0-py2.py3-none-any.whlwxPython : wxPython-4.0.6-cp37-cp37m-win_amd64.whl2. 使用 pip 安装下载的 whlpip install n.
2020-07-12 19:42:15
858
原创 数据倾斜介绍及解决方案
1、 什么是数据倾斜？由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点2、 Hadoop 框架的特性A、 不怕数据大，怕数据倾斜B、 Jobs 数比较多的作业运行效率相对比较低，如子查询比较多C、 sum,count,max,min 等聚集函数， 通常不会有数据倾斜问题3、 主要表现任务进度长时间维持在 99%或者 100%的附近， 查看任务监控页面，发现只有少量 reduce子任务未完成， 因为其处理的数据量和其他的 reduce 差异过大。单一 reduc
2020-06-18 16:24:00
389
原创 集群间hive数仓迁移
方式一：(此方法需要建库建表)第一步：建库建表在原集群hive上查看迁移表的建表语句及所在库，然后在新集群hive上建库建表；show create table tb_name;create database db_name;create table tb_name .....第二步：转移数据文件到新集群；在旧集群中下载数据到本地hadoop fs-get /user/hive/warehouse/dc_ods.db/tb_name /home/zhang.xl/t..
2020-06-18 15:47:53
383
转载 hive底层与数据库交互原理
一、Hive到底是什么image.png如何理解Hive（1）从概念上来看-> Hive是基于Hadoop的一个数据仓库工具；它是MapReduce的一个封装，底层就是MapReduce程序；-> Hive可以将结构化的数据文件（eg：按照各字段分类的数据）映射成一张虚表，并提供类SQL查询功能；-> 有了Hive后我们就不用再写麻烦的MapReduce程序了。（2）从本质上来看Hive就是把sql语句转化为MapReduce程序。Hive没有服.
2020-06-17 22:45:01
1225
mac_telnet.zip
2020-08-12
wxPython-4.0.6-cp37-cp37m-win_amd64.whl及依赖
2005-07-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人