自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 不同机器间,同步mysql数据

# -D:数据库名称,-h:mysql服务的host,-p:mysql数据库密码,-e:需要执行的sqltmp_file="db_xxx.csv"mysql -D db_name -h${host} -u${username} -p"${password}" -ss -e "${sql}" >$tmp_file# check是否正常同步了数据lines=$(wc -l $tmp_file | awk '{print $1}')echo -e "共抽取:$lines 行"...

2021-03-31 12:55:56 113

原创 遍历Redis中的key,并把很久不更新的old key删除,降低存储空间

遍历Redis中的key,并把很久不更新的删除#!/usr/bin/python# -*- coding: UTF-8 -*-import redisimport timedef run(host, port=9221, db=1): pool = redis.ConnectionPool(host=host, port=port, db=1) client = redis.StrictRedis(connection_pool=pool) ts = 86.

2021-03-28 11:33:59 176

原创 pySpark读取S3上多个路径数据,并保存到Hive中

pySpark支持Hive操作

2021-03-12 13:58:51 370

翻译 《word2vec中的数学原理》 来自大神peghoty

之前有幸浏览了大神peghoty写的 《word2vec中的数学原理》一文,倾佩之心油然而生,最近想下载个pdf打印出来,方便随时查看,怎奈网上搜到的都要花钱。真是来气,别人写的东西,免费share给你们,你们看完后,粘贴下来反而要收取别人的钱,是何道理?手工费吗? 难道不应该继续发扬大神的分享精神吗?这才特地写这篇文章,把知识尽量的传播下去。大神的原链接:https://www.cnblogs.com/peghoty/p/3857839.htmlPDF文档链接:https://pan.ba

2021-02-11 10:45:54 119

原创 Linux普通用户配置免密登陆

最近搭建hadoop集群,专门创建了一个用户hadoop,配置免密登陆时一直不成功,每次都要我输入密码,开始我以为是我的公钥不正确,后来才想起来,以前配置的时候就遇到这个问题,然后现在记下来,防止以后忘记。。。用户家目录下,存放密钥的文件权限有以下规定:1..ssh目录权限必须为 755 或者 700就是不能是77x2.rsa_id.pub 及authorized_keys权限必须为6

2017-12-03 02:48:12 2316

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除