ghostyusheng 's blog

原创 logstash s3 写入 %{host} %{message}异常

logstash s3 %{host} %{message} 异常，错误

原创 阿里云dataworks就是个半成品！

用hadoop/ EMR，不要用dataworks，不要用dataworks，不要用dataworks，重要的事情说三遍。各种莫名其妙的坑，ip黑盒，工程师无法干涉，傻瓜式无限的提交，发布，点来点去浪费时间，各种bug，fuxi错误....完全没有意义的文档，写了跟没写一样，完全google查不到任何资料，不详细的文档，完全无法定位解决问题，只能等ali解决，靠!...

原创 hologres,postgreSQL如何设置变量?(set variables)

原理很简单，利用with组成会话变量，然后用sql标准查询风格1，对app_copy我们真正要的表进行数据和var3做比较运算。

原创 记一次数仓重构的前因后果，以及抉择的反思

概要专有名次解释笔者是某游戏平台领域xx公司的数据负责人，准确来说是刚接到boss需求紧急调配到这个项目组。刚接到需求的我立刻跟各个同事了解业务情况，当我了解到数仓的问题的时候，我裂开了，（本人曾担任过原数仓的负责人），原来的数据源是1个，以hadoop为中心展开，现在到好，变成了三个（oss + hadoop + dataworks）。现数仓设计图这里可以看到，我们从阿里的sls（日志中心）订阅实时流数据，然后经由ETL工具（nifi）处理，分别写入三个数据源(OSS, EMR(hadoop),

原创 数仓基本知识

数仓基本知识概要以下描述包含我对整个数仓及其概念的简化提炼。适合新手了解相关概念，快速上手，老鸟请绕过。业界为什么要用“数仓”?说起数仓，业界为什么要开发数仓的技术？我们有mysql数据库，mongo数据库，业界为什么要推出个”数仓”的技术？因为存储，因为查询。存储： mysql在阿里开500G磁盘空间就将近4w块钱一个月，而且已经达到最大值，如果我们要100个T数据（1T=1024G）,我们还能用mysql数据库吗？不能，怎么办？” 数仓！“查询： 众所周知mysql在单表处理上亿的数据，可

原创 hbase-presto-phoenix遇到的坑

phoenix:1.表/字段名要加双引号。2.不加双引号，默认英文单词，创建的表/字段为大写。3.select 字段的时候要加单引号select * from "aaa" where "name" = 'zys'等价于select * from AAA where NAME = 'zys'4.联动hbase， hbase int用phoenix bigint类型，直接用代码操作hbase存int类型（正负数）， 会导致在phoenix select * from tb 操作读不出来数据.

原创 presto-mongodb-jupyter环境搭建

presto配置1.presto 安装包下载https://prestosql.io/download.html2.cd presto-server-xxx/etc3.mkdir catalog4.确保存在以下文件，没有就创建(192.168.201.31 换成自己主结点的 IP)FILE: jvm.config-server-Xmx20G-XX:+UseConcMarkSw...

原创 k8s集群部署+疑难问题解答

参考资料:https://tonybai.com/2019/10/21/how-to-deploy-a-kubernetes-cluster-with-ubuntu-server-18-04/安装(ubuntu举例)(1) sudo apt-get install docker.io(2) sudo usermod -aG docker $USER(3) sudo systemctl s...

原创 AWS亚马逊服务器配置过程

用户阿里云的用户都知道，AWS跟阿里ecs相比，复杂多了，所以这里记录一下基本的搭建过程。VPC创建一个网段，这样你的ec2机器就属于这个网段，可以配置堡垒机，公网私网等。子网创建三个子网，注意至少要夸两个可用区（aws强制的，为了容灾），网段在你第一步创建的网段基础上，创建”子网的子网“（计算机网络基础知识）,比如 192.166.0.0/16 包括 (192.166.1.0/24 +...

原创 webpack js如何自动区分开发生产环境，设置环境变量

原创 python flink 1.9 环境搭建 - 处理kafka实例化报错

我看网上都是一个版本的中文文档，有些地方细节不够清楚，我这里补充一下。首先flink在1.9才开始支持支持python的。开发主要思路是要先把源码编译成python的依赖包，然后用pip命令把包集成到python库。安装命令如下:1.git clone https://github.com/apache/flink.git2.git fetch origin release-1.9 &a...

原创 linux使用shell脚本对多机器日志监控

linux使用shell脚本对多机器日志监控遇到的难题日志分散在三台服务器，每次报错查看日志都需要一台一台找，非常麻烦,所以第一反应就是有没有比较好的日志系统可以一次性查看所有的日志，后来发现都需要搭建，或者安装，或者配置相关服务，所以想了一些简单的监控多机日志的方案。定义设三台机器为 c1, c2, c3(c1同时为跳板机)尝试方案一### 配置简单的alias脚本，让本机可以快速t...

原创 php opcache优化

opcache.ini文件废话不多说，直接上代码。zend_extension=/home/.phpenv/versions/5.4.34/lib/php/extensions/no-debug-non-zts-20100525/opcache.so ### 这行看自己需要加还是不加，或者改路径，你要确保so文件被php启动的时候加载### 重点opcache.memory_consu...

原创 python jupyter安装

安装pip3 install --upgrade jupyter matplotlib numpy pandas scipy scikit-learn启动jupyter notebook

原创 mysql大量数据快速导入

我遇到的是200g左右的数据，本来需要好几天挂机，在做了优化之后，确实速度提升了很多，但你还是要挂机= .=# 1.不要自动提交SET autocommit=0;SET unique_checks=0;SET foreign_key_checks=0;source xxx;commit; # 注意这一行可以写两行代码，然后挂机# 2.bin_log关闭 + 加快数据刷新到...

原创 python使用jdbc连接hive

At last,I figure it out finally. But I think is not a great idea to use this component to connect hive, it's depend lots of jar package, and you must install jar package with python-java debug REPL(mo...

原创 记一次并发/接口延迟问题的解决思路

博主是做搜索服务的，框架选型tornado，采用单进程+线程部署模式，有一次接口迁移，接了线上大流量请求过来，发现APM日志接口性能明显下降了，然后就开始了疯狂排查。1.接口性能日志，排查APM接口性能监控日志（我部署了这个服务，如果你没有，你在接口层面打文件日志监测接口性能也可以）2.系统层面，排查Linux层面TIME_WAIT的情况，因为一个request进来的时候，一定有个端口跟你ht...

原创 可视化服务的权限控制设计,kibana权限控制,nginx open permission错误

今天接到上级指示，对外开放的端口的可视化服务全部都要做权限控制，虽然这些端口在阿里云已经设置白名单，但是这样安全系数还是不完善，所以考虑在所有可视化服务商拦截一层，设计如下：主服务机器：核心业务跑上面可视化机器：kibana，rabbit可视化，grafana等等可视化服务...---在主服务器上部署nginx docker，利用nginx auth模块做登录权限认证.比如...

原创 制作vagrant镜像

1.下载你需要的镜像，以ubuntu为例wget http://d16r8ew072anqo.cloudfront.net/ubuntu-16.04.6-server-amd64.iso2.安装virtual box3.把镜像放到vbox盘片中，启动(请选择英文版，中文版有个busybox-initramfs可能会报错)狂点下一步，默认安装即可，主机名最好vagrant，有个选项不要选L...

原创 elstic search head代理配置，端口转发，跨域问题

先说下我遇到的场景：elstic search 节点 在内网机器，外网就一台机器暴露公网ip，但是想在公网访问els-head。服务器架构如下：我的解决过程：1. 考虑端口转发2.rinetd安装配置了转发 宿主机9200到内网ip的9200 （后来发现这步没必要，node有自己的代理，可以跳过）3. 我在els-head前端调试，在ui界面连不上，但是直接访问宿主机...

原创 mongodb安装和导入导出

mongoimport -h dds-xxxxx.mongodb.rds.xxx.com --port 3717 -u root -p xxx -d engine -c game_map game_map_20190509.mongo --authenticationDatabase adminmongoexport -d engine -c game_map -o game_map_201...

原创 替代迅雷的下载软件

迅雷+百度网盘的流氓行为垄断了整个下载软件市场，反正就是无脑让你冲会员，LJ迅雷！推荐使用aria2c，在这里下载符合你操作系统的版本命令行用法:aria2c -x 10 -s 10 --file-allocation=none $url下载地址:https://sourceforge.net/projects/aria2/files/stable/可以看到下载速度跟迅雷...

原创 failed to register resizing support rc=verr invalid function,modprobe vboxsf failed

kali iso人肉虚拟机安装版，然后安装虚拟机“增强工具”就会爆这个错。我知道大家装增强工具无非是为了共享文件夹，图形分辨率看的更爽，所以踩到这个坑，我也是。。。废话不多说，解决方案是：直接下载kali 的vbox / vm镜像版本，然后倒入到虚拟机就可以了，惊了吧。。。https://www.offensive-security.com/kali-linux-vm-vmware...

原创 Kali渗透学习之识别活动主机

Kali渗透学习之识别活动主机PING概述ping是一种计算机网络工具，用来测试数据包能否透过IP协议到达特定主机。ping的运作原理是向目标主机传出一个ICMP echo@要求数据包，并等待接收echo回应数据包。程序会按时间和成功响应的次数估算丢失数据包率（丢包率）和数据包往返时间（网络时延，Round-trip delay time）。用法ping 域名/IP注意事项如果...

原创 Kali渗透学习之判断网络范围

DMITRY用于判断服务器网络范围，端口使用情况注hn-offshore.com是我自己的演示域名用法dmitry -wnspb hn-offshore.com图左边是hn-offshore的服务器，右边是kali的请求结果，可以看到ssh版本信息被发现，服务器开启了22和80端口被监测到了。NETMASK 通过发送ICMP协议，获取域名的ip和网络掩码名词解释ICMP...

原创 Kali渗透学习之常用信息采集工具

DNS枚举和SNMP枚举介绍DNS枚举可以收集某个域名的DNS服务器，IP，计算机名称等信息。DNSenumdnsenum --enum hn-offshore.com![在这里插入图片描述](https://img-blog.csdnimg.cn/20190402144601551.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5n...

原创 mysql/mongo同步elastic search

MYSQL篇：1.安装logstash,略2.logstash -f sync_game.conf --path.settings=/etc/logstash3.tail -f /var/log/logstash/* ==> 同步成不成功，仔细查看你的日志特殊名词解释::sql_last_value 代表你上次插入的 id 最大值，用于增量同步数据。友...

原创 tmux true color,真彩色配置

tmux真彩色问题困扰我一段时间，总算是解决了，这里有一些坑，记录一下。首先看你的shell支不支持真彩色，可以执行命令:curl -s https://raw.githubusercontent.com/JohnMorales/dotfiles/master/colors/24-bit-color.sh | bash刚开始我的tmux内外展示是这样的，tmux内明显色带断层了。...

原创 virtualbox网络常见问题，virtualbox linux 无法访问网络,virtual box 中 linux ping 不通,配置NAT ssh 无法连接

问题1：在virtualbox 安装了 linux 发现无法访问网络 ？解决：不要去改/etc/resolv.conf，正确的做法是在virtual box配置NAT地址转发。### 补充一下，我发现mac每次加载虚拟机都要点开高级，然后点端口配置，点ok，进到虚拟机外部才能用ssh连接，并且虚拟机内部才能保持互联网状态，感觉vbox保存配置不生效，所以每次都得手动过一遍流程。...

原创 Kali渗透学习之PAAS Wordpress

Kali渗透学习之PAAS Wordpress目标构建一个wordpress PAAS服务，爆破管理员密码条件1.virtual box2.kali linux system3.wordpress linux service资源下载wordpress linux: https://www.turnkeylinux.org/wordpress (简易选择iso服务，并且安装)...

原创 react redux简易模型

 MVVM的设计理念，dispatch 派遣事件后，由reducer处理，reducer的处理导致 redux store容器 对象状态改变，而整个store容器又是被监听的状态，如果状态变化，会触发一个函数 repaint(), 完成渲染。...

原创 vim 语法解析/高亮突然崩溃，失效

我用vim 编辑A文件（进程占用），同时开另一个终端编辑A文件 ，提示我A文件已经存在swp，然后我选了q退出，发现A文件在终端一的代码解析高亮全部失效了。后来在仔细研究下，发现是因为vim受到.swp交换文件的影响导致 语法解析失效.我之前的解决方法是  复制一个文件，然后把原来的删了，后来发现有更简单的做法，直接在vim底层命令行模式注入下面命令，重新解析该文件的代码。 set fi...

原创 Linux shell unicode转utf8

今天拿到一个文件是unicode编码，所以想转成utf8看中文。探索了一下解决方案：方案1：native2ascii -encoding UTF-8 -reverse A.json test.json

原创 elastic search 分布式主从配置和遇到的一些坑

1.els 在centos上跑，一定不能用root启动，要 useradd es 一个新的用户（记得给els文件夹 chown -Res:es权限哦）2.els 对系统的软硬件限制，虚拟内存限制有一定要求不然会报错, 报错参考https://blog.csdn.net/ghostyusheng/article/details/872010373.els 分布式配置通信的时候有不少坑...

原创 elstic search 报错max virtual memory areas vm.max_map_count [65530] is too low,max file descriptors

报错: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]解决: 在 /etc/sysctl.conf 追加最大虚拟空间限制 vm.max_map_count=655360 ，如下，记得 sysctl -p 使系统配置生效。报错: max file d...

原创 react简易快速部署(持续更新)

react配置的时候需要配置一大堆东西，每次webpack更新，xxx也更新了，以前文章写的一些配置就失效了，这跟react版本 webpack版本有一些关系，就很难受，这里提供一个最新的配置脚本，跟react新版本保持一致，大家可以根据这个基础脚本改下，快速启动react项目(npm install)，省的搞来搞去，头疼。目录配置：package.json{ "name":...

原创 command a expects \ followed by text

macos 用sed命令做插入等命令会爆这个错，主要是因为mac的sed命令有点老。解决方法1：在你敲完sed -n '5a  之后 敲一个反斜杠 换行然后输入其余的命令解决方法2：直接把sed命令写在shell脚本解决方法3(推荐)：brew install gnu-sed   用gnu的sed（centos版本的sed）或者brew install gnu-...

原创 jenkins ansible,Failed to connect to the host via ssh

如果你在用jenkins，编写的shell脚本用到ansible命令，报这个错主要是因为你的tomcat启动的用户是tomcat。如果你在root下的ansible命令能调通是因为你在目标机器配置的authorized_keys,而tomcat用户没有配置，因此tomcat用户你是调不通的，所以最好的解决方法就是对tomcat用户执行ansible命令都加sudo执行，这样就会用/home/roo...

原创 springboot热部署,热加载

<plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> <configuration>

原创 server gave http response to https client或Error response from daemon

harbor遇到的问题mac：在属性配置里面把私有仓库地址加上centos/ubuntu:增加这个文件  然后重启 docker服务（要重启！）