- 博客(25)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 记一次JDK8版本下的SpringBoot工程Metaspace溢出问题处理
记一次JDK8版本下的SpringBoot工程Metaspace溢出问题处理
2022-08-03 19:42:52
433
原创 mmap和常规文件操作的区别
常规文件操作为了提高读写效率和保护磁盘，采用了页缓存机制：读文件时需要将文件页从磁盘拷贝到页缓存中，由于页缓存处于内核空间，不能被用户进程直接寻址，所以还需要将页缓存中的数据页再次拷贝到内存...
2021-06-09 20:41:15
170
原创 布隆过滤器
目录应用场景特点介绍原理简介应用场景一个元素是否存在于一个超大规模数据集中，比如爬虫场景下的URL去重特点介绍一个很长的位数组 一系列散列函数 空间效率和查询效率高 有一定的误判率原理简介添加元素时，将该元素进行K次hash运算，映射到K个位置，并把这些位置标位1 查询元素时，同样将该元素进行K次hash运算，如果有一个位置为0，代表该元素肯定不存在于集合中；如果都为1，那么判断该元素存在于集合中，但不一定真的存在，这里存在误判的情况参考资料：ht..
2021-01-15 17:32:55
120
原创 TigerGraph集群安装
## 1.安装必要软件# 在每个节点执行sudo su - yum install -y tar curl cronie iproute util-linux-ng net-tools coreutils openssh-clients openssh-server sshpass ## 2.配置ssh免登陆# 在第一个节点执行ssh-keygen# 之后一路回车cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys.
2021-01-13 18:34:18
564
原创 列式存储
目录概述行存储列存储对比概述行存储和列存储，是数据库底层组织数据的方式。（和文档型、K-V型、时序型等概念不在同一个层次上）大部分传统的关系型数据库，都是面向行来组织数据的。如MySQL、Postgresql。行存储行存储以行的方式来组织数据。[ { "title": "Oriented Column Store", "author": "Alex", "publish_time": 1508423456, "like_num":
2020-12-01 15:10:17
257
原创 ES平滑下线节点操作手册
检查集群配置 将节点从集群路由策略中排除 等待所有分区与数据迁移完成 停掉节点服务进程 恢复集群路由策略检查集群配置在做节点下线操作之前，建议先检查 master-eligible 节点的数量与 minimum_master_nodes 配置，确认下线节点不会影响集群可用性与稳定性，特别是针对小集群。minimum_master_nodes和具有master资格的node数，一般可以设置为3 discovery.zen.minimum_master_nodes:3 n...
2020-11-26 14:59:48
1245
原创 Arthas（阿尔萨斯）使用
某日在排查Flume消费Kafka数据写入到ES的问题时，发现Flume频繁报和kafka的连接异常：Error committing offsets采用了远远推荐的Arthas工具，进入Pod后分析线程，发现是CPU占用率过高导致。wget https://alibaba.github.io/arthas/arthas-boot.jarjava -jar arthas-boot.jar --repo-mirror aliyun --use-http# 之后运行thread命令thr.
2020-11-25 14:53:51
641
原创 ES搭建并挂载NFS快照仓库
搭建NFS服务器 "type":"fs"NFS服务器硬件标准：8核32G内存，2TSSD盘 NFS盘数据容量评估：Es集群数据总量的二分之一（集群数据总量可到Kibana上去看，如下图。为稳妥期间，请保证存储盘在这基础上有10-20G的富余空间） 搭建NFS服务器 # 切换到root用户 sudo su # 安装组件nfs-utils,rpcbind yum install -y nfs-utils rpcbind ...
2020-11-20 16:05:55
1001
原创 ES集群节点掉线故障排查
# man mpstatCPU Processor number. The keyword all indicates that statistics are calculated as averages among all processors.%usr Show the percentage of CPU utilization that occurred while executing at the user level (application).%nice .
2020-11-19 20:56:52
3862
原创 Es6.4升级7.6
结束Kibana进程netstat -tlnp | grep 5601kill -2 ${pid}滚动升级到6.8.8备注：滚动升级过程中只会关闭集群中某一台节点，Es服务不会中断1.备份data数据（config/elasticsearch.yml文件内path.data配置的目录）2.禁用shard自动分配 curl -XPUT"http://ES_ADDRESS:9200/_cluster/settings"-H'Content-Type: applicatio...
2020-05-13 21:48:56
1793
原创 Es接入Prometheus
环境准备elasticsearch exporter选用git上开源项目https://github.com/justwatchcom/elasticsearch_exporter以beta环境为例，beta环境的Es集群信息如下： ip server port Es node1 10.27.22.153 h...
2020-01-09 20:40:19
1772
原创 Mac环境docker提速
https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors
2019-07-11 16:14:04
213
原创 经典卷积神经网络结构汇总
@经典卷积神经网络结构汇总欢迎使用Markdown编辑器Inception网络首次提出是在2014年，这个版本被称为V1，他的深度是22，比AlexNet的8层和VGG Net的19层都要深，但其参数量只有500万，仅为AlexNet参数量（6000万）的1/12。Inception V1参数少效果好的原因除了模型层数更深，表达能力更强外，还有两点：1、去除了最后的全连接层，改用全局平均池化...
2019-03-12 17:31:36
1040
原创 ubuntu18.04安装opencv
本机的python环境为anaconda附带的python版本：which python/home/mvpzhao/anaconda3/bin/python安装过程主要参考了2篇文章：A、https://linuxize.com/post/how-to-install-opencv-on-ubuntu-18-04/#install-opencv-from-the-ubuntu-re...
2018-12-24 20:45:34
1871
原创 逻辑回归损失函数
二分类众所周知，二分类问题的损失函数为：其中y代表标签值（0,1）；h(θ,x)代表通过假设假设函数（sigmoid 函数）计算出的函数值（概率），sigmoid 函数的取值区间为（0,1）当标签值为1时，h(θ,x)的值为预测y为1的概率，这个值越靠近0，logh(θ,x)的值就会越大，从而对loss值的惩罚也就越大；反之当标签值为0时，1-h(θ,x)的值为预测y为0的...
2018-12-04 19:36:32
979
原创 ubuntu18.04+RTX2080深度学习环境搭建
搭建环境弄了半天，主要是因为各个环境版本号的问题辗转腾挪了很久，再次记录一下最终成功run起来的软硬件版本号：cpu 8700K，gpu rtx2080 ubuntu 18.04 64位 gcc g++版本调整为7.3（ubuntu18.04的自带版本） NVIDIA驱动 410，手动方式安装，参考https://linuxconfig.org/how-to-install-the-nv...
2018-12-01 00:30:36
4368
5
原创 Redis-4.0.1 哨兵模式搭建
1、建立文件件redis-sentinel，目录内放置如下文件：2、拷贝redis安装目录下的redis.conf到7501-7504文件夹下，分别命名，例如redis-7501.conf，分别修改这4个文件，将里面的对应选项分别设置daemonize yesport 7501logfile "./logs/redis-7501.log"bind 127.0.0.13
2018-01-22 16:55:02
2004
原创 Elasticsearch2.3.3版本父子关联查询问题
业务场景有两个父子type，his（订单）和white（白名单），要根据条件取white表中的cwId没有出现在his表的记录（大概是用来过滤那些没有发送过短信的客户信息，然后给他们发信息）。{ "mappings": { "tbl_cash_apply_order_his": { "_parent": { "type": "tbl_cash_w
2018-01-20 16:13:12
595
原创 git多账号配置
切换到~/.ssh目录下，执行命令cd ~/.sshssh-keygen -t rsa -C "[email protected]"拷贝生成的公钥文件（shenma_git_rsa.pub）内容，放到gitlab上的SSH Keys下面编辑~/.ssh目录下的config文件，按如下格式配置（IdentityFile配置私钥文件）
2018-01-20 15:39:36
355
原创 Elasticsearch取交集（intersection）
业务场景一：有两个父子type，store（父type）和relation（子type），其中store主键为storeId，relation存储了orgId与storeId的关联，输入为两个orgId，要求输出与这两个orgId都关联的store信息。cbs_chnl_store{ "properties": { "storeId": { "type": "st
2018-01-13 16:39:21
9811
2
原创 关于Java覆盖equals方法时必须覆盖hashCode方法
Java中的对象自动继承Object类，而Object类实现了equals方法和hashCode方法： /** * Returns a hash code value for the object. This method is * supported for the benefit of hashtables such as those provided by
2017-03-16 10:06:00
770
原创 总结几种排序算法的Java实现
1、冒泡排序冒泡排序是一种交换排序，它的基本思想是：两两比较相邻记录的关键字，如果反序则交换，知道没有反序的记录为止。Java代码：import java.util.Random;public class BubbleSort { /** * 改进的冒泡排序算法 * 通过标志位flag避免无谓的比较 */ public static void bu
2012-12-20 12:39:13
1208
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人