- 博客(142)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 yolov8训练模型（Yolov8+roboflow）
2、下载标注后的数据集，选择自己想要的格式进行下载标注好后的格式数据。注册账号、上传数据进行标注。5、训练好后生成runs文件夹。7、使用自定义模型进行预测。6、用测试集验证模型。
2023-04-04 16:46:23
528
原创 PDF免费转word方法
平时偶尔需要将PDF文档转换为word，现在将自己经常用的几个在线 PDF转word网站分享一下。1、DeftPDF | Free PDF Software to Edit, Convert, Sign & More.An all-in-one free online PDF editor that does not require subscriptions or installations! DeftPDF is a free online tool that makes editing a
2022-05-25 11:44:51
340
1
原创 docker安装mysql
拉取镜像docker pull mysql:5.7.36启动容器：docker run -p 3316:3306 --name mysql5.7.36 \-v /home/project/docker-workplace/mysql/log:/var/log/mysql \-v /home/project/docker-workplace/mysql/data:/var/lib/mysql \-v /home/project/docker-workplace/mysql/conf:/etc
2022-05-20 14:02:38
233
原创 实践自定义String类
1.包名非java.lang是可以的2.包名是java.lang包名是java.lang下的所有类在自定义加载器中进行加载的时候都会触发安全检查，提示禁止使用java.lang包名直接运行该自定义的java.lang下的类，名字相同会进行双亲加载，加载父辈的类如String。这时候就会提示找不到main方法，没有机会加载到该类。名字不同的时候，有机会加载 ，但还是会在加载的时候进行安全验证。破坏双亲加载的例子：tomcat、JNDI、JDBC等...
2022-01-06 15:32:37
455
原创 简历筛选总结
一、简历准备阶段简历三要素：1. 自我技能介绍、项目经验介绍；2. 历任公司介绍，也就是出身；3. 说明毕业学校，还是出身；以上三点是hr快速筛选简历的依据，第一点要和公司要求尽可能匹配。第二点要尽可能突出公司优势和业绩，老总面大多数只聊聊过往经历和所呆过的平台大小。第三点毕业院校和专业也要明确一下。以上ok基本会过初筛。后续就看个人能力和临场发挥了。二、面试准备阶段1.自我介绍2.项目介绍项目需要反复思考，不留死角。多埋点，让面试官踩。3.基础理论要尽可能准备到
2021-11-04 18:30:19
643
原创 垃圾回收三色标记算法总结
判断哪些对象需要被垃圾回收？引用计数会导致循环引用，所以一般都是可达性分析。可达性分析是从GC Root出发，进行三色标记算法。CMS就是使用标记清除算法，整个过程就是一个三色标记流程。初始标记 STW，标记GC ROOT为黑色，GC ROOT关联的为灰色并发标记 扫描整个引用链，没有子节点为黑，有子节点为灰色重标记 STW 修复变动的并发清除 开始正式清除，清除白色的三色标记的遗留问题：多标 or 漏标多标下次垃...
2021-09-13 10:26:54
135
原创 ClickHouse安装部署
安装前准备：1.clickhouse需要SSE 4.2支持grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"2.关闭防火墙systemctl stop firewalld.service systemctl disable firewalld.service3.安装包准备（https://packagecloud.io/Altinity/cl
2021-09-09 11:10:34
254
原创 ROI区域定位工具
由于暂时没有实现led灯的定位，所以这里放上led灯ROI定位工具代码。# -*- coding: utf-8 -*-"""Class definition of YOLO_v3 style detection model on image and video"""import cv2import OperationMysql as mySqlimg = cv2.imread('images/test.jpg')op_mysql = mySql.OperationMysql()#f
2021-05-13 10:30:00
956
1
原创 led指示灯识别功能
led指示灯识别可以实现led的八种灯光颜色识别以及灯光闪烁识别。可用于大型设备的led灯光自动化监控。暂未实现led定位识别。本代码使用python编写，依赖opencv来进行颜色识别。 依赖open cv 3.4.1，太高可能会报错pip3 install opencv_python==3.4.2.16# -*- coding: utf-8 -*-"""图片测试"""import cv2import numpy as npimport collectionsimport Op
2021-05-13 10:23:36
2501
3
原创 elasticsearch源码目录结构说明
源码目录结构 1. distribution模块 distribution的英文分发的意思，这里是的作用是打包各类压缩发布包。要与distributed进行区别，它是分布式。打包方式如下图：点击build.grad...
2021-03-18 17:57:10
461
原创 git删除文件夹
方法一这里以删除 test文件夹为案例git rm -r --cached test //--cached不会把本地的test删除git commit -m 'delete test dir'git push -u origin master123方法二如果误提交的文件夹比较多，方法一也较繁琐直接修改.gitignore文件,将不需要的文件过滤掉，然后执行命令:git rm -r --cached .git add .git commitgit push -u origin.
2021-02-26 11:52:42
4670
原创 centOS7安装 mysql-community-release-el7-5.noarch.rpm 包
一、rpm包1、wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm（下载rpm）2、rpm -ivh mysql-community-release-el7-5.noarch.rpm（安装rpm包）3、yum install mysql-server （安装）二、操作MySQL1、service mysql start(启动数据库)2、service mysql status（查看数据库状态）..
2020-10-22 15:59:45
3749
原创 多线程的理解
结论: 只有线程数接近CPU核心才会发挥更高性能.只考虑CPU的话,多个线程串行执行永远时间分片执行要快. 但是实际线程运行会涉及到内存,网络,磁盘各种因素. 会造成多种堵塞. CPU就不能充分利用起来. 所以有了CPU时间分片, 当A线程堵塞的时候,可以执行B线程.换句话说:是堵塞创造了更多的执行机会,这时候多线程才能发挥更好的性能...
2020-08-21 10:07:16
86
原创 Linux IO性能查看
1.top 命令 wa值越高 ，可能磁盘IO越大，但是网络IO也会导致该值高，所以只是说可能。2.sar -d -p 1 2其中， “-d”参数代表查看磁盘性能，“-p”参数代表将 dev 设备按照 sda，sdb……名称显示，“1”代表每隔1s采取一次数值，“2”代表总共采取2次数值。await svctm %utilawait大于svctm代表 IO队列等待过长，需要换磁盘。 两者持平比较好%util 100% 代表满负荷工作，需要通过优化程序或者更换磁盘解决...
2020-05-21 17:29:46
462
原创 MYSQL同步数据到ES
1.MYSQL的数据同步通常采用binlog进行同步。所有的数据库操作都会写binlog日志，所以采用binlog的方式去做数据复制是非常好的。2.比如要做ES的订单查询系统，可以使用binlog去做数据同步，当数据发生变化，数据量将会采用binglog的方式将数据写到ES达到同步的目的。3.工具：开源组件Canal。 go-mysql-elasticsearch...
2020-03-17 17:19:42
2246
原创 接手一个Elasticsearch集群，如何进行优化
1.从内存消耗上进行存储优化2.从磁盘上进行优化3.从搜索上进行优化4.从写入上进行优化5.从稳定性上进行优化6.从机器上进行优化内存优化：三种cache的优化：1）filter cache/query cache2）request cache 默认不开启，实时数据失效快，没开启一般不用优化3）fielddata cache与doc_valueses2...
2020-01-02 14:55:37
115
原创 Linux更换repo源
1.https://opsx.alibaba.com/mirror 阿里有各个版本的更新方法2.yum makecache 慢慢等待
2019-10-31 15:18:45
3124
原创 Mysql主从配置
0.关闭主从机器的防火墙。1.安装wget http://repo.mysql.com/mysql57-community-release-el7-10.noarch.rpmrpm -Uvh mysql57-community-release-el7-10.noarch.rpmyum install -y mysql-community-server2.获取密码并且更改...
2019-06-12 16:36:48
80
原创 ElasticSearch QueryCache源码理解(基于6.0.0-rc2版本)
对于频繁的查询，查询结果缓存是提高效率的有效做法。ElasticSearch缓存分为node缓存与index缓存；其中node缓存：1.query缓存（是属于lucene的）2.field缓存3.request缓存以下分析一下QueryCache；QueryCache是主要dsl的子查询语句的结果集缓存，对于后续相同的查询可以直接取缓存数据以上是核心三种缓存的源...
2019-04-17 19:08:10
568
原创 Elasticsearch存储分析
1.lucene存储结构倒排索引逻辑结构 关键字 文章号【出现频率】 出现位置 guangzhou 1【2】 2,6 hadoop 1【3】,3【5】 1,5,8 1,2,5,9,10 part 2【2】，7【1】 12,54 11 room 2【1】，2【2】 ...
2019-04-12 10:43:17
298
原创 Elasticsearch（源码编译）
1.下载elasticsearch-6.0.0-rc2源码包2.下载安装Gradle，并且配置环境变量3.修改maven源，使用阿里的网速好，修改以下两个文件 elasticsearch\benchmarks\build.gradle elasticsearch\client\benchmark\build.gradle buildscript { repo...
2019-03-18 16:46:55
417
原创 Elasticsearch 内存分配
1.只能分配机器的一半内存给Elasticsearch。另一半要给Lucene。Lucene存储于堆外内存。2.机器内存即使很充足，也不要分配内存超过32G给Elasticsearch，堆内存小于32G的时候会使用内存对象指针压缩技术。给31G最安全内存交换会强烈影响Elasticsearch性能。什么情况下会发生内存交换：机器内存不足时发生内存交换SWAP。...
2018-09-10 13:48:02
488
原创 Mysql (Table './esdata/esdata' is marked as crashed and should be repaired)
Table './esdata/esdata' is marked as crashed and should be repaired Mysql异常问题导致数据表不可用。索引异常需要重建索引找到mysql安装目录下bin下执行或者 /usr/bin下执行myisamchk -c -r ../data/tablename/posts.MYI...
2018-03-27 09:44:03
172
原创 SparkStreaming 读取Kafka createDirectStreaming
import org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.streaming.kafka010._import org.apache.spark.streaming.k...
2018-03-15 22:58:38
1443
原创 ES分页理解
ES分片包括深层分页与游标分页。1.深层分页是可以设置 from与size。一旦设置了from与size，就会在每个分片上取回（from+size）数据到协调节点，由协调节点排序计算结果。这样对协调节点压力非常大，容易造成集群崩溃。2.使用Scroll API。游标遍历结果，每个分片持续发送结果给协调节点。使用scroll无法排序。
2018-02-05 10:31:44
337
原创 Hive工作笔记
1.like得到想要的字段，然后插入分区。insert overwrite table sgv.shenxinfu2 partition(area='gz',dt='${time}') select applog.xmlpath(s.result,"url") as url from shenxfdb.action as swhere s.dt='${time}' and s.area='
2017-11-09 15:20:30
223
原创 HBase变更表名以及meta表修复
表名变更：1.停止表继续插入 hbase shell>disable 'tableName'2。制作快照hbase shell> snapshot 'tableName', 'tableSnapshot'3.克隆快照为新的名字hbase shell> clone_snapshot 'tableSnapshot', 'newTableName'4.删除快照hbas
2017-10-13 08:57:01
751
原创 mysql批量导入1亿数据
1.max_allowed_packet=1024M 修改请求最大值 。重启mysql2. 在终端执行load data infile "/var/lib/mysql-files/label9.txt" replace into table label character set utf8 fields terminated by '&' lines terminated b
2017-09-14 11:13:42
1073
原创 hive创建压缩分区表
CREATE EXTERNAL TABLE IF NOT EXISTS dilian(dilians STRING,dates STRING,time STRING,t STRING,sip STRING,size STRING,method STRING,url STRING,target STRING,type STRING,uip STRING,
2017-09-05 15:13:17
857
原创 Redis高并发接口开发调试
1.三台服务器负载均衡。2.tomcat线程池以及相关配置。 namePrefix="tomcatThreadPool-" maxThreads="500" maxIdleTime="300000" minSpareThreads="25" maxSpareThreads="75"/>
2017-08-07 14:15:57
371
原创 JVM 监控 jmxtrans 和 jmxtrans-agent
jmxtrans-agent 支持一下几种结果的存储形式：GraphitePlainTextTcpOutputWriterFileOverwriterOutputWriterSummarizingFileOverwriterOutputWriterConsoleOutputWriterSummarizingConsoleOutpu
2017-08-07 12:03:36
1441
原创 hive语句
1.hive 自定义udf或hive自带函数，解析xml。udfinsert overwrite table shenxinfu2 partition(dt='20170711') select xmlpath(s.shenxinfu_result) as url,s.area from shenxfdb.action as s where s.dt='20170711';自带
2017-07-20 18:00:03
200
原创 redis请求频繁就出现redis超时
1.初次使用redis开发接口时，遇到请求频繁就出现redis超时操作。个人采取了加大连接数的做法。有那么一点点效果。后来在知乎上看到：首先是网络延迟，本地操作redis和远程操作至少差1/3的操作数其次，数据量传输
2017-07-05 11:49:57
11647
2
原创 Hadoop集群迁移合并
1.安装maven，protobuf，java并配置环境变量export JAVA_HOME=/usr/local/javaexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport M2_HOME=/usr/local/maven
2017-06-02 19:38:47
625
原创 hadoop集群之间数据传输
hadoop fs -cp hdfs://10.254.20.126:9000/datalog/stats/gz/2017/03 hdfs://10.254.32.18:9000/user/huiyuanHuang/3test/ 两集群之间要求可以通信
2017-05-26 12:06:34
1732
原创 Tomcat性能优化
JAVA_OPTS="-server -Xms1024m -Xmx2048m -XX:PermSize=256M -XX:MaxPermSize=512m" （/tomcat/bin/cataline.sh）1.如果Web项目很多依赖第三方Jar包,对于Java7容易造成堆栈溢出。因为永久代内存还是属于JVM堆内存管理。应该把永久代的堆内存增大， 如：
2017-04-13 13:33:17
243
原创 挂载iso镜像
1. mount -o loop -t iso9660 Centos-6.8-x86_64-bin-DVD1.iso /media/cdrom
2017-02-14 09:59:07
482
原创 hive建表
create table if not exisit fresh.test(week int,store_nbr int,w_wage float)row format delimited filelds terminated by ','insert into table fresh.test select * from fresh.te
2017-01-17 15:02:34
244
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人