- 博客(49)
- 问答 (5)
- 收藏
- 关注
RSS订阅原创 解决idea 2020.2中maven配置目录恢复默认设置
每次修改maven的目录会恢复为idea自带Maven路径，解决方案为找到当前项目路径下的.mvn/wrapper/maven-wrapper.properties文件，删除即可
2021-06-26 05:58:09
2068
原创 TF-Serving从导出模型到部署服务源码
TF-Serving从导出模型到部署服务源码(Keras)1.模型保存好之后，使用Keras的模型保存方法保存模型model.save('my_model.h5')常见的模型有h5和.kerash5文件包含 ·模型的结构，以便重构该模型 ·模型的权重 ·训练的配置（损失函数，优化器等） ·优化器的状态，以便于从上次训练中断的地方开始2.使用SavedModel将模型...
2020-04-21 11:58:42
527
原创 Tensorflow-serving部署模型到服务器
Tensorflow-serving部署模型到服务器1.启动dockersystemctl start docker2.查看已经下载的镜像docker images如果没有，那么拉取镜像docker pull tensorflow/serving4.在服务器启动dockerdocker run -t --rm -p 8501:8501 -v /root/keras_tf_ser...
2020-04-21 11:14:15
477
1
原创 python获取list中指定元素的index
转载自https://blog.csdn.net/qq_24737639/article/details/78839678python 获取指定list中指定元素的index方法一：利用数组自身的特性a.index(target)a=[11,2,3,21,22,33]print(a.index(2))output:1但是这种方法只能获取到第一个匹配到的value的下标方法二：使用...
2020-04-20 10:50:34
14898
原创 孪生网络(1)_孪生网络的分类
孪生网络全文参考https://blog.csdn.net/qq_35826213/article/details/86313469 孪生网络有两种，一种是不共享参数的孪生网络，另一种是共享参数的孪生网络，不共享参数的孪生网络from keras.layers import merge,Conv2D,MaxPool2D,Activation,Dense,concatenate,Flatt...
2020-04-15 10:53:29
5711
1
原创 查看keras或者tensorflow正在使用的GPU
查看keras或者tensorflow正在使用的GPU1.查看当前可以使用的GPUfrom keras import backend as KK.tensorflow_backend._get_available_gpus()运行结果如下['/job:localhost/replica:0/task:0/device:GPU:0', '/job:localhost/replica:0...
2020-04-11 15:25:11
1242
1
原创 python 数据预处理(图像)_1
1.Python 删除文件夹时候报错的情况本来是用如下命令，但是因为目录不为null，所以报错os.rmdir()后来使用shutil.rmtree()解决了这个问题import shutilshutil.rmtree(path)2.使用glob.glob的一些感悟glob的功能好强大，可以使用类似正则表达式来读取文件，相当强大for name in glob.glob("/V...
2020-04-11 11:14:45
423
原创 Colab来训练bert模型
Colab使用1.切换tensorflow版本号%tensorflow_version 1.x2.查看tensorflow版本!pip show tensorflow3.训练模型!python /content/drive/My\ Drive/bert/run_english_classify.py --task_name=mypro --do_train=true --do_e...
2020-04-08 08:08:14
1281
原创 mac下pip install高速下载
网上找的帖子，亲测可用。https://blog.csdn.net/qq_38161040/article/details/100674939
2020-03-31 12:53:07
217
转载 mac系统Python Pickle报错：OSError: [Errno 22] Invalid argument
问题描述在Python代码中使用Pickle模块dump一个对象，报错：>>> with open(path, 'wb') as f:>>> pickle.dump(self, f)Traceback (most recent call last): File "<stdin>", line 1, in <module>...
2020-03-27 08:11:23
649
原创 转载一个很好的docker学习笔记
https://yeasy.gitbooks.io/docker_practice/image/commit.html
2020-03-23 10:06:32
88
原创 Bert+中文文本分类实现及参数解析
实现bert模型已经被封装好了，直接使用就可以了。但是需要自定义一个实体类，用来处理自己的数据。直接在run_classify.py中加入下面类就可以自定义MyDataProcessor类，传入class MyDataProcessor(DataProcessor): """Base class for data converters for sequence classificat...
2020-03-18 11:41:27
1972
原创 Python解析json文件
首先导入json包import jsonstr=r"""{ "QueInfosDto": [{ "queId": "a", "title": "b", "subId": "", "sortPap": "" }, { "queId": "a", "title": "b", "subId": "123", "sortPap": "" ...
2020-03-13 21:08:18
90
原创 Thymeleaf+springboot回显select数据
前端页面<div class="form-group"> <label class="col-sm-3 control-label">所属公司：</label> <div class="col-sm-8"> <select id="...
2020-03-11 15:34:35
945
1
原创 nltk无法下载包
nltk下载的时候无法下载包，但是发现访问页面的时候却可以访问https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/index.xml直接找到要下载的包的url，使用训练下载，然后把zip包放在nltk解析的路径里面即可...
2019-12-17 08:26:12
637
原创 logstash 日志适配中遇到的一些问题总结
logstash 解析日志，多层判断if "" in [device]{ if "NPFW_5.0_01"==[device]{ if "" in [mod]{ if [mod]=="2"{ mutate { replace => [ "eventtype","防攻击日志"] replace => [ "eventtype2",...
2019-08-13 10:41:17
628
原创 动态添加input，但是其中的datatimebox不生效的问题
我本来的需求就是，在如下这样的一行，当我点击添加的时候，应该出现的结果是航班日期这里的日期插件会自动显示，但是结果却是而且很奇怪的是，当我查看元素的时候，出现的情况是，它的格式就是日期格式的啊，这就很奇怪了，后来才知道，初始化页面的时候，easyui会把里面关于easyui开头的样式都加载进来，然后渲染一遍，而我们动态添加行的时候，出现的情况是，行是添加上了，但是这里的样式是没有经过eas...
2019-08-09 16:10:16
444
原创 tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapre
Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat at org.apache.h...
2019-01-04 14:43:44
7864
2
原创 nessus漏洞修复-------Apache Tomcat Default Files
1.删除Tomcat中webapp下所有，保留你自己项目和ROOT两个，然后删除ROOT下所有文件，新建一个文件404.html,至于这个404页面写啥东西无所谓了2.在conf/web.xml中添加如下<error-page> <error-code>404</error-code> <location>...
2018-11-30 11:06:10
12918
原创 com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6<dependency>
spark读取elasticsearch的时候，出错了，报错com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6Exception in thread "main" java.lang.ExceptionInInitializerError at org.apac...
2018-09-14 10:57:40
8811
2
原创 解决mysql集群模式中出现“1040，too māny connections”
一.mysql集群中，有一台机器连接的时候报错 ERROR 1040 (HY000): Too many connections解决方案有两种1.如果是线上环境，不能随意起停数据库，所以得手动释放一些无用的链接，2.修改/etc/my.cnf 中的max_connections=1000,wait_timeout=5，如果没有设置，那么就自己添加，修改之后重启服务即可，产生原因，链接数超过了mys
2018-01-19 14:33:30
1437
原创 spark 读取elasticsearch中数据不完整问题
使用spark读取elasticsearch中的数据，使用es提供的api来进行，sc.esRDD("logstash").values官方网站也是这种方式读取数据的，但是我测试的时候有时候会出现读取数据不完整的情况，比如本来读取的数据是这样的Map(msg -> 2016-03-18 15:24:14 System_ID=ruijie sp_malware:Client_IP=172
2017-06-28 14:37:58
2661
6
原创 redis报错JedisException: Could not get a resource from the pool
使用Java操作redis的时候报错，但是我的redis启动了，那么究竟是神马原因导致连接失败呢？可能得方式有三种，密码，防火墙，网络1.网络畅通，没毛病，能ping通2.密码：redis还需要密码来登录，通过redis.conf中的#requirepass foobared 修改为requirepass root重新启动redis ./redis-server ..
2017-06-06 16:49:54
7965
1
原创 Detected both log4j-over-slf4j.jar AND bound slf4j-log4j12.jar on the class path, preempting StackOv
我在idea中建立maven项目，但是报错 java.lang.IllegalStateException: Detected both log4j-over-slf4j.jar AND bound slf4j-log4j12.jar on the class path, preempting StackOverflowError看了一下，我的pom.xml里面是这么写的depen
2017-04-17 17:40:25
3523
原创 Spark通过https的方式读取elasticsearch中的数据
为了安全起见，es中配置了https访问方式，但是spark读取es中的数据的时候是通过普通的http的方式访问的，现在读取的话肯定报错，找了一圈，上代码 val conf=new SparkConf().setAppName("es test")///.setMaster("local") conf.set("es.net.ssl","true") conf.set("
2016-12-13 16:54:36
8404
3
原创 关于jvm内存分配的问题heap size [268435456] not equal to maximum heap size [2147483648]，需要修改的jvm配置
*此操作需要root权限[root@localhost ~]# sysctl -w vm.max_map_count=2621441查看修改结果[root@localhost ~]# sysctl -a|grep vm.max_map_countvm.max_map_count = 26214412或者永久性修改[root@localho
2016-12-12 14:57:25
12412
2
原创 使用Fregata实现spark的逻辑回归算法
import fregata.spark.data.LibSvmReaderimport fregata.spark.metrics.classification.{AreaUnderRoc, Accuracy}import fregata.spark.model.classification.LogisticRegressionimport org.apache.spark.{SparkC
2016-12-08 13:54:57
1286
原创 Fregata使用简介
最近TalkingData开源了Fregata，Fregata的主要作用是加速基于spark的机器学习的计算速度，据说10亿*10亿级别的数据如果缓存到内存中的话用1s钟就可以算完，如果不缓存的话，十秒钟搞定，如果这么来的话，那真是碉堡了，废话不多说，直接走起我用maven构建的项目， com.talkingdata.fregata core
2016-12-08 10:13:20
2294
原创 关于spark读取elasticsearch中数据，但是无法实现过滤数据的问题
最近出现了一个问题，就是spark读取elasticsearch中的数据的时候，明明elasticsearch中有数据，但是spark读取数据，然后进行过滤的时候会把相关的数据都给过滤掉了，找来找去是因为写index的时候出现的问题当我使用这种方式读取es中的数据的时候，会出现的问题是sc.esRDD("logstash-2016.11.24").values这样读取的数据我使用f
2016-11-25 09:56:57
2048
转载 Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflow
SLF4J: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError. SLF4J: See also http://www.slf4j.org/codes.html#log4jDelegationLoop for more details.
2016-11-01 10:19:19
2463
2
原创 Spark读取elasticsearch5.0中程序报错
本人使用spark读取elasticsearch5.0中内容时报错，其中pom.xml中配置如下 org.apache.camel camel-core 2.17.3 org.apache.camel camel-scala 2.17.3 org.s
2016-10-31 14:42:57
13332
4
原创 SparkStreaming0nHDFS实战
public class WordCountOnline2 { public static void main(String[] args) { final SparkConf conf=new SparkConf().setAppName("SparkStreamingOnHDFS"); final String checkpointDirectory="hdfs:///liberar
2016-05-29 20:23:49
510
原创 SparkStreaming---wordCount源码解读
从上面的程序我们看出sparkStreaming其实是将一段时间间隔的数据作为一个整体，然后这段时间内的数据就可以作为rdd来进行计算,这也是SparkStreaming的核心，这一节介绍几类，在sparkStreaming中源码的解读1.StreamingContext：先看下官方的解释/** * Main entry point for Spark Streaming functio
2016-05-29 14:34:02
378
原创 SparkStreaming---WordCount程序
public class WordCountOnline { public static void main(String[] args) { /** * 第一步，配置SparkConf * 1.至少两条线程：因为SparkStreaming应用程序在运行的时候至少有一条线程用于不断的循环接收 * 数据，并且至少有一条线程用于处理接收的数据(否则的话无法有线程用于处理数据，
2016-05-28 18:07:30
455
原创 Spark Streaming---初步理解
总论：SparkStreaming是一个流计算引擎，它会按照时间段来计算数据，比如每一秒钟计算一次数据，它是基于时间单位的，与内容无关数据的来源：有很多，可以是日志数据，电商数据，app等，架构：SparkStreaming 一般是和Kafka配合使用，熟悉Kafka的朋友都知道，Kafka是会把数据放到磁盘上的，所以当SparkStreaming与Kafka配合使用的时候就会本来把基于流
2016-05-28 16:21:15
378
1
原创 scala的构造器
Scala实例化的时候，除了方法之外，所有的东西都会被实例化，例如class Teacher (val name:String,val age:Int){ println("this is the primary constructor") var gender:String =_ println(gender) def this(name:String,age:Int,gen
2016-05-01 13:42:05
405
原创 Scala的类的私有属性和对象的私有字段
在Scala中，一个类定义了一个属性，如果不是private的var age=0那么它也会默认当成private级别的属性，同时会默认生成setter和getter方法，当调用的时候，会通过age的函数来取得age的值，就是getter方法而默认生成的setter方法是 age_是age加下划线方式生成setter方法的所以可以通过方法访问类的所有的属性，同java中的javabe
2016-05-01 08:03:57
1913
原创 使用sparksql读取mysql中的数据
1.使用sparksql读取MySQL中的数据，读取整张表的时候，代码如下val conf=new SparkConf().setAppName("SparkSql running......................").setMaster("local")val sc=new SparkContext(conf)val sqlContext=new SQLContext(sc
2016-04-26 21:14:41
11325
1
原创 使用Spark分析日志，使用关联算法分析结果，保存到hdfs
object EsPfgTest { //时间间隔，单位为分钟. val grapTime=5 //将时间间隔转化为毫秒 val grapTimeToMill=(grapTime*60000).toString.toLong //一整天时间换算成毫秒 val grapTimeAllDayToMill=(24*60*60*1000).toString.toLong def
2016-04-26 21:04:24
2282
1
原创 使用spark读取es中的数据并进行数据清洗，使用fp-growth算法进行加工
最近学了spark，用fg-growth算法进行数据的关联排序object HelloPFg { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Spark MLlib Exercise:K-Means Clustering") conf.set("es.index.au
2016-04-26 20:36:27
9229
空空如也
zookeeper启动后用jps命令查看QuorumPeerMain进程还在
2015-08-19
js实现动态的给某一个文本框赋值，赋三个文本框值到这个里面
2015-07-08
myeclipse中的tomcat4启动时卡住了，动不了！
2015-07-07
js怎么实现判断下面图片哪个被选中
2015-07-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人