enjoy

原创 java服务端部署到k8s集群

首先java服务端部署到k8s中是通过git提交,那要准备好各种配置1.先创建一个空的git文件2.java服务端的jar包放到文件中3.提交的文件必须包含java环境（这个环境就是引入自己打包的java镜像文件）4.执行jar命令dockerfile文件的内容：FROM hub.meiyou.com/rec/java80:1.0 #引入java镜像文件 文件路径和自己打包的镜像名字COPY forum-sort-test-3.1.3.jar /forum-sor

原创 docker Dockerfile java8构建镜像并使用

docker Dockerfile java8构建镜像并使用首先在自己的机器上要安装Docker安装教程：Docker安装搜索java8安装包 docker search java8 ，显示有多种安装包，本人选择第一个 2.选择拉取williamyeh/java8 docker pull williamyeh/java8 3.现在自己的电脑有这个java包，接下来开始写dockerfile与yml文件 touch dockerfiledockerfile的文...

原创 tensorflow.python.framework.errors_impl.InvalidArgumentError: Quoted field has to end with quote fol

Traceback (most recent call last): File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py", line 1292, in _do_call return fn(*args) File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py", line 1.

原创 org.apache.hadoop.hbase.client.AsyncProcess$AsyncRequestFutureImpl.logNoResubmit

服务端从hbase取数据的时候，经常被我一顿瞎操作导致出现很多奇怪的问题，这次又出现下面的问题[2020-08-12 11:03:28.196] [ WARN] [ed--pool1-t67] org.apache.hadoop.hbase.client.AsyncProcess$AsyncRequestFutureImpl.logNoResubmit(1248) | #1, table=item_features, attempt=1/1 failed=1ops, last exception: o

原创 linux vi文件进行字符进行替换的命令行

本来在windows经常进行全部替换，这次转到linux就感觉不习惯了，于是就查了一下vi也可以进行替换对当前的数字进行替换的命令是：s/vivian/sky/g 替换当前行所有 vivian 为 sky对文件中所有的数字进行替换的命令是：%s/vivian/sky/g（等同于 ：g/vivian/s//sky/g） 替换每一行中所有 vivian 为 sky...

原创 Xshell如何一个界面显示4个选项卡

本来安装完之后可以这样一个界面显示多个选项卡但是不知道啥时候操作失误设置出错，每次一个界面只能显示一个选项卡摸索半天才看到这个查看下有个会话选项卡，打钩就可以设置多个选项卡在一个界面了...

原创 tensorflow tf-serving 进行warmup设置

最近发现模型在更新的一瞬间容易产生超时的问题，于是就了解了一下tf-serving 中有个warmup主要是通过模型启动时加载${model}/${version}/assets.extra/tf_serving_warmup_requests达到热启动的目的，使得模型更新时不易产生超时的问题首先根据自己的模型字段进行编写形成tf_serving_warmup_requests文件，在导出模型时和warmup文件一起导出以下是我warmup文件生成代码#!/usr/bin/env pytho.

原创 postman请求失败

先确保自己的请求链接没有问题，再来找找postman setting的问题首先看看setting里面的ssL这个是否处于off状态没有的话，设置一下off重启如果还不行，就看看这个代理是否打开了，打开的话，也设置掉，本人就是这样成功的...

原创 TENSORFLOW SERVING 中 NO MODULE NAMED TENSORFLOW_SERVING.APIS，找不到predict_pb

因为这个包是从from tensorflow_serving.apis import predict_pb2引入的，如果这个tensorflow-serving-api安装对了，不会出现找不到这个包的错，卸载pip uninstall tensorflow-serving-api 之后重新pip intstall tensorflow-serving-api 就可以了...

原创 scala 单例模式的应用

最近去读取Hbase的时候，进行连接的时候，出现一个进程有几千个线程和连接对象，于是就是想到用单例，每个进程就创建一次scala的单例跟java差不多代码如下：object HBaseClient extends Serializable { lazy val conf = HBaseConfiguration.create() conf.set("hbase.zookeeper.quorum", hBaseZk) conf.set("zookeeper.znode.par

原创 tensorflow张量类型String与其它类型强制转换

1.tf.as_string（）:把float32,double等直接强制转化成string2.tf.cast(原有数据，dtpye=强制转成的类型)

原创 linux查看文件有几行

wc -l a.txt

原创 spark 连接 hive 线下与集群运行

spark连接hive本来就是很简单的事情，但是因为各种环境冲突，搞了半天，下面是scala代码实现(本地测试时最好不要取当天的数据，容易触发集群)package com.features.dl/** * @author Supeihuang * @date 2020/2/21 * @description file description */object HiveT...

转载 深度搜索优先DFS和广度搜索优先BFS

转载：https://blog.csdn.net/Harrytsz/article/details/84204109树的格式graph={ 'A':['B','C'], 'B':['A','C','D'], 'C':['A','D','E'], 'D':['B','C','E','F'], 'E':['C...

原创 华为的大数相乘

本来华为笔试的大数相乘想让大家里面的原理，但是python可以直接相乘得到到结果两步就出结果a,b= map(int,raw_input().split())print str(a*b）我们还是了解一下原理：比如两个数相乘67*89 可以等于6*8(6*9+7*8)7*9=>48(110)63 从右向左计算（1）63满10进6余3 （2）110+6=116 11...

原创 python 字符串构造成字典形式

features1="label,userId,itemId,userEntrance,userAppId,userRequestTime,userRequestWeek,userOs,userApn,userUa,userMode,userProvince,userCity,userCityLevel,userMarr,userAge,userGestat_week,userAgeRange,...

原创 linux 执行rm -rf 出现 Device or resource错误

rm: cannot remove ‘export_model2/1573815799/variables/.nfs0000000000364af0000000ca’: Device or resource busylsof+d +文件名字再通过kill -pid杀死进程

原创 出现这个错误docker: Error response from daemon: driver failed programming external connectivity on endpoin

常常出现这个错误：docker: Error response from daemon: driver failed programming external connectivity on endpoint lucid_brahmagupta (9deec589c10e0f6b0e53f6f51c592cb4e8a4492438d49108b62b401ce5fa3440): Bind fo...

原创 scala多种方法实现Hbase数据抽取

package com.features.dlimport java.utilimport java.util.stream.Collectorsimport java.util.{Arrays, Comparator, List}import com.features.model.{CommonLabelPointForDINOnline, Keyword}import com.m...

原创 利用java分别实现key,value排序返回结果

Map map=new HashMap<String,Double>();map.put("1",3.4);map.put("4",4.4);map.put("3",1.4);map.put("2",2.4);//按key进行排序Set set=map.keySet();Object[] arr=set.toArray();Arrays.sort(arr);for(...

原创 scala 通过rowkey获取列族，列名以及他们的所对应的值

目标：package com.features.dlimport org.apache.commons.lang3.StringUtilsimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.hbase.{CellUtil, HBaseConfiguration, TableName}import...

原创 查看虚拟网口日志

dmesg -T

原创 查看docker容器状态

查看所有的docker的状态docker ps -a查看容器（我的容器名tf-serving）的状态docker stats tf-serving停止和开启容器docker stop -f容器docker start 容器清理所有docker运行文件docker rm `docker ps -a -q`du -sh /* 查看文件大...

原创 docker断开自动重启

docker run -d --restart=always -p 8504:8501 -p 8505:8500 --mount type=bind,source=/home/supeihuang/pregrant/din_170_server/model_su_1/,target=/models/din_pregrant_posts_1 -e MODEL_NAME=din_pregrant_p...

原创 scala中屏蔽不必要的日志

原创 git与idea配合实现代码管理

折腾了很久，终于成功了 写个文档 方便后面能够使用1.安装 git windows版工具：下载地址：http://git-for-windows.github.io/安装完成之后，即可在目录下右键，找到"Git Bash Here"命令，点击即可打开命令行2.配高级环境变量的PATH ，cmd测试git -version(输出版本信息则说明安装成功)3.生成密钥对在Git...

原创 linux中安装java环境

1.首先下载java jdk链接：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html：2.切换用户root权限或者sudo3.创建java文件拷贝文件到该文件下，并对jdk文件进行解压mkdir javacd javacp ../../jdk-8u221-li...

原创 利用docker在centos 环境下部署tensorflow-serving，并用python书写client客户端测试

本文主要使用docker的方法部署tensorflow serving，并提供python实现client代码实例。一、Docker安装：https://docs.docker.com/install/linux/docker-ce/centos/#install-docker-ce-11.移除旧的版本（要谨慎呀，看看这台机器是否已经有docker了，我就不小心把别人的环境弄没了，尴尬~~...

原创 idea 配置log

1.先引入import lombok.extern.slf4j.Slf4j;[email protected]中添加lombok本人的搜索不到lombok，只好通过安装包自己安装了4.private final static Logger LOG = Logger.getLogger(HBaseServiceForDINWithPregran...

原创 Kali linux 安装openvas

更新系统apt-get updateapt-get upgradeapt-get dist-upgrade安装OpenVASapt-getinstall openvasopenvas-setupopenvas-check-setup出现上面的那个错误（根据上面的提示执行openvasmd --rebuild）运行成功。...

原创 OSSEC安装与搭建

开源入侵检测系统OSSEC搭建之一：服务端安装OSSEC是一款开源的多平台的入侵检测系统，可以运行于Windows, Linux, OpenBSD/FreeBSD,以及 MacOS等操作系统中。主要功能有日志分析、完整性检查、rootkit检测、基于时间的警报和主动响应。除了具有入侵检测系统功能外，它还一般被用在SEM/SIM（安全事件管理（SEM： Security Event Ma...

原创 pip install 出现Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问

pip install -U numpy进行更新的时候出现了上述的问题，百度了一下直接在install后面加上--user--就可以了pip install --user-- upgradenumpy

原创 python 实现SVM算法

from sklearn import svm, metricsimport pandas as pdfrom sklearn.metrics import classification_reportfrom sklearn.model_selection import train_test_splitimport numpy as npimport matplotlib.pylab a...

原创 DataFrame 转成 numpy.ndarray的相关问题

本来想尝试运用svm算法对数据进行分类预测，但是发现SVM中的model.fit（）里面的数据必须是numpy.ndarray类型的数据，所以一开始就用numpy.ndarray（data）的数据这样会照成ValueError: sequence too large; cannot be greater than 32这个问题不好解决。后面发现通过numpy.array(data)就可以直接转成n...

原创 scala 手动实现reduceByKey

def sortedTopOne(data: String): String = { /**** * @param data 50条数据 * 实现50条数据取每一项数据中最重要的一条数据 */ var x = List() val map:mutable.HashMap[String,Integer] = new mutable.HashMap[Strin...

原创 String转Rdd[String]并取出排名前几的keys值

import com.sun.rowset.internal.Rowimport org.apache.spark.storage.StorageLevelimport org.jruby.ext.ffi.StructLayout.Storageimport scala.collection.mutable.{ArrayBuffer, ListBuffer}//import org.ap...

原创 scala Array[String]转RDD[String]

本来想统计一下每个单词的个数并进行排序，但是类型是所以查了一下相关材料有两种方法：1）把原有的数据进行数据类型转化Array[String]转RDD[String]val sc=spark.sparkContext.parallelize(Array[String]数据)sc就是RDD[String]类型，之后就可以调用RDD相关方法2）直接map统计完单词个数之后，调用so...

原创 nohup 的使用

1. nohup command > myout.log 2>&1 & 在上面的例子中，0 – stdin (standard input)，1 – stdout (standard output)，2 – stderr (standard error) ；2>&1是将标准错误（2）重定向到标准输出（&1），标准输出（&1）再被...

原创 UnicodeDecodeError: 'gb18030' codec can't decode byte 0xeb in position 7: incomplete multibyte seque

出现这种报错的问题原因是：我们要解码的数据的类型混乱无法解析，所以有时候我们知道数据的编码格式，但是其中有一些其他格式的数据，这样我们就要将其他的格式数据进行忽略，程序运行不下去,在decode 中添加’ignore’参数即可x=i.value.decode('gb18030','ignore')...

原创 python 模拟postman多次发送请求

#!/usr/bin/env python# -*- coding:utf-8 -*-# Author: supeihuang# Time: 2019/5/10 16:30#模拟postman进行测试import requestsimport jsonurl='http://127.0.0.1:6220/coldDataRecommend'headers = {'content-...