- 博客(108)
- 收藏
- 关注
RSS订阅
原创 JVM深度学习(非常全面,建议瞅一眼)
JVM的作用以及主要组成部分:类加载器（ClassLoader）运行时数据区（Runtime Data Area）执行引擎（Execution Engine）本地库接口（Native Interface）作用： 首先通过类加载器（ClassLoader）会把 Java 代码转换成字节码，运行时数据区（Runtime Data Area）再把字节码加载到内存中，而字节码文件只是 JVM 的一套指令集规范，并不能直接交个底层操作系统去执行，因此需要特定的命令解析器执行引擎（Execution Engi
2020-08-27 16:39:17
593
原创 Elasticsearch-ais使用方式
Elasticsearch-ais是我新写的Elasticsearch框架（或者也可以称之为springboot组件），他的操作方式非常简单，比现有的Elasticsearch操作方式都简单，希望大家可以使用ELASTICSEARCH-AISdemo地址：https://github.com/lihang212010/Elasticsearch-ais-demo使用手册 ：http://49...
2020-03-14 13:01:32
456
原创 主流特征工程平台（一）
Feast是一个由Gojek开发的特征商店和特征服务平台，它提供了一组功能来管理和共享特征，包括特征注册、版本控制、特征微服务和特征预测等。Feast还支持自动特征衍生和特征联合，这使得其非常适合在大规模数据和高并发场景中进行特征工程和模型推理。文档链接Tecton在Feast的基础上补充了诸如特征计算、WEB UI、ACLs、监控能力，解决了特征时效性、特征回填等难点问题，使其作为特征平台的能力更加完整，达到了商用要求。
2023-07-03 00:25:31
1476
原创 jaeger启动命令es
今天有人问我要jaeger的启动参数，网上其实很多不过多数都要讲讲原理，我给我部署的精简一下发出来，拿走不谢，有问题自行查询，别私，私也不回jaeger-collector ./jaeger-collector --span-storage.type=elasticsearch --es.server-urls=http://192.168.1.201:9210 --es.num-replicas=0 --log-level=info --sampling.strategies-file=str
2021-05-27 10:55:12
850
原创 链路追踪invalid parent span IDs处理
在做公司服务治理的时候一般我们都需要做一个链路追踪，大多数都链路追踪是根据已有数据进行开发的，比如我们公司的就是通过jaeger采集的数据进行开发，在开发过程中我遇到了一个问题，上千条的错误链路首先，我们要简单搞明白jaeger invalid parent span IDs=f67b6d7dfc886044; skipping clock skew adjustment的原因，其实很简单，就是单纯的子节点上传了，父节点没有上传，且该链路很多节点都是这样，导致的结果就是链路数据完全不对，类似这样这种
2021-05-27 10:44:39
2350
3
原创 Zookeeper集群(阿里云+百度云+腾讯云)
我有3个服务器,分别是阿里云,百度云,和腾讯云首先保证linux有java环境,然后下载zookeeper,3个服务器分别解压修改服务器配置文件注意,本服务器用0.0.0.0代替,不能使用外网iptickTime=2000initLimit=10syncLimit=5dataDir=/tmp/zookeeperclientPort=2181server.0=0.0.0.0:2888:3888server.1=49.232.72.209:2888:3888server.2=106.13.
2020-07-02 20:20:28
519
原创 Java项目基本术语介绍
先说一些常见的java项目一般分为下面几类:SaaS:软件及服务,通俗意义上讲就是软件从所有权，变成了使用权。,典型例子如企业微信钉钉企业版(OA系统大多也是Saas系统)paas:平台即服务,将软件研发的平台作为一种服务，以SaaS的模式提交给用户。典型例子云计算平台(注意平台2字,云计算运用了3种系统,云计算平台是paas系统,只有大型公司才拥有paas系统)Iaas:前面2者的结合,是指把IT基础设施作为一种服务通过网络对外提供。这个不是太好描述,自行理解吧OA:工作流,最常见的项目,大多数
2020-06-25 23:26:23
905
原创 物联网平台的建立(一),大体框架
准备首先,在硬件芯片选择上,需要准备一个能够上网的芯片,比如可以遵从http协议的ESP系列芯片,5g联网的nb-iot(ssh协议也行,但一般有ssh协议的芯片很少,而且能够使用ssh的都具有http协议)软件端:精通最少一种后端编程语言,会使用mongo数据库和mysql数据库,编写过中型项目最少需要一个服务器,建议是国内的数据分类在这里我们把数据分为2类,1种是平常常见数据,只保存mongo数据库,并存在过期时间,一类是有用数据(比如异常数据),该数据会由mongo后端转发给mysql后端
2020-05-26 15:52:07
549
原创 ESP8266(Arduino)使用sgp30
首先,如果你使用的是下面这个开发板,不定义i2c情况下,D1连接SCL,D2连接SDA,注意下,SPG30的电压的1.7v,但个人实验3.3v也可以用,就是用了2天被烧坏了,所以还是建议加个电阻然后引入一个SPG30的库(https://github.com/adafruit/Adafruit_SGP30)#include <Wire.h>#include "Adafruit_SGP30.h"Adafruit_SGP30 sgp;/* return absolute humidit
2020-05-26 15:20:24
7517
31
原创 ESP8266(Arduino)MQ135的库文件编写
首先,AO连AO,不要管DO,AO的输出可以模拟浓度其次,我简单做了一个3.3v的浓度计算,和网上的不太一样,这个和网上的区别是可以测量co,nh3,h2s的浓度,当然,因为传感器原因,肯定不精确,然后把下面2个文件打包成zip格式,即可导入Arduino中,引用很简单MQ135 gasSensor = MQ135(ANALOGPIN);float h2s = gasSensor.getH2sPPM(); //h2s浓度loat nh3 = gasSensor.getNh3PPM(); //nh3
2020-05-26 10:23:56
2082
7
原创 RestTemplate的post使用
使用restTemplate发送post请求，传入参数是在requestBody请求体中，默认以application/x-www-form-urlencoded形式传输@PostMapping public ResponseResult add(User user){ MultiValueMap<String, Object> map=new LinkedMultiValueMap<>(); map.put("userName
2020-05-23 16:43:01
1556
原创 pymongo密码连接
适用于mongo使用SCRAM-SHA-1认证的连接方式网上有很多这样的,但是代码太多,我这里尽量代码简练有能用class ip: def __init__(self): myclient = pymongo.MongoClient(host="49.232.72.229", port=27017) mydb = myclient['ip'] ...
2020-05-06 16:43:50
353
原创 docker内部镜像太慢更新太慢解决方法
这个不是更换docker源先说下我遇到的问题,我docker部署了mongo,想修改下外网配置,却发现没有vi,然后apt-get update,就一直卡住了我查了下,很神奇,不知道网上教程的同志们的服务器都是用的外国的,竟然没人遇到这种问题我说下我的解决方案,把内部镜像操作系统的源更新地址改为国内即可先换掉原来的内部源mv /etc/apt/sources.list /etc/apt/...
2020-05-06 16:07:58
1936
原创 ESP8266通过网页连接wife(Arduino)
思路是ESP8266先开一个热点,通过连接热点进入网页,输入wife帐号密码连接wife先上代码#include <ESP8266WiFi.h>//String ssid = "Xiaomi_B74C";//String password = "123456abc";const char* assid = "espAccessPoint";//创建AP热点const ...
2020-05-03 00:36:10
1789
原创 kotlin代替java实体类
KOTLIN实体类写法kotlin是一种谷歌专用语言,可以与java混合使用,在2019-2020年期间,kotlin的使用用户越来越多,多数java大型项目开始向kotlin项目转变,其中,最常见的是java的实力类使用kotlin代替书写.基本规则kotlin实体类变量起名方式是这样的var i:String=“hello”;而kotlin中默认不运行为空值(默认不需要分号,但是加分...
2020-04-30 15:41:24
3476
原创 云服务器配置https证书
首先登录你购买的域名的对应网站,比如我的是腾讯云,腾讯云域名服务相对阿里云实名认证更快一些然后在腾讯云里面搜索域名服务找到SSL证书填写下基本信息后开始SSL证书验证然后点击域名的解析 添加记录然后等待下就OK了,阿里云的也差不多是这个样子最后把各种类型的SSL证书下载下来...
2020-04-21 16:04:00
474
原创 kali linux gnome3桌面损坏修复方法
这里说的是gnome完全损害没有修复可能的情况先ctrl+alt+f3进入黑白屏幕卸载gnomeapt remove gnome-*然后重新安装kali的gnomeapt install kali-desktop-gnome最后清除所有使用记录rm -rf. gnome. gnome2. gconf. gconfd. metacity. cache. dbus. dmrc. missi...
2020-04-14 21:38:38
2122
原创 java反射获得私有属性值
直接上代码主要方法是Class t=people.getClass(); //反射Field text=t.getDeclaredField(“text”);//获得需要访问的属性text.setAccessible(true);//属性为true允许访问或者修改私有属性String text1=text.get(people);//获得私有属性public class test {...
2020-02-21 18:59:30
922
原创 java返回值为List的泛型写法
直接上代码 public <T> List<T> execute(String method, String endpoint, String query, Class<T> tClass) throws IOException { String json=executeString(method,endpoint,query); ...
2020-02-20 02:00:37
11879
4
原创 Elasticsearch7.3.1集群配置文件
这个是我的网络，ip我改成***了#集群名称cluster.name: lihang212010当前节点名称node.name: node-3#data文件和日志保存地方，需要当前用户有操作权限path.data: /path/to/datapath.logs: /path/to/logs#network.host: 0.0.0.0#当前服务器内网ipnetwork.bind...
2020-02-20 01:57:49
307
原创 python打包知识点整理
个人从网上整理的一部分pip freeze >requirements.txt生成依赖文件setup.py参数说明#python setup.py build # 编译#python setup.py install #安装#python setup.py sdist #生成压缩包(zip/tar.gz)#python setup.py bdist_w...
2020-02-14 16:02:10
1253
原创 观察者模式（发布订阅者模式）javascript方式
// 主题，接收状态变化，触发每个观察者，这里你把它想象成微博这个系统的一部分class Subject { constructor(name) { this.name=name this.state ="" //相当于发表的内容 this.observers = [] //想当于关注他的人 } getState() ...
2020-02-13 01:25:58
1171
原创 docke运行jar的几种方式
一．Docker部署jar共有3种方式1.本机或服务器制作一个docker镜像1.1需要一个已经生成的jar包，目录如下1.2制作一个名字叫Dockerfile的文件内容如下#指定镜像基础,此处用的jdk8是docker比较常用的jakFROM openjdk:8-jdk-alpine#镜像维护者及联系方式MAINTAINER *** “***”#添加jar包名，第一个jar包是...
2020-02-13 01:10:13
1776
2
原创 docker开启远程服务的2种方法
1如果使用docker自动化部署，必须要开启docker的远程服务开启docker远程服务的方法有2中1，修改 vim /etc/docker/daemon.json文件加入{ "hosts":["tcp://0.0.0.0:2375","unix:///var/run/docker.sock"]}如果这个配置文件有其他配置，逗号隔开即可这中修改方法修改后运行这2句话重启动do...
2020-02-12 18:29:42
3031
原创 newspaper爬虫在python3.7的一些问题
newspaper框架是python的新闻爬虫框架，这个框架我个人感觉是python爬虫框架中制作难度最低的，它就是根据新闻网页多数关键词固定进行抓取，比如作者一般都用authors，标题都用title等，它是利用这些词固定进行新闻抓取。我在使用过程中主要有2个问题1。python3.7版本和newspaper.build（）这个方法兼容性不太好，会出现运行卡住不输出的问题import ne...
2020-02-07 18:18:38
4405
原创 Portia使用
首先安装，这里使用docker安装（portia与python版本联系比较紧密建议使用docker安装）docker pull starjason/portia运行docker run -i -t --rm -v <PROJECTS_FOLDER>:/app/data/projects:rw -p 9001:9001 scrapinghub/portia还是抓取快代理h...
2020-02-06 01:02:07
6565
原创 pyspider爬取快代理并储存mongodb
pyspider是国人做的一个爬虫框架，我个人使用后觉得比起scrapy它优点是网页操作，效果一目了然，缺陷是网页操作，没有自动补全，大项目使用不方便，算的成也网页，输也网页了简单说下项目怎么安装pip install pyspider即可python3.7版本如何配置请看https://blog.csdn.net/weixin_43486804/article/details/10418...
2020-02-05 21:03:51
5262
原创 python3.7无法运行pyspider
python3.7中不运行方法用async，而pyspider是在python3.5中的，并没有升级，所以python3.7运行会报错解决方法有2中，1用python3.5运行pyspider（或者pycharm）2.修改源代码，作者并没有使用async，源代码修改的地方很少总共有3处（我的是linux系统下的，windows系统把前面地址修改为朋python模块保存位置即可）1./u...
2020-02-05 15:58:36
5491
原创 python私有变量公开变量说明
先上代码class people: name="l***" __sex="女" def __init__(self,age): self.age=age def __str__(self): return ("姓名："+self.name+","+"年龄"+str(self.age)+"，性别："+self.__sex)先说公...
2020-02-02 01:36:36
7172
原创 python反射
反射是一个很重要的概念，它可以把字符串映射到实例的变量或者实例的方法然后可以去执行调用、修改等操作。python中把反射直接写成类的默认方法实现机制和java等有所差别，其实属于一种伪反射直接上代码class people: name="l***" __sex="女" def __init__(self,age): self.age=age d...
2020-02-02 01:28:48
6947
原创 爬虫cookie处理的2种方式
通过cookies我们可以实现登录一次后免登录我直接贴代码，username和password需要根据网站情况分辨import urllib.requestimport urllib.parseimport http.cookiejarurl=""postdata=urllib.parse.urlencode({ "username":"lihang", "passwa...
2020-02-01 18:24:21
8453
原创 vue可以变化大小移动的按钮组件
vue可以变化大小移动的按钮先看效果在贴代码代码，我觉得注释挺全的，就不讲解了，有问题私聊留言皆可<template> <div id="vue" > <div id="d1" @mousedown="change('sw')" ></div> <div id="d2" @mousedown="change('s')" ...
2020-02-01 15:19:16
9059
原创 python小问题汇总
云服务器上使用pip安装tornado的时候，出现了一个错误locale.Error: unsupported locale setting，在网上查询了之后是语言设置的问题，解决办法很简单，设置语言就好了ubuntu:~# export LC_ALL=C有2种方法设置python的默认编码：一个解决的方案在程序中加入以下代码：Python代码import sys reload(sy...
2020-01-30 17:52:08
9825
原创 python普通项目上线
首先看下我的项目目录在这里插入图片描述首先必须有setup.py这个文件from distutils.core import setupfrom setuptools import find_packagessetup(name='crawler csdn',author='lihang',author_email='[email protected]',url='',versio...
2020-01-30 17:46:21
9982
原创 scrapy爬取快代理并保存mongo数据库
我们先分析下网页这个网友的页面规律很简单https://www.kuaidaili.com/free/inha/1https://www.kuaidaili.com/free/inha/2这个是页面跳转，然后xpath的规则提取很简单接下来是代码items.pyclass url(scrapy.Item): #抓取内容 ip=scrapy.Field() ...
2020-01-30 17:28:42
9965
原创 Scala的反射基本运用
我写过了java的反射，kotlin的反射，轮到scala了scala使用的是java的反射，那么用法就差不多了先随便来个函数import scala.beans.BeanPropertycase class ScalaGirl(@BeanProperty var name:String,@BeanProperty var age:String) {}先解释下代码，case相当有ko...
2020-01-17 16:23:47
13200
原创 Kotlin反射简单例子
在Kotlin中我们有两种方式来实现反射的功能。一种是调用Java的反射包 java.lang.reflect 下面的API，另外一种就是直接调用Kotlin的kotlin.reflect 包下面的API。直接贴代码吧data class KotlinGirl(var name:String?=null,var age:String?=null)先来个构造函数然后是代码，这里代码只做...
2020-01-17 15:43:50
13541
原创 java线程池
网上的线程池多数是教学很少有直接表达线程池怎么用的，有代码量也有点大，其实线程池几行代码就可以表达public class Main { public static void main(String[] args) { ThreadPoolExecutor threadPoolExecutor=new ThreadPoolExecutor(1, 1,0L, TimeUni...
2020-01-16 16:00:39
12515
原创 红黑树删除例子
这里不将原理了，只放几个例子供大家观看，如有错误请留言删除3红色节点直接删即可删除2右子节点替代2，1变黑即可删除5比较麻烦删除66
2020-01-16 12:01:14
13122
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人