追风骑行者__-CSDN博客

原创免费ip代理池

这个代理池主要爬的是 https://www.89ip.cn/ 的免费代理，之后对代理地址进行了验证，输出能够正常使用的代理。最近做爬虫，需要做一个 IP 代理池，但是又不想掏钱，所以就自己做一个。废话不多数，直接上代码。

2024-03-28 12:50:27 199

Charles 是一个比较好用的抓包工具，在实际的工作中，发现一旦模拟器配置了 charles 所在的机器代理，有些app就无法访问网络，这个问题困扰了好几天，最后在书中找到 charles 配合 postern 抓包。Charles 地址：https://www.charlesproxy.com/download/postern地址：http://www.xsssql.com/wp-content/uploads/2022/12/2022122807462925.zip具体做法。

2024-03-27 21:23:42 379

原创有道翻译接口逆向

这边花时间最多的就是寻找 webtranslate 返回内容的解密方法，需要熟练运用 chrome 提供的工具，查询每一个方法的作用，但是只要细心点一定会成功的。点进去之后找到了sign 这个参数，sign 是由于 k(o,e) 这个方法生成的，再网上找方法，最后发现确实是 md5 加密而来的。所以自动化翻译需要两个接口来实现，第一步先获取加密的key，之后再请求翻译接口，除了sign，其他的都是写死的。**对原始数据进行的任何改动，甚至是一个字节的修改，都会导致MD5值显著不同。

2024-03-27 17:14:15 651

原创【爬虫】User-Agent反爬虫

user-agent 反爬虫

2024-03-18 13:37:27 853

原创产品经理修炼指南【01】

最近看了点产品经理的书，觉得产品经理这个位置和程序员不太一样，程序员唯一考核的标准就是能不能完成工作任务、是否能完成工作代码，但是产品经理貌似不一样，就像我给刘曼说的，产品经理上可以接领导，下可以怼开发，运营市场是产品经理的左膀右臂。哈哈哈程序员都有比较强的自尊心（说的就是当年的我），认为自己的程序没有bug，相当自信，同时也傲视别的队友，意思就是你们都是垃圾，我最牛掰。

2023-03-01 21:58:38 411

原创不同的产品经理特征和需要的能力

产品

2023-02-25 10:22:22 564

原创 mysql连接时没有 mysql.sock

### 遇到的问题，mysql连接时没有 mysql.sock[root@test bin]# mysql -uroot -pEnter password:ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)进入 mysql 文件夹cd /root/mysql-8.0.14-linux-glibc2.12-x86_64/bin修改 my.confvi..

2022-03-11 17:55:23 1997

原创 python通道连接 mysql

import pymysqlfrom sshtunnel import SSHTunnelForwarderimport paramikoimport psycopg2import esimport utilsimport configssh_host = "12.12.12.12"ssh_user = "root"ssh_password = "v121212"server = SSHTunnelForwarder( (config.ssh_host, .

2021-09-09 19:49:29 100

原创 jenkins+gitlab+nexus+docker 持续集成解决方案

jenkins+gitlab+nexus+docker 持续集成解决方案持续集成持续集成jenkins: 打包工具nexus: 包存储docker：镜像发布工具gitlab：版本控制工具

2021-07-01 17:10:00 191

原创 Ubuntu 拉取 git 需要输入账号密码解决方案

Ubuntu 拉取 git 需要输入账号密码解决方案解决方案第一步：检查本地是否有 SSH Key存在第二步：配置你注册的邮箱第三步：添加私钥第四步：获取公钥内容第五步：公钥添加到 gitLab SSH keys解决方案每次使用gitlab 拉取代码太麻烦了，只需要简单几个步骤，以后再也不需要输入账户信息了，第一步：检查本地是否有 SSH Key存在ls -al ~/.ssh如果存在，可以先删除第二步：配置你注册的邮箱ssh-keygen -t rsa -C "your_email@exam

2021-07-01 16:57:20 1441

原创 es 按距离查询排序

// 暂时只显示 10 公里范围的数据GeoDistanceQueryBuilder distanceQueryBuilder = new GeoDistanceQueryBuilder("location");distanceQueryBuilder.point(lat, lon);distanceQueryBuilder.distance("10", DistanceUnit.KILOMETERS);boolQueryBuilder.filter(distanceQueryBuilder);.

2020-12-10 18:15:50 1548 1

原创 postman 从header中设置token

pm.test("token",function(){varjsonData=postman.getResponseHeader("Authorization");pm.environment.set("Authorization",jsonData);console.log(jsonData)});

2020-11-11 20:26:00 936

原创 Excel文件导出

@Override public void exportGridmanByNameAndScope(String name, List<String> orgIds, Page<Gridman> page, HttpServletResponse response) { /*Page<GridmanVM> gridmanVMPage = listGridmanByNameAndScope(name, orgIds, page); ..

2020-10-29 10:27:07 107

原创测试

package com.linkdood.app.service;import com.linkdood.app.domain.User;import org.junit.jupiter.api.Test;import org.junit.runner.RunWith;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.boot.test.autoconfigure.w.

2020-10-28 16:24:37 95

转载 FileChannel 插缝读写文件

Java NIO中的FileChannel是一个连接到文件的通道。可以通过文件通道读写文件。FileChannel无法设置为非阻塞模式，它总是运行在阻塞模式下。打开FileChannel在使用FileChannel之前，必须先打开它。但是，我们无法直接打开一个FileChannel，需要通过使用一个InputStream、OutputStream或RandomAccessFile来获取一个FileChannel实例。下面是通过RandomAccessFile打开FileChannel的示例.

2020-10-27 16:38:27 1012

原创 java-大文件分片上传逻辑-后端代码

/** * 分片上传逻辑 */ public void saveFileAsPatch(String uploadFileId, HttpServletRequest request, String accountId) { // 分片上传 if (StringUtils.isEmpty(uploadFileId)) { throw new InvalidParamException("uploadFileId"); .

2020-10-26 11:28:10 292

原创 AES对称加密算法

最近写了一些关于AES对称加密的东西第一种package com.company.AES;import sun.misc.BASE64Decoder;import sun.misc.BASE64Encoder;import javax.crypto.Cipher;import javax.crypto.KeyGenerator;import javax.crypto.SecretKey;import javax.crypto.spec.SecretKeySpec;import jav

2020-08-13 16:57:24 278

原创 ubuntu16.04 安装jenkins

ubuntu16.04 安装jenkins安装Jenkins参考官网 https://pkg.jenkins.io/debian-stable/这里我们使用Jenkins的官方提供的软件仓库，要使用官方的软件仓库之前必须将软件仓库的秘钥添加到本地添加官方软件仓库的秘钥到本地的apt秘钥中$ wget -q -O - https://pkg.jenkins.io/debian-stable/jenkins.io.key | sudo apt-key add -将官方提供的软件仓库地址加入到本地的a

2020-07-10 16:11:27 176

原创几种常见的单例模式设计方法

几种常见的单例模式设计方法饿汉式懒汉式懒汉式+同步方法Double-CheckVolatile +Double-CheckHolder方式枚举方式饿汉式package com.Thread.chapter14;/** * Description * * @Author: xuxin * @Date: 2020/5/3 14:59 * @Version 1.0 *///fin...

2020-05-03 19:10:52 171

原创 Java常用线程池-固定线程池使用

Java常用线程池-固定线程池使用固定线程池固定线程池在执行数据处理时不可避免的需要使用多线程进行数据处理，以此提高数据处理效率，降低处理时间。而线城池现在池容器对数据处理效率提升有举足轻重的作用，一般我们会在实际应用中使用固定线程池。package com.base.service;import com.base.service.common.loghub.LogHubAdapter;...

2020-04-30 18:54:06 3095 1

原创单体服务-shell脚本编写记录

1、在现阶段，公司需要在短时间内完成单体服务对数据的处理，由于每秒钟的数据量过大，需要对单体服务复制成四个服务在一个服务器（现在没钱买多服务器），本次用shell脚本完成对单体服务自动运行、结束、重启等功能的实现和编排。暂时未使用到docker。先使用java -jar XXX.jar 这种运行方式。2、run.sh#! /bin/sh##This is my first shell...

2020-04-21 17:16:47 238

原创 Nginx在windows和centos7中的应用

NGINX-特性1、NGINX作为应用非常广泛的反向代理服务器，其衍生了很多子产品，比如openresty和kong，这两个产品公司都在用，其中比较难以使用的openstry,因为官方文档是英文，使用者比较少，敢于在生产环境中使用有是少之又少。kong网管因为集合了很多插件，又有自己的UI界面，自身良好的性能，所以使用非常广泛。NGINX可以轻松实现百万级别的QPS。2、针对NGIN...

2020-04-20 17:33:34 227

原创 springboot-email

1、针对springboot中用到的报警Email发送问题，以下是Email发送工具<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-mail</artifactId></de...

2020-04-09 15:20:41 208

原创 springboot-swagger接口配置

在写接口的时候，程序员都需要进行方法验证，swagger是一个非常好用的接口展示工具，能够直观的测试接口，少用postman直接上代码：首先maven配置jar包：  <dependency> <groupId>io.springfox</groupId&...

2020-04-09 14:32:43 436

原创 springboot-多数据源配置

一、在现实场景中经常用到到数据源配置的场景，项目可能会使用多个数据源入sqlserver mysql等，针对springboot+mybatis 服务，以下是针对两个数据源进行的配置。目录结构如下：1、首先对mybatis配置进行初步配置。mybatis.cfg.xml<?xml version="1.0" encoding="GBK" ?><!DOCTYPE c...

2020-04-09 14:18:31 217

转载 @Autowired和@Resource区别联系

@Resource相当于@Autowired,只不过@Autowired 按byType自动注入，而@Resource默认是ByName自动注入，@Resource有两个属性重要，分别是name和type，Spring将@Resource注解的name属性解析为bean名字，而type属性则解析为bean类型，所以如果属于name属性，则使用byName的自动注入策略，而type属性时则使用byt...

2019-08-09 13:15:47 232

转载 mysql 外键、级联问题

数据库问题：事务，外键，级联的作用。外键的作用是两张表关联，保证数据的一致性和实现一些级联操作。保证数据的一致性和完整性，主要目的是控制存储在外键表中的数据。使两张表形成关联，外键只能引用表中列的值！可以使得两张表关联，保证数据一致性和实现一些级联操作。外键默认作用2点：1.对子表（外间所在的表）的作用：子表在进行写操作的时候，如果外键字段在对应的附表中找不到对应的匹配，操作就会失败。...

2019-08-09 13:11:34 249

转载 HashMap、HashTable、ConcurrentHashMap

HashTable :底层数组+链表，无论key还是value都不能为null，线程安全，实现线程安全的方式是在修改数据时锁住整个HashTable，效率低，ConcurrentHashMap做了相关优化，初始化size为11，扩容后oldSize*2+1,计算index方法是index=(hash & 0x7FFFFFFF) %tab.lengthHashMap:底层数组+链表实现，...

2019-08-09 13:07:04 133

转载 synchornized与lock区别

关于syschornized和lock区别： synchornized是JVM的内置锁，而lock是java代码实现的。lock是对sync的拓展，lock完全可以替代synchornized。lock允许重入，允许同一个线程连续多次获得同一把锁。 syschornized是java的一个关键字，也就是说是java语言的内置特性。如果一个代码块被syn...

2019-08-09 13:04:05 1758

转载 EXPLAIN语句分析

EXPLAIN关键字可以模拟优化器执行SQL查询语句，从而直到Mysql是如何处理你的SQL语句，可以帮你分析查询语句或者是表结构的性能瓶颈。通过explain可以得到：表的读取顺序、数据读取操作的操作类型、那些索引被使用、哪些索引被实际使用、表之间的引用，每张表有多少行被优化器查询。table：显示这一行的数据是关于那张表的。type：这是最重要的字段之一...

2019-08-05 22:57:44 1263

转载 SpringMVC理论详解

什么是SpringMC大部分Java应用都是web应用，展示层是web最重要的部分，Spring为展现层提供一个优秀的web框架-SpringMVC。和众多其他web框架一样，它是基于MVC的设计理念，此外它采用松耦合和可插拔组件结构，比其他的MVC框架具有更高的拓展性（集成Mybatis和Hibernate Struts）和灵活性。SpringMVC 通过一套MVC注解的方式，让pojo...

2019-07-29 08:43:57 264

原创 quartz任务调度之Cron表达式书写

Cron表达式是一个字符串，字符串以5/6空格隔开，分为6/7个区域，每个区域代表一个含义，Cron有两种语法格式：(1)/Seconds minutes hours daymonth week year(2)/Seconds minutes hours daymonth week从右往左是：年星期月日时分秒各个字段含义：*标识匹配该区域的所...

2019-07-14 10:56:33 235

转载 redis和MongoDB比较

Redis技术陷阱Redis 基于内存，也可以基于磁盘持久化NoSql数据库，使用 c语言编写，常用端口6379.Redis对内存依赖性很强的NoSql数据库，在内存足够的情况下性能出色，但是一般情况下，服务器内存并没有那么多。一般情况下，Redis会索取大量服务器内存进行存储数据，以达到快速读取查询的效果。当对Redis插入数据后，redis会异步将数据dump到硬盘中，比...

2019-07-02 22:00:52 1331

转载 JVM类加载机制

Java类加载机制分为五个部分：加载（Loading）、验证(Verification)、准备(Preparation)、解析(Ressolution)、初始化(Initialization)、使用(Using)、卸载(Unloading)加载：加载是类加载过程的一个阶段，在这个阶段内存生成一个代表这个类的Java.lang.Class对象，作为方法区这个类的各种数据入口。这里不一定非要...

2019-07-02 21:58:15 136

原创 Linux基本操作命令（未完待续）

基本命令Echo【字符串】命令输出字符串 Date获取时间 %t跳格 %H 小时 %M %s %J ,date “%Y-%m-%d %H:%M:%S”,将系统时间设置为 date -s “2019-12-12 12:12:12” Reboot poweroff Wget 下载网络文件，递归下载网页：wget -r -p http://www.linuxprobe.com Ps命令...

2019-07-02 21:48:20 292

转载 JVM垃圾回收算法

典型垃圾回收算法1、mark-sweep（标记清除算法）第一部标记，第二部清除。容易产生内存碎片，碎片太多可能会导致后续过程需要为大对象分配空间时无法找到足够的空间，而提前触发新的一次垃圾收集动作。2、copying（复制算法）为了解决 mark-sweep算法缺陷，Copying算法就被提出来。他将内存按容量划分为大小相等的两块，每次只使用其中的一块。当一块...

2019-06-17 13:52:05 89

原创 Mybatis的二级缓存机制

Mybatis提供了缓存机制，提高数据库性能。分为一级缓存和二级缓存一级缓存是sqlSession级别的缓存，缓存的数据只在sqlSession内有效二级缓存是Mapper级别的缓存，同一个namespace公用这一个缓存，所以对sqlSession是共享的。一级缓存Mybatis的一级缓存是Sqlsession级别的缓存，在操作数据库时需要先创建SqlSession会话对象...

2019-05-14 10:30:24 560

转载 Nginx在centos服务器中的安装与使用

Nginx是一款高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器轻量级Web服务器、反向代理服务器，相比较于Apache服务器，占用内存少，稳定性高，并发能力强，丰富的模块库以及友好灵活的配置等优势。作为Web服务器处理静态文件、索引文件、自动索引的效率非常高作为代理服务器，Nginx可以实现无缓存的反向代理加速，提高网站的运行速度。作为负载均...

2019-05-14 07:58:08 215

转载 Spring框架IOC和AOP

Spring框架专题：面试问题相关简介：Spring框架式一个开源框架，spring是2003年兴起的轻量级java框架，由Rod Johnson 在其著作Expert One-On-One J2EE Development and Design中阐述的部分理念和原型衍生而来，它为了解决企业应用开发的复杂性二建立的，Spring基本使用的是JavaBean来完成以前之后EJB完成的事情...

2019-05-11 19:11:41 1640