- 博客(67)
- 资源 (1)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 网络安全渗透
工具类：端口扫描工具：Nmap发布包扫描：C-spider前端扫描：AWVS/Sescan、appScan、npm audit敏感信息：Seninfo、权限抓包工具：Burpsuite（接口横向、纵向越权、密码暴力破解等）数据库权限：业务账号权限设置过大为root权限服务器加固：sudo提权、linux文件访问权限、密码硬编码、证书的加密算法及密钥长度符合业界要求代码二进制扫描（cve漏洞）正则工具：fuzz测试中间件加固：DCS（Redis、Kafka、et
2022-04-25 14:48:12
6510
原创 程序员如何规划个人的职业生涯（个人的思考希望帮助到需要的朋友）
针对于非计算机相关专业通过短期的培训，想进入IT行业，冲着IT行业的高薪，却忽视兴趣爱好支撑你在IT道路越走路子越宽的思考？ 常常听到好多跨行的人，想通过短期的培训机构速成，简历包装等手段进入软件行业。纠结的问题自己适不适合程序员工作，个人觉得网上对于软件编程入门级别的免费视频很多，自己不妨去尝试跟着视频，从基础语法入手，遇到bug自己是否有耐心通过百度等各种方式，耐着性子坚持下去，培养自己编程的兴趣，编程是一种思想，要勤动手，多看技术类论坛增长自己的广度。早起的培训机构真的是质量很有保障，...
2020-09-25 09:45:57
353
原创 云原生之Istio初识
Envoy 是CNCF毕业的第三个项目Listeners (LDS) Routes (RDS) Clusters (CDS) Endpoints (EDS)以上俗称"XDS"在Envoy中它们四个怎么工作的请看Envoy的配置admin: access_log_path: /tmp/admin_access.log address: socket_address: protocol: TCP address: 127.0.0.1 ...
2020-09-23 16:52:02
264
原创 JVM调优工具
除去jdk自带的jps、jstack、jmap、jhat、jstat等外GCeasy：https://gceasy.io/ 收费阿里巴巴Arthas https://alibaba.github.io/arthajvisualvm 安装Visual GC插件
2020-09-22 22:38:55
168
原创 IT人如何获知入职的公司是不是坑？？？
IT人如何获知入职的公司是不是坑？？？1）通过职友集，看准网等查看公司评价、薪资范围情况2）通过天眼查、企查查、启信宝查看公司的在职社保人数，穿透信息获取法人经营公司存在异常，融资信息，司法涉及是否有劳务纠纷合同纠纷，法人列入失信被执行人黑名单等信息3）入职谈薪不要太相信hr所谓的14-16薪除了圈内大家公认的一线大公司外，签订劳动合同上要体现谈薪时提到的多少薪，另外所谓的期权和股票都要签订一定的协议文件，若和公司签订的保密协议，离职时记得拿取保密费。...
2020-09-06 21:16:08
256
原创 技术简历优化技巧
你是不是经常性遇到投递简历后石沉大海，或者收到不匹配的问题。。。。。。简历中常犯的错误问题： 技术点罗列，并不是对于某项技术深入，即使获得面试的机会常常因为面试官的某一个技术点，一堆连环炮问题，不知所措？比如：redis面试而不是只知道它的5种数据类型，也要知道5种数据类型分别对应的命令及使用场景，redis集群，哨兵。redis分布式锁（几种实现方式有什么优缺点，在实际项目中遇到的问题，怎么解决的）工作项目的罗列没有突出重点：工作多年简历里面把所做的所有项目都列举出来，少则2-3...
2020-09-04 14:06:30
240
原创 系统性能问题定位分析思路
系统性能问题定位分析思路可以从代码相关、cpu、内存、磁盘I/O网络I/O、GC等分析CPU相关CPU 利用率高&&平均负载高排查高 CPU 占用的一般思路：通过 jstack 多次（> 5次）打印线程栈，一般可以定位到消耗 CPU 较多的线程堆栈。或者通过 Profiling 的方式（基于事件采样或者埋点），得到应用在一段时间内的 on-CPU 火焰图，也能较快...
2019-12-03 23:10:24
994
原创 开源框架地址收录
Spring Boothttp://github.com/spring-projects/spring-bootAlibaba Dubbohttp://github.com/alibaba/dubboGoogle gRPChttp://github.com/grpc/grpcNetflixOSS Eurekahttp://github.com/Netflix/eurekaH...
2019-12-03 14:32:50
221
原创 MySQL行锁、表锁特点应用场景
Mysql不同的存储引擎支持的不同的锁。MyISAM和Memory存储引擎采用的是表级锁（table-level locking）。InnoDB存储引擎及支持行级锁（row-level locking）也支持表级锁。默认情况下是行级锁行锁和表锁行锁：访问数据库时锁定整个行数据，防止并发错误。表锁：访问数据库时锁定整个表数据，防止并发错误。区别：行锁：锁力度小，开销...
2019-11-11 17:16:56
2434
原创 tomcat调优
首先了解下tomcat的3种运行模式：bio：默认的模式,性能非常低下,没有经过任何优化处理和支持.nio：nio(new I/O)，是JavaSE 1.4及后续版本提供的一种新的I/O操作方式(即Java.nio包及其子包)。javanio是一个基于缓冲区、并能提供非阻塞I/O操作的Java API，因此nio也被看成是non-blocking I/O的缩写。它拥有比传统I/O操...
2019-11-05 15:39:17
192
原创 并发编程之代码解释死锁问题
/*** 死锁问题DeadLock，在设计程序时就应该避免双方相互持有对方的锁的情况* @author gb**/public class DeadLock implements Runnable{ private String tag; private static Object lock1 = new Object(); private static...
2019-10-24 14:21:38
173
原创 并发编程之对象锁的同步和异步问题代码示例
/*** 对象锁的同步和异步问题* @author gb*/public class ObjectLockSyn { public synchronized void method1(){ try { System.out.println(Thread.currentThread().getName()); T...
2019-10-24 14:15:20
143
原创 并发编程之synchronized取得的锁都是对象锁 代码示例
/*** 关键字synchronized取得的锁都是对象锁，而不是把一段代码（方法）当做锁，* 所以代码中哪个线程先执行synchronized关键字的方法，哪个线程就持有该方法所属对象的锁（Lock），* 在静态方法上加synchronized关键字，表示锁定.class类，类一级别的锁（独占.class类）。* @author gb**/public class M...
2019-10-24 14:12:10
129
原创 并发编程之 线程安全概念代码示例
import java.util.concurrent.atomic.AtomicInteger;/*** 线程安全概念：当多个线程访问某一个类（对象或方法）时，这个对象始终都能表现出正确的行为，那么这个类（对象或方法）就是线程安全的。* synchronized：可以在任意对象及方法上加锁，而加锁的这段代码称为"互斥区"或"临界区"* @author gb**/publ...
2019-10-24 14:07:09
144
原创 接私活网站--------让您有一定的收入来源
资本寒冬，互联网寒冬，各大厂也在纷纷裁员优化，大环境不好的情况下，面对各方面的压力，可以通过接私活获得一定的收入同时技术也得以提升的网站。码市：https://codemart.com开源众包：https://zb.oschina.net程序员客栈：https://www.proginn.com猪八戒网：https://shenzhen.zbj.com人人开发：http:...
2019-10-15 14:35:03
307
转载 案例实战:每日上亿请求量的电商系统,JVM年轻代垃圾回收参数如何优化?
目录： 案例背景引入 特殊的电商大促场景 抗住大促的瞬时压力需要几台机器？ 大促高峰期订单系统的内存使用模型估算 内存到底该如何分配？ 新生代垃圾回收优化之一：Survivor空间够不够 新生代对象躲过多少次垃圾回收后进入老年代？ 多大的对象直接进入老年代？ 别忘了指定垃圾回收器 今日思考题 ...
2019-10-10 21:45:41
148
原创 四种事务的隔离级别引起的问题及设置
1）Read Uncommitted（读未提交）一个事务在执行过程中，既可以访问其他事务未提交的新插入的数据，又可以访问未提交的修改数据。如果一个事务已经开始写数据，则另外一个事务不允许同时进行写操作，但允许其他事务读此行数据。此隔离级别可防止丢失更新。2）Read Committed（读已提交）一个事务在执行过程中，既可以访问其他事务成功提交的新插入的数据，又可以访问成功修改的数据。...
2019-10-10 21:38:06
723
原创 查看线程栈信息
输入jps，获得进程号。top -Hp pid 获取本进程中所有线程的CPU耗时性能jstack pid命令查看当前java进程的堆栈状态或者 jstack -l > /tmp/output.txt 把堆栈信息打到一个txt文件。可以使用fastthread 堆栈定位...
2019-10-10 21:03:16
313
原创 记忆犹新的一次拖欠工资，教你如何快速解决工资拖欠问题
遇到工资拖欠的时候：1：向公司所在劳动管辖区域劳动侦查大队举报2：向公司所在管辖劳动仲裁委员会申请，能10人集体走劳动仲裁的最好，周期短（集体一般一个月左右就会受理，个人的话要排期可能需要三个月）政府重视；能用劳动仲裁委员会提供的法律律师援助，拒不个人自己单独走司法程序的。3：针对劳动仲裁委员会一审终决判定的，在规定时间内法人没有上诉的，个人在可以请求一个月内以拒不支付劳动报酬罪向劳动...
2019-10-10 18:39:54
285
原创 Storm集群部署
1、集群部署的基本流程集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群注意：所有的集群上都需要配置hosts vi /etc/hosts 192.168.223.100 storm01 zk01 hadoop01 192.168.223.101 storm02 zk02 hadoop02 192.168.22...
2019-08-28 16:35:12
1102
原创 Hive数据仓库
Hive安装环境1.1 Hive安装地址 1）Hive官网地址：http://hive.apache.org/ 2）文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3）下载地址：http://archive.apache.org/dist/hive/...
2019-08-28 14:46:41
493
原创 大数据技术之Sqoop
一、Sqoop简介Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。请注意，1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。二、Sqoop原理将导入或导出命令翻译成mapreduce程序来实现。在翻译出的map...
2019-08-28 09:38:28
227
原创 HBase的 配置与安装
1.Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动之：$ ~/modules/zookeeper-3.4.5/bin/zkServer.sh start2.Hadoop正常部署Hadoop集群的正常部署并启动：$ ~/modules/hadoop-2.7.2/sbin/start-dfs.sh$ ~/modules/hadoop-2.7.2/sb...
2019-08-28 09:18:23
171
原创 Hadoop 3 Mapreduce离线计算理论
MapReduce：MapTask & ReduceTask•MR的执行步骤–原数据 ----> split -----> (input)<k1, v1> ----->map<k2, v2> ------>shuffler-----> <k2, v2>----->reduce<k3, v3...
2019-08-20 21:31:32
223
原创 flume监听文件目录sink到hdfs配置
一：flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume架构分为三个部分 源-Source，接收器-Sink，通道-Channel。二：配置文件此配置文件source为一个目录，注意，该目录下的文件应为只读，不可写，且文件名不能相...
2019-07-31 16:05:05
654
原创 ElasticSearch环境部署测试
Elasticsearch Kibana的下载地址统一为 https://www.elastic.co/downloads/问题排查可以登录https://discuss.elastic.co/c论坛查找相关信息一．安装Elasticsearch1.安装Elasticsearch集群下载elasticsearch-2.0.0.tar.gz，执行tar -zxvf elasticse...
2019-07-31 14:59:15
282
原创 安装Hadoop集群
1.修改主机名：Vi /etc/sysconfig/networkReboot2.IP与主机映射Vi /etc/hosts3.配置文件修改：Core-site.xml:<configuration><property><name>fs.defaultFS</name><value>hdfs:...
2019-07-31 14:22:59
253
1
原创 redis分布式锁实现和坑点及zookpeer分布式锁实现和坑点
redis分布式锁基于setnx实现的坑点：redis基于redission实现原理：
2019-07-29 23:23:45
277
原创 docker中的命令
docker常用命令：dockerimagesdocker ps -a ------查看所有镜像docker rmi 镜像名称或者镜像id ----- 删除镜像docker stop ----停止镜像docker ps -l ---最近的docker ps -a -q ------查看所有容器IDdocker ps -n=2 ----...
2019-07-17 19:12:35
157
原创 大数据------搭建数据仓库过程及Yarn调度MR任务
搭建数据仓库过程Yarn调度MR任务MapReduce应用：wordCount、倒排索引、网站排名、推荐共同好友等MapReduce 编程模型底层基于Java开发MapReduce分为Map阶段拆分，Reduce阶段合并。 1.任务：主任务（job）=Map（拆分）+Reduce（合并） 2.处理数据来源来自于HDFS(分布式文件存...
2019-05-28 16:19:28
332
原创 记一次所用到的开源框架
分布式配置中心框架：A、Apollo配置中心 项目开源地址：https://github.com/ctripcorp/apollo Apollo（阿波罗）是携程框架部门研发的开源配置管理中心，具备规范的权限、流程治理等特性。B、spring-cloud/spring-cloud-config 项目开源地址：https://github.com/spring-c...
2019-05-27 11:37:16
200
原创 记录一些阿里生态
阿里数据：https://dt.alibaba.com阿里云：https://www.aliyun.comDataV数据可视化：https://data.aliyun.com阿里云栖社区：https://yq.aliyun.com淘宝maven私有仓库地址：http://maven.aliyun.com/nexus/content/groups/public/淘宝 npm 地址...
2019-05-15 22:05:38
276
原创 缓存击穿，缓存穿透，缓存雪崩
缓存击穿：某个key在某个时间刚好失效。解决缓存击穿思路：首先加锁，限制所有的请求怼到数据库，（加分布式锁）JVM里的锁机制去实现。限流：hystrix 、nginx做分布式锁的解决方案：redis、redission、zookeeper缓存穿透：大量的访问缓存当中不存在的key如何解决缓存穿透：海量数据场景中，如何判断缓存中的key是否存在？场景一...
2019-04-18 22:08:52
339
原创 wukong-robot 是一个简单、灵活、优雅的中文语音对话机器人/智能音箱项目
开源地址：https://github.com/wzpan/wukong-robot
2019-04-01 18:31:31
4311
原创 搭建大数据集群架构Hadoop+Hive+Hbase+Spark+Zookeeper+Phoenix+Sqoop+Flume+Kafka+Azkaban
大数据集群搭建目录概叙 41.1 引言 41.2 集群拓扑图 51.3 整体架构图 51.4 设备选型 61.5 版本选择 61.6 功能分布 7集群基础配置 72.1修改主机名 72.2 hosts主机名IP映射文件修改 72.3关闭防火墙 82.4 配置免秘钥SSH 82.5 Jdk安装 82.6 Mysql安装 8集群组件配置 93.1 Hado...
2019-04-01 16:13:25
7876
原创 jvm调试方法
一、本地环境：1.eclipse-Main方法 JVM参数设置步骤1：:右键选择项目，在弹出的菜单进行选择步骤2：Debug Configurations面板，左侧的type filter text下面选择Java Application步骤3：Debug Configurations面板选择Arguments，在VM arguments下面输入启动参数即可 -verbose:...
2018-11-08 09:55:06
972
原创 全面解析JAVA内存模型
java内存区域与java内存模型的区别（1）Java内存区域 方法区：类、常量、static变量 堆：JVM启动的时候，存放Java实例对象VM stack :Java的方法内存模型 程序计数器：线程的私有数据，用来记载下一条指令的地址本地方法栈：Native Java内存模型Java Memeory model（JMM）抽象的概念，规则a从主存中复制数据到...
2018-09-26 16:55:19
168
xpath获取多个li标签的值
2017-05-11
抓取不到列表页面导航的值，正则匹配不到详情页面
2017-04-28
xpath获取多个a标签的值
2017-04-27
使用webmagic抓取网页正则匹配问题
2017-04-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人