超超超超子-CSDN博客

原创 sparkc程序idea调试提示内存不足

测试了调整idea的vm参数和spark的spark.driver.memory都没有效果，最后发现需要调整idea的程序启动参数。启动参数中添加VM Options：（具体内存使用大小根据实际情况条件即可）

2023-12-04 15:41:26 408

原创 Springboot项目java.lang.ClassNotFoundException: oracle.jdbc.OracleDriver

java.lang.ClassNotFoundException: oracle.jdbc.OracleDriver解决办法

2022-09-14 09:43:15 942 1

原创 ElasticSearch 7.X系列之：script批量操作_update_by_query

ElasticSearch根据条件使用script批量更新update_by_query{ "script": { "source": "ctx._source.count++", "lang": "painless" }, "query": { "term": { "user.id": "kimchy" } }}ElasticSearch根据条件批量删除数据posthttp://serverhost:9200/index/

2022-05-29 12:03:05 1281

原创 ElasticSearch 7.X系列之：查询分析索引磁盘使用空间_disk_usage

POST /tjecommodity-20220208/_disk_usage?run_expensive_tasks=trueGET /_cat/shards

2022-05-17 10:48:53 1212 2

原创 ElasticSearch 7.X系列之：细节问题

1.keyword类型不分词，text类型分词，但是keyword类型有字节长度限制，长度为如果超长文本，而且不需要分词，则可以设置为text，被指定字段不分词，例："introduces" : { "type" : "text", "index": false },2多条件搜索排序，可以通过对查询字段设置权重，排序时，对算分进行排序例： builder=QueryBuilders.boolQuery()

2022-05-17 10:46:27 522

原创 ElasticSearch 7.X系列之：检索性能优化实战指南

1、当我们在说 Elasticsearch 检索性能优化的时候，实际在说什么？！检索响应慢！并发检索用户多时，响应时间不达标卡死了！怎么还没有出结果？怎么这么慢？为啥竞品产品的很快就返回结果了？宕机了等等......这些都与可能检索有关，确切的说和检索性能有关。检索性能的优化涉及知识点比较零散，我以官方文档的检索性能优化部分作为大框架和主线，结合实战经验和咨询经验用通俗易懂的语言做下解读。2、内存要给到位Elasticsearch 严重依赖文件系统缓存来加快搜索

2022-05-17 10:43:47 1351

原创 ElasticSearch 7.X系列之：Centos7中常见启动报错以及解决方法

Elasticsearch启动报错解决方法1、机器内剩余内存较少，会启动失败，并且有类似如下报错：Java HotSpot(TM) 64-Bit Server VM warning:INFO: os::commit_memory(0x000000008a660000, 1973026816, 0) failed; error='Cannot allocate memory' (errno=12)这是因为es的jvm参数-Xmx和-Xms默认都为2G修改config下的jvm.option文件# v

2022-05-17 10:42:31 1227

原创 ElasticSearch 7.X系列之：Shell自动安装配置Elasticseach,设置开机自启动

#获取内存信息echo -e "\033[36m ---Start getting memory information... \033[0m"mem_info=$(free -m | awk '/Mem/ {printf "%.0f\n",$2/1024/2 }')if [ -z "$mem_info" ];then echo " Did not get the memory info,aborting" exit 1else if [ "$mem_i.

2022-05-17 10:40:18 261

原创 ElasticSearch 7.X系列之：RestHighLevelClient 多条件查询

//使用 MultiSearch Api 在一个http请求中并行执行多个Search请求。 public static void multiSearch() { var client = getClient(); MultiSearchRequest msRequest = new MultiSearchRequest(); SearchRequest request1 = new SearchRequest("movies"); SearchSourceBuilder builde..

2022-05-17 10:39:23 4330 4

原创 SpringCloud系列：springboot改造集成nacos

依赖： <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId> </dependency> <dependency> <groupId>com.alibaba.cloud</groupId&g

2022-05-16 16:04:13 406

原创 ElasticSearch 7.X系列六：Mapping及相关的设置

mapping类似于数据库中的schema，作用如下:1. 定义索引中的字段类型；2. 定义字段的数据类型，例如：布尔、字符串、数字、日期.....3. 字段倒排索引的设置mapping定义设置##获取索引GET /_cat/indices##设置索引mappingPUT users{ "mappings": { // define your mappings here }}定义mapping的建议方式: 写入一个样本文档到临时索引中，ES会自动生成ma

2021-11-16 10:16:33 1057 1

原创 ElasticSearch 7.X系列四：Analysis与ik分词器

analysis(只是一个概念)，文本分析是将全文本转换为一系列单词的过程，也叫分词。 analysis是通过analyzer(分词器)来实现的，可以使用Elasticsearch内置的分词器，也可以自己去定制一些分词器。除了在数据写入的时候进行分词处理，那么在查询的时候也可以使用分析器对查询语句进行分词。待补充...

2021-11-16 10:15:45 621

原创 ElasticSearch 7.X系列五：Request Body的各类查询搜索

深入es查询es主要分为两类查询，term查询和全文查询termterm是表达语义的最小单位，在搜索的时候基本都要使用到term。 term查询的种类有：Term Query、Range Query等。在ES中，Term查询不会对输入进行分词处理，将输入作为一个整体，在倒排索引中查找准确的词项。我们也可以使用 Constant Score 将查询转换为一个filter,避免算分，利用缓存，提高查询的效率。term查询不会做任何的分词处理，match做分词处理后进行查询te

2021-11-16 10:14:53 837

原创 ElasticSearch 7.X系列三：URI查询

常用参数q---查询字符串sort---排序执行。可以是fieldName或 fieldName:asc/ 的形式fieldName:desc。fieldName可以是文档中的实际字段，也可以是特殊_score名称，表示基于分数的排序。可以有几个sort参数（顺序很重要）。from---从命中的索引开始返回。默认为0。size---要返回的点击次数。默认为10。_source_include---查询包含某些source字段的文档。_source_exclude---查询不包含某些s

2021-11-16 10:13:53 260

原创 ElasticSearch 7.X系列一：Es的索引，文档，map，DSL等概念

took：时间totol：查命中的数据，默认是一万max_score:算分（暂时可以忽略）hist:内每一个json都是为命中的一条数据index：索引(可以类比为一个关系型数据的数据表)type：文档类型（在7.0后被固定为_doc）id：id，唯一性，score：算分source：实际的数据本身mapping：是es每一个文档的约束信息。例如属性的类型，是否能被索引等例：DSL是es的查询语言例：...

2021-11-16 10:13:04 873

原创 ElasticSearch 7.X系列二：Es的基本curd命令

查看es的所有索引：GET _cat/indices查看某个索引的数据GET index/_search例：查看索引有多少条数据：GET index/_count例：查询指定索引id的数据GET index/_doc/id索引内添加数据：(未指定id)POST index/_doc{"a":111,"b":222}索引内添加数据：(指定id)(注意：若id相同，则会覆盖掉原数据)POST index/_doc/i

2021-11-16 10:12:36 707

原创 logstash 7.X系列之：logstash采集csv文件并存储至es

input { file { type => "csv_log_1" path => ["D:/date/rs-hf.csv"] start_position => "beginning" codec => plain{ charset=>"UTF-8" } }} filter { csv { separator => "," columns => ["city","h.

2021-09-29 16:10:16 693 1

转载 zeek系列之：流量分析流量数据采集流量探针利器zeek

什么是zeekZeek是一个被动的开源网络流量分析器。许多运营商将Zeek用作网络安全监视器（NSM），以支持对可疑或恶意活动的调查。Zeek还支持安全领域以外的各种流量分析任务，包括性能评估和故障排除。新用户从Zeek获得的第一个好处是描述网络活动的大量日志。这些日志不仅包括网络上看到的每个连接的全面记录，还包括应用程序层记录。这些包括所有HTTP会话及其请求的URI，密钥标头，MIME类型和服务器响应，带回复的DNS请求，SSL证书，SMTP会话的关键内容，以及更多。默认情况下，Zeek将所有这.

2021-08-11 14:14:34 3216

原创 zeek系列之：流量数据采集流量探针zeek-脚本入门

zeek解析pcap流量文件解析pcap文件zeek -C -r /home/1.pcapjson格式解析pcap文件到当前目录下zeek -C -r /home/1.pcap LogAscii::use_json=T注意：需要zeek运行状态下zeek脚本概述概述扩展名为.zeek默认目录：share/zeek放在share/zeek/site的不会在升级时被覆盖或者修改zeek生成的事件可以参考：base/bif/event.bif.zeek*.bif是z

2021-08-11 10:50:12 2804

原创 zeek系列之：流量数据采集流量探针zeek安装部署

zeek介绍Zeek是一个被动的开源网络流量分析器。它主要是一种安全监视器，可深入检查链接上的所有流量以查找可疑活动的迹象。使用Zeek最直接的好处是生成大量日志文件。这些日志不仅包括对网络上每个连接的全面记录，还包括应用程序层记录，例如所有HTTP会话及其请求的URI，密钥标头，MIME类型和服务器响应；带回复的DNS请求；SSL证书；SMTP会话的关键内容；以及更多。默认情况下，Zeek将所有这些信息写入结构合理的制表符分隔的日志文件中，这些文件适用于使用外部软件进行后处理。另外，在名称上，3.

2021-08-11 10:18:17 8109

原创 Springboot注解

一、注解 (annotations) 列表@SpringBootApplication：包含了 @ComponentScan、@Configuration 和 @EnableAutoConfiguration 注解。其中 @ComponentScan 让 spring Boot 扫描到 Configuration 类并把它加入到程序上下文。@Configuration等同于 spring 的 XML 配置文件；使用 Java 代码可以检查类型安全。**@EnableAutoConfig.

2020-09-08 15:32:34 107

原创 springboot心跳机制，定时任务

springboot心跳机制，执行定时任务ScheduledConfig.java@Configurationpublic class ScheduledConfig implements SchedulingConfigurer { @Value("${scheduled-thread-pool}") private int scheduledThreadPool; @Override public void configureTasks(ScheduledTaskR.

2020-08-04 23:01:39 3019

原创 springboot 跨域问题解决方法

import org.springframework.context.annotation.Configuration;import org.springframework.web.servlet.config.annotation.CorsRegistry;import org.springframework.web.servlet.config.annotation.WebMvcConfigurer;@Configurationpublic class CorsConfig implemen.

2020-08-04 22:55:38 127

原创 Springboot项目中，使用Application运行，开启https访问配置

首先，生成授权证书keytool -genkey -alias test-api -dname "CN=test,OU=test,O=test,L=GuangZhou,ST=GuangDong,C=CN" -storetype PKCS12 -keyalg RSA -keysize 2048 -keystore ssl-server.p12 -validity 365 -keypass changeit -storepass changeitapplication.yml中配置securi

2020-08-03 16:57:09 861 1

原创 Oracle数据库名（DB_NAME）、实例名（INSTANCE_NAME）,服务名

查询数据库名称SQL：SELECT NAME FROM V$DATABASE;查询数据库当前实例名：SELECT INSTANCE_NAME FROM V$INSTANCE;数据库名：数据库名是存储在控制文件中的名称，它代表的是数据库，也就是数据库包含的所有的物理文件的总称。实例名：用于响应某个数据库操作的数据库管理系统的名称。实例名是由初...

2019-12-02 12:04:29 1519

原创 Nmap常用参数

目标发现-iL 添加扫描待ip列表文件 -iR 随机选择目标不用指定目标ip，nmap对自动对全球的ip随机选择100个进行扫描 root@kali:~# nmap -iR 100 -p100 --exclude 排除扫描当想要对某个ip地址段进行扫描，但是并不扫描其中特定的一些ip root@kali:~# nmap192.168.1.0/24--ex...

2019-11-28 16:31:05 450

原创 SQL注入之寻找、利用及判断依据

SQL注入漏洞频繁出现的位置URL参数HHTP包头搜索框目录名文件名和数据库进行交互的地方，可以会没有经过检查和过滤就被代入到SQL语句中执行最普遍的注入漏洞是由于参数值过滤不严导致的SQL注入漏洞如何寻找使用工具优：自动化，范围广，效率高缺：误报，漏报，测试方法有限手工测试优：测试方法灵活缺:效率低，范围窄，因测试者水平技术而议...

2019-11-28 15:09:22 543

原创网安之信息收集（笔记）

常用DOS命令：ping：网络连通测试arp：显示和修改地址解析协议tracert：显示路由nslookup：域名系统查询telnet：测试是否开启远程连接netstat：产科本地机器所有开放端口ftp：测试开放了ftp得远程主机net：(1)net share - 查看共享命令net share ipc−设置ipc−设置ipc共享net share i...

2019-11-23 15:27:13 399

转载 [基础+实战]SQL注入。注：我只是一个搬运工

看论坛。看到了一篇不错得文章，适合新手小白学习，总结的东西也挺全的。做笔记刚刚好。所以搬过来，分享给大家！MySQL注入函数MySQL常用函数MySQL内置的函数能够让我们更为快捷的得到想要的信息，操作字符串的函数也有助于在注入时绕过WAF。这里列举一些注入常用的函数。 1234567891011 select SYSTE...

2019-11-20 14:02:51 455

原创 centos7 mysql数据库安装

mysql安装#yum install mysql#yum install mysql-server#yum install mysql-devel安装mysql和mysql-devel都成功，但是安装mysql-server失败，如下：失败原因是 CentOS 7 版本将MySQL数据库软件从默认的程序列表中移除，用mariadb代替了。解决方法官网下载...

2019-09-05 10:46:38 109

原创 NISP一级考试题库

NISP一级考试题库，本人以过考试，因为资料是图片转过来得，所有有得地方有乱码，不喜勿喷，仅送给有需要得人。与计算机硬件关系最密切的软件是（）。 A、编译程序B、数据库管理程序C、游戏程序D、OS答案：D系统的主要功能有（）。A、进程管理、存储器管理、设备管理、处理机管理B、虚拟存储管理、处理机管理、进程调度、文件系统C、处理机管理、...

2019-09-02 09:26:59 27945 12

原创 Elasticsearch常见启动报错以及解决方法

Elasticsearch启动报错解决方法 1、机器内剩余内存较少，会启动失败，并且有类似如下报错：Java HotSpot(TM) 64-Bit Server VM warning:INFO: os::commit_memory(0x000000008a660000, 1973026816, 0) failed; error='Cannot allocate memory...

2019-09-02 09:23:05 3960

原创 Ext 工作笔记

1.Ext页面传值问题引用界面 items:[xtype：‘A’fileId:me.fileId //获取fileId]A页面中取值fileId：‘’2.EXT前端访问后台Service.syncCall("类"，"方法名",参数)3.Ext中对比两个List<String> 中的值for(var i=0;i<s...

2019-05-22 21:41:34 176

原创前端iframe引入一个超大页面，实现自动缩放

遇到的一个问题，用了很久研究出来了。前端iframe引入一个超大页面，实现自动缩放废话不多说，上代码<!DOCTYPE html><html> <head> <meta charset="utf-8" /> <title>11</title> <style type="text/css"&...

2019-05-20 20:19:36 5838

原创常问的HashMap，HashTable和HashSet

①HashMap的工作原理HashMap基于hashing原理，我们通过put()和get()方法储存和获取对象。当我们将键值对传递给put()方法时，它调用键对象的hashCode()方法来计算hashcode，让后找到bucket位置来储存值对象。当获取对象时，通过键对象的equals()方法找到正确的键值对，然后返回值对象。HashMap使用链表来解决碰撞问题，当发生碰撞了，对象将会储存...

2019-04-01 19:59:32 177

转载华为内部的Web安全原则

Web安全原则1.认证模块必须采用防暴力破解机制，例如：验证码或者多次连续尝试登录失败后锁定帐号或IP。说明：如采用多次连续尝试登录失败后锁定帐号或IP的方式，需支持连续登录失败锁定策略的“允许连续失败的次数”可配置，支持在锁定时间超时后自动解锁。2.对于每一个需要授权访问的页面或servlet的请求都必须核实用户的会话标识是否合法、用户是否被授权执行这个操作，以防止URL越权。说...

2019-03-28 19:40:32 5300 1

转载网络安全风险感知和发掘，练习题

一、单项选择题1. BurpSuite插件支持哪两种编程语言？（）A.C#、JavaB.Java、PythonC.Ruby、PerlD.PHP、Java2. HTTP请求中，设置（）请求方法可获取服务器的应用服务信息。A.HeadB.TraceC.POSTD.OPTIONS3. UNIX系统中用户的有效用户组是（）A.运行时是不可变B.任意...

2019-03-28 19:37:24 24374 3

转载端口大全

端口大全介绍2端口：管理实用程序3端口：压缩进程5端口：远程作业登录7端口：回显9端口：丢弃11端口：在线用户13端口：时间17端口：每日引用18端口：消息发送协议19端口：字符发生器20端口：FTP文件传输协议(默认数据口)21端口：FTP文件传输协议(控制)22端口：SSH远程登录协议23端口：telnet(终端仿真协议),木马Tiny ...

2019-03-28 19:34:44 1698

原创 Zookeeper

1、zookeeper概念zookeeper是一个分布式协调服务：a:zookeeper是为别的分布式程序服务的b:zookeeper本身就是一个分布式程序（只要半数以上节点存活，zookeeper就能正常服务。）c:zookeeper的服务范围：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务d:zookeeper底层其实只提供了两个功能：（1）管理（...

2019-02-26 21:58:09 156

原创 java面试题

"=="和 equals 方法究竟有什么区别？==操作符专门用了比较两个变量的值是否相等，也就是用于比较变量所对应的内存中所存储的数值是否相同，要比较两个基本类型的数据或两个应用变量是否相等，只能用==操作符,如果一个变量指向的数据是对象类型的，那么，这时候涉及了两块内存，对象本身占用一块内存（堆内存），变量也占用一块内存，例如 Objet obj=newObject();变量 obj ...

2019-02-12 20:53:15 132