世界好演员-CSDN博客

原创 java实现简单爬虫

JSOUP介绍Jsoup是一个Java的Html解析引擎，并且可直接访问远程url地址，并且可通过各种类型的选择器进行dom节点的筛选，因此我们可以尝试用Jsoup实现一个简单的爬虫程序，以下以某一图片网站为例，模拟进行图片的爬取。本文仅用于学习交流。准备首先找到一个准备爬取的网站，获取起网站根路径，作为BASE_URL：网络协议protocol：https:路径urlBASE_URL：${protocol}//xxx.xxx.com/页面结构如下：在此页面，我们要获取的内容包含两部

2021-12-21 15:15:49 1068

原创 ES经纬度搜索

ES经纬度搜索介绍ES支持经纬度搜索，包括查询矩形内的点以及以固定点为中心进行范围查询。ES经纬度查询datatype设置"properties": { "location": { //字段类型设置 geo_point，地理坐标点 "type": "geo_point" }}经纬度类型数据写入经纬度类型字段，支持多种写入方式：//map lat 纬度,lon经度"location": { "lat": 41.12, "lon

2021-12-20 11:50:02 2947

原创 ES动态模板配置

ES动态模板介绍ES动态模板是指在创建索引之前提前预制索引mapping信息，叫做template，template通过pattern表达式与索引动态匹配；其他内容基本与创建索引时的指定的mapping类似。ES动态模板作用ES动态模板的配置，可以大大减轻创建每个索引创建时要但单独维护索引字段设置的压力；只需按照约定规则配置索引名称、字段名称就可以在创建索引时不考虑mapping维护问题。template结构template内容为标准json结构，具体内容结构大致如下：{ //匹配索引名

2021-12-20 11:18:11 2769

原创 ES分词器

ES分词器介绍

2021-12-15 15:23:36 2595 1

原创 atlas安装(基于内置habse及solr)

atlas安装，基于内置solr和hbase，以及异常处理；

2021-12-09 11:40:39 1193

原创 ClickHouse 官方文档摘录

数据库创建：延时引擎：1 CREATE DATABASE testlazy ENGINE = Lazy(expiration_time_in_seconds);mysql引擎：1 CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster] ENGINE =2 MySQL('host:port', ['database' | database], 'user', 'password')VersionedCollapsingMerge

2021-08-20 10:28:04 621

原创 poi word2007常用小操作

1. poi读取docx//读取纯文本内容 public static void readDoc() throws Exception{ InputStream inputStream = new FileInputStream("word.docx"); XWPFDocument document = new XWPFDocument(inputStream); POIXMLTextExtractor extractor = new XWPFWor

2020-07-17 15:15:42 348

原创 ES 附件搜索

ES实现附件搜索方式：1、基于attachment pipeline插件插件下载地址: 版本根据自己需求改动https://artifacts.elastic.co/downloads/elasticsearch-plugins/ingest-attachment/ingest-attachment-5.6.9.zip① 建立附件解析pipeline/_ingest/pipeline/a...

2020-04-30 14:12:38 945

原创 ES java API操作template

因业务需要，要在项目启动时确认ES的一个template是否被初始化，现记录下方法：private static void initTmplt() { try{ GetIndexTemplatesRequest getIndexTemplatesRequest = new GetIndexTemplatesRequest(); getIndex...

2020-04-27 17:06:52 1365