weixin_40334693的博客

原创 spring boot elasticsearch ik ik分词 繁体 搭建方式已经shp文件上传的解决方案

请注意,如果你遇到以下几个问题,那么本篇文章会对你有作用:通过docker部署elasticsearch+IK分词+拼音分词+繁体字分词es-head安装后,在es6之后无法在es-head中查看数据如何在在上传在es中的数据里进行拼音分词spring boot+es如何上传shp数据如果上以上几个问题,就可以进行查看这篇文档了这里我会在下方贴自己的es和spring boot+e...

原创 基于es出现的地理数据插入报错解决方案

基于es出现的地理数据插入报错解决方案 这里出的错误是es中常见的geo_shape类型的插入出现:话不多说直接上mappingcurl XPOST{ "mappings": { "shape": { "_all": { "enabled": false }, "properties": { "id": {...

原创 基于elasticsearch 6.8的地理位置信息查询

基于elasticsearch 6.8的地理位置信息查询 这篇文章主要有以下组成:基于es完成类似附近好友查询基于es完成类似某个点在面内或者相交查询类似附近好友查询 话不多说,可能大多数人只需要相关的编码文档,而且网上又有很多的curl命令操作,所以这里有通过项目示例直接进行一个编码查询附近好友查询:构建mapping文档{ "point": { "_all":...

原创 shell笔记

shell笔记数字直接比较命令含义-eq等于,如:if [ $a -eq $b ]-ne不等于,如:if [ $a -ne $b ]-gt大于,如:if [ $a -gt $b ]-ge大于等于,如:if [ $a -ge $b ]-lt小于,如:if [ $a -lt $b ]-le小于等于,如:if [ $a -le $b ]...

原创 基于2.6.0-cdh-5.14.2的hadoop版本搭建

基于2.6.0-cdh-5.14.2的hadoop版本搭建以下是构建dockerfile的的相关应用:kafkazookeeperhadoophbase flink 1.9.1scala 2.11.12jdk 1.8基础镜像位alpine由于alpine的优势,我在其底层构建就使用了alpine相比于传统的系统镜像是优势,大大减小了空间最终的状态:如果你不愿意自己构建那...

原创 elasticsearch使用中文拼音混合搜索的痛点解决

在这里如果你想通过elasticsearch使用中文+拼音的分词,但是对于大家来说中文分词,拼音分词单独使用的时候会能合理运用,但是如果混合搜索就会出现一些问题,如果你有图中的这个样子的需求,那本文就是能帮助到你的了我在这里是通过修改拼音插件分词的源码之后进行打包上传,然后安装之后就可以进行图中的搜索了.es的版本:elasticsearch 6.8.4如果你正好是6.8.4,你就可以...

原创 flink编译

由于各种原因在自己的电脑上编译均不成功,而且开了vpn的情况编译的版本:flink 1.8.1-hadoop-2.6.0-cdh-5.12.4鉴于编译困难,分享到自己的网盘中,有需要的可以自行下载:链接：https://pan.baidu.com/s/1iPMQPu_NvG4t9v8a9YwO2A提取码：qbiq里面一并有cdh版本的kafka...

原创 通过IDEA部署java项目

​通过IDEA部署java项目​以下用到的有:IDEA插件:dockermaven虚拟技术:VM:centos 7docker 1.13以下是一个spring boot的实例项目作为实例:idea的setting中的docker,没有该插件自行安装,具体的配置有:以下的参数请自行解决,我的如图示:有人的docker开放外部端口并...

原创 关于在云服务器部署docker后,部署kafka,外网无法访问解决方式

关于在云服务器部署docker后,部署kafka,外网无法访问解决方式这里主要测试的华为云服务器,但是我想所有的云服务器应该是大同小异的,其次是外网访问阶段,kafka部署后无法访问,以及在容器中更改了server.properties,重启容器还是不正确,通过查找发现服务器可以做以下修改之后就能成功使用kafka tools和代码访问kafka了这里使用的kafka和zookeeperdo...

原创 HBase初之体验:

原创 python基础知识综合--思维导图

原创 大数据常见问题总结:第一章节:

1.格式化:正常情况:格式化一次就好           bin/hdfs  namenode -format            生成fsimage             操作hdfs之后生成的edits       多次格式化之前,需要清空hadoop.tmp.dir参数下设置的路径下的所有文件和目录  出现格式化以下情况:       Usage: java NameNode [-bac...

原创 大数据晋级之路:hadoop的搭建:第二天

【hdfs上的节点】             主节点:namenode                    管理元数据                             文件属性                                    名称                                        位置                           ...

原创 大数据晋级之路:hadoop的搭建:第一天

Hadoop是什么,出现的原因,解决什么样的的问题: 1. 降低成本 2.框架,解决大数据的框架 3.当数据量增加,业务时间增长谷歌三大论文(hadoop时代的"三驾马车"):       Google File System       Google  Bigtable       Google  MapReduce个人觉得当做好奇点还是可以看一看的四大数据来源:     用户行为数据(推荐系统...