怀揣梦想 努力前行

原创 SQL中not in的一个坑

因not in 效率较低，在工作用一只用left join代替，在某一次查询使用了not in发现，结果为空，sql大致如下。经过查询发现select id from table2里面的id有null值导致该语句为空。看似很小的点，如果没有注意到很可能导致很大的线上事故。table2 中有null直接查询为空。除去table2中的null有结果了。表table1中数据。表table2中数据。

原创 Redis Cluster模式集群搭建及添加删除节点

节点规划虚拟机上搭建，计划在一台机器上搭建6个节点端口为7000 7001 7002 7003 7004 7005下载安装下载 可以在redis官网https://redis.io/download下载也可以wget安装sudo wget http://download.redis.io/releases/redis-6.0.9.tar.gz 下载安装包mkdir /opt/apps/redis-cluster tar -zxvf redis-6.0.9.tar.gz -C

原创 mesos集群模式安装部署

该文章通过yam的方式进行安装部署架构项目 | Value-------- | -----电脑 | $1600手机 | $12导管 | $1Column 1Column 2centered 文本居中right-aligned 文本居右首先配置yum源yum install http://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm...

原创 milvus安装及介绍

milvus介绍官方文档介绍：Milvus 是一款开源的向量数据库，支持针对 TB 级向量的增删改操作和近实时查询，具有高度灵活、稳定可靠以及高速查询等特点。Milvus 集成了 Faiss、NMSLIB、Annoy 等广泛应用的向量索引库，提供了一整套简单直观的 API，让你可以针对不同场景选择不同的索引类型。此外，Milvus 还可以对标量数据进行过滤，进一步提高了召回率，增强了搜索的灵活性。milvus安装(GPU版)首先安装docker curl -sSL https://get.dao

原创 anaconda 、jupyter的安装 及常用命令

anaconda安装anaconda基础命令创建一个环境conda create --name 环境名称 python=3.7查看环境列表conda env list进入环境source activate pyspark离开环境source deactivate

原创 LINUX命令

1、tar 压缩解压文件压缩文件： tar -zcvf mytgz.tgz ./待压缩目录/解压文件： tar -xzvf mytgz.tgz2、nc快速在服务器间传输文件首先，接收端xxx.xxx.xxx.xx，启动接收， nc -l 9999 > file.tar.gz 其次，发送方启动发送，nc xxx.xxx.xxx.xx 9999 < file.tar.gz3、删除大文件内存一直不释放lsblklsof |grep deletedps -ef|grep 2179

原创 idea与eclipce快捷键

idea eclipce(mac os)模式下的快捷键查f4： 查看抽象方法的实现类shift+command+T ： 查找类

原创 HBase知识点

1. HBase简介1.1 定义Apache HBase™是Hadoop数据库，这是一个分布式，可扩展的大数据NoSQL数据库。1.2 架构图角色作用：1）HMasterHMaster是所有Region Server的管理者为region server 分配region；负责region server的负载均衡，region分裂完成监控；处理schema更新请求，数据表的创建，更新；HDFS上的垃圾文件回收；发现失效的region server并重新分配上面的region；2）

原创 JVM相关知识点

原创 Centos安装JDK

Centos安装JDK1 mkdir -p /usr/java2 tar -xzvf jdk-8u111-linux-x64.tar.gz -C /usr/java/3 ln -s /usr/java/jdk1.8.0_111/ /usr/java/default4 vi /etc/profile追加以下⽂文本:export JAVA_HOME=/usr/java/defaultexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAV

原创 nginx代理前端VUE项目

user root;worker_processes auto;pid /run/nginx.pid;events { worker_connections 768;}http { sendfile on; tcp_nopush on; tcp_nodelay on; keepalive_timeout 6...

原创 利用nginx按url将不同的请求发送到不同的服务

文章目录背景nginxnginx文件结构具体方案背景现使用nginx将查询同一个服务的A功能与B功能分开，分别访问两个不同的服务组nginxnginx文件结构#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error...

原创 git相关操作

git相关操作git init：git初始化git clone 项目地址：克隆项目地址git checkout -b 分支名称：创建并切换分支

原创 Java用Freemarker导出word 内容换行

Java用Freemarker生成word时的换行符被自动解析忽略掉，换行可使用<w:br/>

原创 docker访问宿主机“No route to host”的问题

按顺序执行以下命令：nmcli connection modify docker0 connection.zone trustedsystemctl stop NetworkManager.servicefirewall-cmd --permanent --zone=trusted --change-interface=docker0systemctl start NetworkMa...

原创 docker部署mongo

目录一.docker相关操作二.docker安装mongo步骤三.docker镜像的保存save、加载load一.docker相关操作docker容器删除镜像：1.停止所有的container，这样才能够删除其中的images：docker stop $(docker ps -a -q)如果想要删除所有container的话再加一个指令：docker rm $(dock...

原创 Pycharm设置.py文件头部模板

在File---settings---Editor---File and Code Templates---Python script 脚本里添加:# -*- encoding: utf-8 -*-"""@File : ${NAME}.py@Time : ${DATE} ${TIME}@Author : XXX@Email : [email protected]@Soft...

原创 上传项目到GitHub

目录一.首先下载github客户端二.创建一个github仓库： 三.打开本地客户端 四.开始上传一.首先下载GitHub客户端下载地址：https://desktop.github.com下载之后安装然后填上自己的GitHub账号密码如下图：二.创建一个GitHub仓库：点击头像旁边的“+”号----&gt;点击new repository ----&gt;填...

转载 【算法】--海量日志数据，提取出某日访问次数最多的那个IP

转自 https://github.com/yoghurtjia/-python-BAT-/blob/master/most_common_ip.py海量日志数据，提取出某日访问次数最多的那个IP解决思路：因为问题中提到了是海量数据，所以我们想把所有的日志数据读入内存，再去排序，找到出现次数最多的，显然行不通了。这里我们假设内存足够，我们可以仅仅只用几行代码，就可以求出最终的结果   代...

原创 【Linux】--大文件的切分与合并

在开发过程中很多时候会遇到切分或合并大文件的场景，Linux的split和cat能够很好的实现这些需求，而且效率很高，下面就介绍一下其相关用法一、大文件的切分split的语法如下所示：split [--help][--version][-a ][-b][-C ][-l ][要切割的文件][输出文件名前缀]参数描述如下： -a, --suffix-length=N 生成长...

原创 【Hadoop】--HDFS介绍

 目录一、什么是HDFS二、HDFS的特点三、HDFS的读写过程四、HDFS的常用指令一、什么是HDFSHDFS是基于Java的分布式文件系统，允许您在Hadoop集群中的多个节点上存储大量数据。它专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务HDFS是一个主/从（Master/Slave）体系架构，由于分布式存储的性质，集群拥有两类节点Name...

转载 【Spark】--Spark中RDD的理解

1.什么是RDD？RDD：RDD是Spark的计算模型 RDD（Resilient Distributed Dataset）叫做弹性的分布式数据集合，是Spark中最基本的数据抽象，它代表一个不可变、只读的，被分区的数据集。操作RDD就像操作本地集合一样，数据会被分散到多台机器中（以分区为单位）。&nb...

转载 【Spark】--Spark中的宽窄依赖和Stage的划分

一、前述RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。Spark中的Stage其实就是一组并行的任务，任务是一个个的task 。二、具体细节&nbsp;窄依赖父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。...

原创 SQL相关面试题

所有题目均来源于网络，侵删！1、给出所有购入商品为两种或两种以上的购物人记录，如下所示表名：购物信息解答如下：注意该题说的是两种不是两个，我第一次看就没在意一般having和group by 搭配使用2、给出成绩全部合格的学生信息（包含姓名、课程、分数），注：分数在60以上评为合格表名：成绩表解答如下：3、给出平均进价在2元以下的商品名称表名...

转载 梯度下降法及其实现

梯度下降的场景假设梯度梯度下降算法的数学解释梯度下降算法的实例梯度下降算法的实现Further reading本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，最后实现一个简单的梯度下降算法的实例！梯度下降的场景假设梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从...

原创 引入sklearn、seaborn等机器学习相关包时提示ImportError: DLL load failed: 找不到指定的模块。

卸载 numpy，scipy，scikit-learn 包，然后按照numpy，scipy，scikit-learn的顺序重新安装

原创 python3下用matplotlib画图中文标签显示框框

问题及分析：   Python3下用matplotlib画图标签里面的中文显示框框如下图所示，解决办法：    加入.ttc文件chinfo = matplotlib.font_manager.FontProperties(fname='C:/Windows/Fonts/msyh.ttc')plt.xlabel('年份（年）', fontproperties=chinfo...

原创 启动jupyter notebook时，报错“Fatal error in launcher: Unable to create process using '"'”

问题描述：     电脑上同时安装了python2 和python3并且把里面的python.exe分别改成了python2.exe和python3.exe，在python3下安装完Jupyter，输入jupyter notebook时提示Fatal error in launcher: Unable to create process using '"'” ，网上搜了一下说是更改了exe文件...

转载 Win10下python3和python2同时安装并解决pip共存问题

特别说明，本文是在Windows64位系统下进行的，32位系统请下载相应版本的安装包，安装方法类似。&nbsp;使用python开发，环境有Python2和 python3 两种，有时候需要两种环境切换使用，下面提供详细教程一份。1、下载python3和python2&nbsp;进入python官网，链接https://www.python.org/选择Downloads—&gt;W...

转载 Python第三方库matplotlib（2D绘图库）入门与进阶

转载自 https://blog.csdn.net/qq_34337272/article/details/79555544 ...

原创 Python画图库matplotlib库的介绍

Python的matplotlib是一个很强大的画图库，用法也很简单，具体如下：# 基本操作import pandas as pdimport matplotlib.pyplot as pltdate = pd.read_csv('date.csv')date = date[0:12]plt.plot(date['key'], date['value']) # 第一个参数x轴数据...

原创 Numpy知识点

NumPy包的核心是ndarray对象NumPy数组和标准的Python Array（数组）之间有几个重要的区别： 1）NumPy在创建的似乎后就有固定的大小，与Python的原生对象不同， 更改NumPy的大小将删除原来的数组变更新建一个新的数组 2）NumPy数组的的元素都需要具有相同的数据类型，因此在内存中的大小相同 例外情况，Python中...

原创 python的分片

Python中的分片Python中使用索引来访问序列中的某一个元素，如果要访问序列中某一定范围内的元素，可以使用分片来完成。分片的结构：sequence[start:stop:step]  第一个参数是开始位置，第二个参数是结束位置不包括该位置数据，第三个参数是步长，默认为1，可以为负的往前去取数据...

转载 Hadoop之HDFS核心知识点

初步掌握HDFS的架构及原理 原文链接：https://www.cnblogs.com/codeOfLife/p/5375120.html 目录 HDFS 是做什么的HDFS 从何而来为什么选择 H...

转载 Hadoop之 MapReduce 的核心知识点

mapreduce什么是mapreduce ? MapReduce是一种编程模型，用于大规模数据集的并行运算。概念”Map（映射）”和”Reduce（归约）”，是它们的主要思想，。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对(Mappe...

转载 5类系统推荐算法

转 5类系统推荐算法,非常好使,非常全 ...

原创 插入排序介绍及Python、Java实现

插入排序（Insertion Sort）的算法描述是一种简单直观的排序算法。它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。插入排序在实现上，通常采用in-place排序（即只需用到O(1)的额外空间的排序），因而在从后向前扫描过程中，需要反复把已排序元素逐步向后挪位，为最新元素提供插入空间。　　算法思路：　　假定一个数组的序是排好的，然后从...

原创 选择排序介绍及Python、Java实现

选择排序（Selection sort）是一种简单直观的排序算法。它的工作原理如下。首先在未排序序列中找到最小元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小元素，然后放到排序序列末尾。以此类推，直到所有元素均排序完毕。　　算法思路：　　每一次从待排序的数据元素中选出最小的一个元素，顺序放在已排好序的数列的最后，直到全部待排序的数据元素排完。　　算法描述：　　...

原创 冒泡排序介绍及Python、Java实现

冒泡排序（Bubble Sort）是一种简单的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。　　算法思路：　　依次比较相邻的两个数，将小数放在前面，大数放在后面。由于在排序过程中总是小数往前放，大数往后放...

原创 Orcale 报错：ora-01950:对表空间'XXX'无权限解决办法

用管理员身份执行：  grant unlimited tablespace to 用户名