- 博客(29)
- 收藏
- 关注
RSS订阅原创 Mysql实现对某一字段排序并将排名写入另一字段
最近业务上碰到这样一个需求，需要对表按照某一个字段进行排序，并且将得到的排名写入对应的排名字段。这个需求于我而言确实没有遇到过，好在试着摸索一番得以解决，故写博客记录一下。希望这篇博客对大家有所帮助！！！
2023-05-17 23:19:00
1459
原创 SpringCloud-网关 Gateway
自定义全局Filter就是当内置的过滤器不能满足现实需求，则可以自定义过滤器来处理，当然所有请求都要经过全局Filter才能转发到后端。@Override //exchange封装了request和reponse public Mono < Void > filter(ServerWebExchange exchange , GatewayFilterChain chain) {
2023-05-13 16:19:43
1709
1
原创 SpringCloud-微服务&Eureka服务注册中心
最近学习SpringCloud，对其中的知识点进行梳理，故写下博客记录自己的学习笔记，方便日后回顾。微服务就是由一系列围绕自己业务开发的微小服务构成,它们独立部署运行在自己的进程里,基于分布式的管理。微服务是一种架构，这种架构是将单个的整体应用程序分割成更小的项目关联的独立的服务。一个服务通常实现一组独立的特性或功能，包含自己的业务逻辑和适配器。各个微服务之间的关联通过暴露的API来实现。这些独立的微服务不需要部署在同一个虚拟机，同一个系统和同一个应用服务器中。服务注册中心。
2023-05-05 01:28:48
793
原创 Python-12306模拟自动购票
2020临近尾声，购买车票回家也逐渐成为人们所关注的事情。所以我心中也就萌生了用程序来自动购票的想法，虽然之前看过一些人关于抢票的程序，本想直接用现成代码来尝试，但奈何12306网站有了许多改动，所以就自己尝试写一个购票程序，也正好对selenium进行回顾。 其实模拟购票的思路也非常简单，无非就是像我们平常买票一样，进入网站，登录，选中自己出发时间和地点以及目的地，然后预定付款，现在将这种思路转换成代码实现即可。所以这里主要针对本人代码中的部分内容进行解析，先给出网址：https://kyfw.1
2020-11-30 18:45:43
1836
11
原创 启动Flume Agent出现“A fatal error occurred while running“解决方法
在安装完flume后启动日志控制台时出现如下报错2020-11-13 18:10:23,564 ERROR [main] node.Application: A fatal error occurred while running. Exception follows.java.lang.NullPointerException at java.io.File.<init>(File.java:277) at org.apache.flume.node.Application.mai
2020-11-14 10:35:26
10144
原创 MapReduce编程的“Type mismatch in value from map“问题解决方法
最近在写MapReduce编程作业的时候出现报错，报错具体如下：报错的主要意思就是map的输出和reduce的输入类型不匹配，但是在代码中我也明确标注了传出传入类型即map的输出都是Text类型，reduce也以相应的Text类型接收，代码仍然报错。后来查询资料发现需要强制转换，即在main函数设置中加入如下两行代码job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(Text.class);问题即可解决。.
2020-11-11 11:16:58
531
原创 Ubuntu的hbase.thrift文件编译没有hbase.thrift文件的解决办法
在用python访问hbase的配置过程中需要进入hbase.thrift文件的路径下即cd hbase/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift然后执行thrift --gen py Hbase.thrift，但是我找不到这个目录，查找之后要将其下载，输入命令git clone https://github.com/apache/hbase.git(如果找不到git命令，可以sudo apt-get ins
2020-11-01 13:06:24
470
原创 [已解决]Ubuntu-18.04下安装thrift中./configure出现configure:error:“Error:libcrypto required.“报错
在Ubuntu中安装thrift的过程中，进行./configure的命令操作时出现configure:error:"Error:libcrypto required."的报错导致后续的make操作也进行不了，在网上搜索很久也没有解决的办法。后来无意中在stackoverflow中看到有大佬分享了相应的解决方法，在Ubuntu-18.04的版本中（也许其他版本也可以）输入如下命令sudo apt install libssl1.0-dev执行之后再次执行./configure命令即可。..
2020-11-01 11:29:35
2276
3
原创 Centos上Hadoop集群安装及配置详细教程
ps：写此博客记录Hadoop集群的安装配置的步骤，方便日后学习回顾，也希望给各位带来帮助。Hadoop集群的安装与配置安装环境系统基本配置伪分布式安装分布式安装配置安装环境 Centos版本：6.7 VMware版本：15.5.1 JDK版本：jdk-7u67系统基本配置 1.主机名修改 切换至root，进入/etc/sysconfig/network文件中修改HOSTNAME=hadoop1，方便之后的操作。vi /etc/sysconfig/network修改之后退出重
2020-10-23 13:34:38
932
原创 机器学习（西瓜书）之二项检验的理解
比较检验前言内容引出二项检验前言 二项检验在周志华老师的西瓜书中并没有做太多解释，自己也是网上搜索了相关的资料和其他人的看法，并结合了自己的一些理解写下博客记录一下。内容引出 我们在对学习器的性能进行评估比较的时候，有了评估方法和性能度量也不一定能很好判断学习器的优劣，通常是用统计假设检验，基于假设检验的结果我们可以推断出，若在测试集上观察到学习器A比B好，则A的泛化性能是否在统计意义上优于B，以及这个结论的把握有多大。这里，默认以错误率为性能度量，用ϵ\epsilonϵ表示，即泛化错误率。
2020-10-06 22:19:12
3643
6
原创 重拾旧时光——Bringing-Old-Photos-Back-to-Life
Bringing-Old-Photos-Back-to-LifeBringing-Old-Photos-Back-to-Life项目简介Bringing-Old-Photos-Back-to-Life项目资源下载与配置三级目录Bringing-Old-Photos-Back-to-Life项目简介 最近在公众号看到有关Bringing-Old-Photos-Back-to-Life的内容，觉得很有意思，可以将模糊的，褶皱的照片相应的还原所以自己尝试一下。 这个开源的项目在github上可以找到
2020-10-02 23:58:55
9878
15
原创 机器学习：python绘制P-R曲线与ROC曲线
Python绘制P-R曲线与ROC曲线查准率与查全率P-R曲线的绘制ROC曲线的绘制查准率与查全率 P-R曲线，就是查准率(precision)与查全率(recall)的曲线，以查准率作为纵轴，以查全率作为横轴，其中查准率也称为准确率，查全率称为召回率，所以在绘制图线之前，我们先对这些进行大概的介绍。 对于二分类问题，我们可以将样例根据其真实类别与学习器预测类别的组合划分为真正例（true positive)，假正例（false positive)，真反例（true negative)，以及假反
2020-09-18 21:07:56
7280
3
原创 机器学习之Logistic回归解析及实例应用
参考博客：https://techlog.cn/article/list/10183274https://blog.csdn.net/u012762410/article/details/78912667前言：学习《机器学习实战》这本书到现在，这一章节算是数学理论较多的，也很高兴自己能通过搜索资料和学习他人博客推导出运算公式并了解代码含义，对自己而言也是一个小的突破，继续写下机器学习博客记录。Logistic回归回归：假设有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合
2020-08-29 14:27:03
1972
原创 Python爬虫之网易云歌单音频爬取（解决urlretrieve爬取文件不能播放问题）
网易云歌单音频爬取写在前面：最近学习爬虫，对小说和图片都进行过简单爬取，所以打算爬取音频，但是其中遇到点问题也解决了，写下博客记录并希望对大家也有帮助。爬取对象：对于目前主流的几个音频播放网站，我选取的是网易云（个人对其“情有独钟”），可以在浏览器上直接搜索网易云音乐的网页即可。我们爬取的是网易云网页上的歌单里的音频，如图，点击歌单出现的分类，我们随意选取其中一个歌单进行爬取，这里选取的链接是https://music.163.com/#/playlist?id=2829883282，但是我们也注意
2020-08-24 16:23:23
5432
4
原创 机器学习之朴素贝叶斯详细介绍及实例应用
基于概率论的分类方法：朴素贝叶斯朴素贝叶斯算法：朴素贝叶斯算法是有监督的学习算法，同样是解决分类的问题，之所以称之为朴素，也就是因为整个其整个形式化过程只做最原始，最简单的假设。优点：在数据较少的情况下仍然有效，可以处理多类别的问题。缺点：对于输入数据的准备方式较为敏感。适用数据类型：标称型数据。朴素贝叶斯是贝叶斯决策理论的一部分，所以讲朴素贝叶斯之前有必要了解贝叶斯决策理论。贝叶斯决策理论：我们可以看一个数据集，它由两类数据组成，它们的数据分布图如图：我们现在用p1(x,y)表示数据点
2020-08-22 11:14:28
3213
原创 小说爬取干货教程
学习爬虫有段时间，想找个实例来进行练习，所以找了篇网络小说进行爬取，同时写篇博客记录自己的练习过程，也为他人提供干货。小说网站：新笔趣阁URL：https://www.xsbiquge.com/此次爬取我们在新笔趣阁进行，上面给出了小说网站的地址，至于爬取的小说，我一直追更修罗武神，所以便选择对它进行爬取。在新笔趣阁搜索小说进入页面，小说地址，点击进入其页面，我们可以看到如下内容，页面上显示了这篇小说的目录列表。我们要对小说进行全部爬取，那么我们就可以先对一个章节进行爬取下载，之后再重复操作便可以完
2020-08-19 16:59:11
5203
原创 初次爬虫——王者荣耀全英雄皮肤爬取
最近在学习爬虫，虽然初涉不深，但想找些简单的例子来尝试，看见网上有爬取王者荣耀皮肤的例子，对于王者迷来说，这是一个不能抵制的诱惑，所以借鉴了别人的程序加上自己的见解写下爬取程序，也写下这篇博客记录一下自己初次的成果。想要爬取图片，就要有该图片的地址，这里我们去王者荣耀官方的的网站去查询能爬取皮肤地址，这里给出链接：https://pvp.qq.com/，然后我们可以找到这个位置：再点击那个更多，即可进入英雄皮肤的界面：这里我是用的是谷歌浏览器，我们可以点击鼠标右键的检查或者是F12键，调处网页的代码
2020-08-13 20:22:58
1254
原创 机器学习决策树的Sklearn的实现（隐形眼镜镜片决策树实现）
上一篇博客我对决策树做了介绍，当然那是自己编写的算法去实现决策树的构造和图的绘制，在sklearn库中sklearn.tree模块提供了决策树模型供我们使用，所以对它来个简单介绍。回顾：决策树是一种用于分类和回归的非参数监督学习方法。目的是创建一个模型，该模型通过学习从数据特征推断出的简单决策规则来预测目标变量的值。我们将用sklearn库中的模块对决策树进行构造。sklearn.tree.DecisionTreeClassifier决策树的构建函数class sklearn.tree.Decisi
2020-08-10 22:12:12
1454
1
原创 机器学习之决策树算法详解干货
讲在前面：上一篇我们讲述了《机器学习实战》的K-近邻算法，刚好最近学习了第三章的决策树，既然开了前一章的头，那么我久继续将这类博客写下去，对自己的知识也可以巩固提高，也希望可以对我这样的小白也有帮助。决策树是一种基本的分类和回归的方法。我们经常使用决策树处理分类问题，决策树也是最经常使用的数据挖掘算法。其实决策树的工作原理很简单，我们可以通过简单的图形来了解：上图我们用一个邮件的分类系统来大致讲述其工作原理，正方形代表的是判断模块，椭圆形代表的是终止模块，表示的是已经得出的结论，可以终止运行，从判断模
2020-08-08 16:48:40
809
2
原创 机器学习之k-近邻算法学习（KNN)
最近学习的《机器学习实战》，书中的代码思想介绍比较简单，网上搜索的博客也层出不穷，所以自己写个关于机器学习的博客，加深自己的学习印象，也可以让自己以后可以随时回顾。机器学习的主要任务就是对数据进行分析挖掘，提炼出有价值的信息，其中也包括了很多的算法，本篇博客介绍的也是其中之一的k-近邻算法。所以先对k-近邻算法做个介绍，他的工作原理就是存在一个样本数据集合，也称为训练样本集（大量已知的分类数据），并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新
2020-08-01 12:49:31
2777
5
原创 2020蓝桥杯合并检测
7月5日的蓝桥杯b组的原题也陆续出来，今天看了c题的合并检测，先把题目放出来：【问题描述】 新冠疫情由新冠病毒引起，最近在 A 国蔓延，为了尽快控制疫情，A 国准 备给大量民众进病毒核酸检测。然而，用于检测的试剂盒紧缺。 为了解决这一困难，科学家想了一个办法：合并检测。即将从多个人（k 个）采集的标本放到同一个试剂盒中进行检测。如果结果为阴性，则说明这 k 个人都是阴性，用一个试剂盒完成了 k 个人的检测。如果结果为阳性，则说明 至少有一个人为阳性，需要将这 k 个人的样本全部重新独立检测（从理论上看，
2020-07-08 09:24:12
7380
13
原创 最大子列和问题
算法题描述：给定N个整数的序列，A1,A2,…,an,求函数f(i,j)=max(0,∑k=ijA k \sum_{k=i}^{j}A~k~∑k=ijA k )的最大值。其实题意很简单，就是找出一段序列中和最大的值，由此我们可以写出代码:int getSum(int a[],int n)//引入序列a和整数个数n{ int i,j,sum,maxn; maxn=0;//初始化最大值为0 for(i = 0;i < n;i++)//
2020-07-07 10:00:49
188
原创 python课设（GUI界面小说爬取)
本篇文章纪念自己大二python课设做的一个小作品，虽然作业提交完，但还是想写篇博客纪念自己这段时间的努力，不积跬步无以至千里，每天有进步就是成功！我的小作品以GUI界面为基础，但我并不是用qt进行创建，我使用的是tkinter，放出一些图片：以上就是我做的小作品的主要功能界面，我连接的谷歌浏览器，同时我爬取的小说网站是笔趣阁，这应该是很多人爬取小说都会选择的网站，很适合练手，同时我用的是多线程的爬取，我程序中设置的是20个进程，根据网站的html获得小说相应的地址，使用字典将小说每个章节
2020-06-24 16:38:28
3755
4
原创 矩阵快速幂算法详细解析
在上一篇博客我谈到了大数的快速幂，而相对于矩阵的指数运算同样可以有方法，在此之前我们来看看矩阵的乘法：矩阵的乘法是需要矩阵A的行数与矩阵B的列数相等的（A*B的前提条件）但矩阵快速幂一般只用到方阵（行数和列数相等的情况），从而避免了前提条件。如：[A11A12⋯A1nA21A22⋯A2n⋮⋮⋱⋮An1An2⋯Ann][B11B12⋯B1nB21B22⋯B2n⋮⋮⋱⋮Bn1An2⋯Ann]=[C11C12⋯C1nC21C22⋯C2n⋮⋮⋱⋮Cn1Cn2⋯Cnn]\begin{matrix}\\\
2020-06-01 23:19:14
5850
1
原创 整数快速幂以及大数取模快速幂运算
最近写到快速幂的算法题，就比如313，按照之前的做法无非不是写个循环模拟计算，对于指数较小的情况的确可以完成，倘若指数过于大，程序会超时，此时就需要运用到快速幂的方法：正常情况下的计算时间复杂程度为O(n)，a^n=a * a * a…* a（n个a)但a和n过于大时我们可以换种思路，我们知道a^n * a^m = a^(m+n)，而我们所用的快速幂的方法就是按指数的二进制来划分新的任务。用313作为例子，13 = (1101)2，我们同时也不难发现313 = 3(1101)2 = 38 * 3
2020-05-28 22:43:09
1367
原创 解决python的Django执行python manage.py migrate的报错
相信有小伙伴在执行迁移文件python manage.py migrate的时候会出现如下主要报错：django.db.migrations.exceptions.MigrationSchemaMissing: Unable to create the django_migrations table ((1064, “You have an error in your SQL syntax; check the manual that corresponds to your MySQL server ver
2020-05-26 21:26:52
1582
1
原创 学习Python的Django执行python manage.py startapp myApp创建应用出现的问题
最近在学习python的Django,跟着视频操作却也出现问题，创建应用的时候在终端输入python manage.py startapp myApp 出现了报错，报错如下：报错信息有点多，但最后俩行的“raise ImproperlyConfigured(‘mysqlclient 1.3.13 or newer is required; you have %s.’ % Database.version)django.core.exceptions.ImproperlyConfigured: mysq
2020-05-26 18:22:22
3733
原创 求循环小数的循环节C/C++
面对1/n这样的运算，有时候会出现无限循环即给定一个数n,输出1/n的结果，若是循环小数，则只输出第一个循环节。例如：输入 n 3输出 0.3直接上代码讲解：#include <algorithm>#include <iostream>using namespace std;int a[100005];//此数组我们从下标1开始int n;void get(int n){ int length = 1;//先取下标1记录 a[1
2020-05-24 21:53:17
4171
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人