- 博客(56)
- 资源 (2)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 基于数据驱动的电动车电池数据分析（一）
基于数据驱动的电动车电池数据分析（一）欢迎关注笔者的微信公众号笔者过去一年多的时间都在国内一家头部新能源企业实习，主要参与一些数据分析和平台研发的工作。在工作中积累了一些数据分析的经验，其中新能源领域比较多的是一些化工生产，智能制造方面的数据，这些数据类型主要是时序型数据。这里就工作期间学习和总结的一些经验跟大家分享。什么是时间序列预测时间序列数据是一种随时间收集的数据类型，其中值按时间顺序排列，并具有与其相关的时间戳或索引。时间序列中的数据点通常在时间上间隔相等，尽管在某些情况下它们可能间隔不
2023-03-02 14:14:35
993
1
原创 IO密集型和CPU密集型程序-概念与实现
大多数程序都是一种折衷的方式，即同时存在 IO 密集型和 CPU 密集型的特征。因此，在设计程序时需要适当考虑两者的平衡，以确保程序的效率和可用性。
2023-02-08 11:41:09
1965
原创 垃圾收集算法
标记-清除将存活的对象进行标记，然后清理掉未被标记的对象。不足:标记-整理让所有存活的对象都向一端移动，然后直接清理掉端边界以外的内存。复制将内存划分为大小相等的两块，每次只使用其中一块，当这一块内存用完了就将还存活的对象复制到另一块上面，然后再把使用过的内存空间进行一次清理。主要不足是只使用了内存的一半。分代收集策略JDK1.8采用分代收集策略分代收集是根据对象的存活时间把内存分为新生代和老年代，根据个代对象的存活特点，每个代采用不同的垃圾回收算法。新生代采用标记—复制算法，老年代采用标记—整理算法。
2022-11-15 16:42:06
346
原创 可交互绘图-Plotly
Plotly 是一个 Python 库，用于设计图形，尤其是交互式图形。它可以绘制各种图形和图表，如直方图、条形图、箱线图、展开图等等。它主要用于数据分析以及财务分析。
2022-05-07 23:44:59
2479
原创 Docker配置远程访问
欢迎关注笔者的微信公众号前言通常我们使用docker 都是在服务器端pull镜像然后根据镜像创建容器。对于自开发的应用，如果想要将其创建为docker镜像一般需要将应用编译打包后编写Dockerfile文件使用docker build命令构建成docker镜像。对于每次的版本升级和功能迭代都需要重复这些步骤，因此最好将这些操作流程化和自动化。可以对docker进行相关配置，客户端可远程对docker服务进行操作。If you need to access the Docker daemon
2022-05-02 23:13:55
4238
1
原创 Scikit-plot画图
在机器学习过程中画图是一个重要的步骤，例如在分类任务中需要画P-R曲线，AUC曲线，混淆曲线等，使用matpotlib, Seaborn等类库作图需要多写几行代码，例如设置`title`，`xlim`，`ylim`，`lengend`等，如果有一个工具库可以封装这些操作的话可以帮助我们节省时间，提升开发效率，从而专注在算法/业务的改进上。
2022-04-07 11:37:04
2736
原创 Docker数据迁移
Docker数据迁移最近服务器系统盘数据占用100%造成很多服务不可用，甚至文件也编辑不了。检查文件系统占用发现大部分空间被docker占用。因为服务器原因不能直接扩展系统盘只能挂载新的磁盘，然后把Docker数据迁移到新的数据盘中。Docker数据迁移的步骤如下：新建一块磁盘挂载到/data目录后把docker数据从/var/lib/docker迁移到/data/docker目录。修改Docker默认配置，/etc/docker/daemon.json，默认不存在，可手动创建。
2022-03-09 21:38:38
1866
1
原创 箱线图的几种画法-Python
箱线图的几种画法-Python欢迎关注笔者的微信公众号箱线图是一种强大的数据可视化工具，用于了解数据的分布。它将数据分成四分位数，并根据从这些四分位数得出的五个数字对其进行汇总：中位数：数据的中间值。标记为 Q2，描绘了第 50 个百分点。第一个四分位数：“最小非异常值”和中位数之间的中间值。标记为 Q1，描绘了第 25 个百分点。第三四分位数：“最大非异常值”和中位数之间的中间值。标记为 Q3，描绘了第 75 个百分点。“最大非异常值”：按 (Q3 + 1.5*IQR) 计
2021-12-24 21:11:03
35143
原创 税务合规性预测
前言本项目使用数据挖掘相关算法对企业税务是否合规进行预测。本项目主要使用了XGBoost和随机森林两种算法进行对比分析。整个项目包含了一般项目的所有流程：特征预处理，特征编码，特征过滤，数据集切分，模型训练，模型评价，可视化检视。经过实验对比分析，随机森林的预测效果略优于XGBoost，他们的准确率最高都能达到80%以上（随机森林可达86%）。本项目所用的数据集来源于公众号：Dathon数据分析实验部分数据集介绍本实验所用数据集是关于某汽车销售行业124位纳税人的纳税情况。数据集保存为csv格式，.
2021-07-24 23:26:35
479
原创 138. 复制带随机指针的链表
欢迎关注笔者的微信公众号题目描述给你一个长度为 n 的链表，每个节点包含一个额外增加的随机指针 random ，该指针可以指向链表中的任何节点或空节点。构造这个链表的 深拷贝。 深拷贝应该正好由 n 个 全新 节点组成，其中每个新节点的值都设为其对应的原节点的值。新节点的 next 指针和 random 指针也都应指向复制链表中的新节点，并使原链表和复制链表中的这些指针能够表示相同的链表状态。复制链表中的指针都不应指向原链表中的节点 。例如，如果原链表中有 X 和 Y 两个节点，其中 X.ra.
2021-07-22 21:18:56
94
1
原创 回归模型的损失度量方法
欢迎关注笔者的微信公众号之前的分类模型写完后同学问我有没有回归的模型评价方法，现在，它来了 刚开始，我直接搜索回归模型的评价方法有哪些，但是突然想起来之前学习线性回归模型的时候有用到均方误差计算损失，于是猜想sklearn中十有八九有提供相应的损失评价方法，于是一共提供有11种方法接下来对每个方法简单介绍，最后给出相关示例代码。之前介绍的最小二乘法用来计算拟合误差是一个理论上的方法，在实际情况中有很大的局限性：∑i=1m(ytest(i)−y^test(i))2\sum_{i=1}^m
2021-06-20 17:47:09
807
1
原创 基于sklearn的分类模型评估方法
在模型评估过程中，分类问题、排序问题、回归问题往往需要使用不同的指标进行评估。在诸多的评估指标中，大部分指标只能片面地反映模型的一部分性能。如果不能合理地运用评估指标，不仅不能发现模型本身的问题，而且会得出错误的结论。与线性回归问题不同，分类问题，或者说逻辑回归问题输出的是离散值，即判断某件事物属于哪个类别。事实上，逻辑回归模型输出的是一个概率值，通过将这个概率预测值与设定的分类阈值（threshold）进行比较，若大于阈值则分为正类，否则为反类。评价指标准确率（Accuracy），精确率（Preci
2021-06-18 10:35:44
1841
1
原创 机器学习之最小二乘法
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。当我们需要设计一个线性函数（y=ax+b 或 Ax+Bx+C=0y=ax+b \ 或 \ Ax+Bx+C=0y=ax+b 或 Ax+Bx+C=0）去拟合一些呈线性关系的数据点时，我们如何评价我们设计的拟合函数的拟合效果呢？换言之，我们如何评价我们设计的拟合函数与实际值的差距、.
2021-06-16 18:43:22
2459
3
原创 K-近邻算法
欢迎关注笔者的微信公众号最近邻居法（KNN算法，又译K-近邻算法）是一种用于分类和回归的非参数统计方法。在这两种情况下，输入包含特征空间（Feature Space）中的K个最接近的训练样本。在KNN分类中，输出是一个分类族群。一个对象的分类是由其邻居的“多数表决”确定的，k个最近邻居（k为正整数，通常较小）中最常见的分类决定了赋予该对象的类别。若k = 1，则该对象的类别直接由最近的一个节点赋予。在KNN回归中，输出是该对象的属性值。该值是其k个最近邻居的值的平均值。最近邻居法采用向量空
2021-06-11 16:58:37
949
1
原创 nginx配置https
欢迎关注笔者的微信公众号今天下午在调试一个项目的微信端，之前因为没有服务器，采用的是内网穿透，但是有一些问题。这两天服务器到位，并且也分配了一个子域名，可以把项目部署到服务器了。但是在调试微信公众号的时候一直报错，据说后台api必须得是https协议。。？？搞不懂？？先配好再说。什么是HTTPSHTTPS全称是超文本传输安全协议（英语：HyperText Transfer Protocol Secure，缩写：HTTPS；常称为HTTP over TLS、HTTP over SSL或HTTP
2021-05-27 21:30:19
731
原创 k-means聚类算法及其优化
k-means聚类算法及其优化在机器学习中有这样一种场景，需要对已知数据按照一定的关系归到不同的类别中（无监督）k-means是比较流行的聚类方法其基本算法流程如下：随机设置K个特征空间内的点作为初始的聚类中心对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）如果计算得出的新中心点与原中心点一样（质心不再移动），那么结束，否则重新进行第二步过程# Author: Phil Roth <m
2021-05-14 20:28:20
5259
16
原创 Mysql中随机查询数据的几种算法
Mysql中随机查询数据的几种算法欢迎关注笔者的微信公众号有这样一个需求，需要随机在数据库中选择一条（或多条）数据，刚开始觉得很简单，研究后发现学问很多。首先，数据库主键使用雪花算法生成，其有如下性质：全局唯一性递增性高可用性高性能性数据表结构mysql> desc t_words;+-----------+--------------+------+-----+-------------------+-----------------------------+| Fie
2021-05-12 16:06:52
1096
原创 解决微信公众号服务器配置问题
解决微信公众号服务器配置问题今天花了一天时间给给公众号开发了一点小功能：因为之前有过开发公众号的经历，本来以为会没啥问题的。功能大概完成后，准备部署到服务器，在微信后台配置服务器时token校验一直通不过，开发文档看了又看，一直看不出啥问题，本地测试也是预期结果。折腾了几个小时，人都要裂开@JSON@GetRoute("/usermsg")public String userMsg(@Param(name = "signature") String signature,
2021-05-09 09:16:26
536
原创 力扣-455. 分发饼干
欢迎关注笔者的微信公众号455. 分发饼干题目描述假设你是一位很棒的家长，想要给你的孩子们一些小饼干。但是，每个孩子最多只能给一块饼干。对每个孩子 i，都有一个胃口值 g[i]，这是能让孩子们满足胃口的饼干的最小尺寸；并且每块饼干 j，都有一个尺寸 s[j] 。如果 s[j] >= g[i]，我们可以将这个饼干 j 分配给孩子i，这个孩子会得到满足。你的目标是尽可能满足越多数量的孩子，并输出这个最大数值。示例1：输入: g = [1,2,3], s = [1,1]输出: 1解释:.
2021-05-06 22:22:52
103
原创 力扣-1828. 统计一个圆中点的数目
欢迎关注笔者的微信公众号本文公众号链接：1828. 统计一个圆中点的数目# 1828. 统计一个圆中点的数目题目描述给你一个数组 points ，其中 points[i]=[xi,yi]points[i] = [x_i, y_i]points[i]=[xi,yi]，表示第i个点在二维平面上的坐标。多个点可能会有 相同的坐标。同时给你一个数组 queries ，其中 queries[j]=[xj,yj,rj]queries[j] = [x_j, y_j, r_j]queries[j]=[x.
2021-05-05 21:37:06
205
原创 解决seaborn无法加载数据集错误
问题描述因研究需要，今天在了解seaborn 这个可视化框架，但是在第一行代码就报错了。。好嘛，看看啥错：看到这我就知道大概啥问题了，国内网络对国外的网站很不友好。。解决方案解决方法也很简单，主要有以下三种：ke | xue | shang | wang 工具配置代理单独把数据集下载下来，拷贝到本地方法一ke | xue | shang | wang 懂的都懂，略。方法二配置代理其实跟方法一原理相同。seaborn在调用load_dataset方法时会先检查本地是.
2021-05-02 15:50:25
3957
13
原创 力扣-120. 三角形最小路径和
欢迎关注笔者的微信公众号题目描述给定一个三角形 triangle ，找出自顶向下的最小路径和。每一步只能移动到下一行中相邻的结点上。相邻的结点在这里指的是下标与上一层结点下标相同或者等于上一层结点下标 + 1的两个结点。也就是说，如果正位于当前行的下标i，那么下一步可以移动到下一行的下标i或i + 1。示例 1：输入：triangle = [[2],[3,4],[6,5,7],[4,1,8,3]]输出：11解释：如下面简图所示： 2 3 4 6 5 74 1 8 3自顶向下的
2021-04-30 19:39:34
159
1
原创 力扣-1833. 雪糕的最大数量
问题描述夏日炎炎，小男孩 Tony 想买一些雪糕消消暑。商店中新到 n 支雪糕，用长度为 n 的数组 costs 表示雪糕的定价，其中 costs[i] 表示第 i 支雪糕的现金价格。Tony 一共有 coins 现金可以用于消费，他想要买尽可能多的雪糕。给你价格数组 costs 和现金量 coins ，请你计算并返回 Tony 用 coins 现金能够买到的雪糕的 最大数量 。注意： Tony 可以按任意顺序购买雪糕。示例 1：输入：costs = [1,3,2,4,1], coins = .
2021-04-28 09:32:26
156
原创 Scala学习笔记
欢迎关注笔者的微信公众号语法统一类型Scala类型层次结构Any是所有类型的超类型，也称为顶级类 型。它定义了一些通用的方法如equals、hashCode和toString。Any有两个直接子类：AnyVal和AnyRef。**AnyVal代表值类型。**有9个预定义的非空的值类型分别是：Double、Float、Long、Int、Short、Byte、Char、Unit和Boolean。Unit是不带任何意义的值类型，它仅有一个实例可以像这样声明：()。所有的函数必须有返回，所以说有时候U
2020-12-16 21:00:05
635
原创 大数据框架HIVE3之安装
以下hive版本3+，对应的hadoop也是3+安装下载➜ ~ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz解压➜ ~ tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/Apache/配置环境变量vim /etc/profile...export HIVE_HOME=/opt/Apache/a.
2020-11-28 17:58:42
444
原创 Spring Boot请求403 Forbidden错误
在项目中引入了Spring Security框架做权限控制，但是出于调试的方便，在开始的时候就禁用了Spring Security，计划到项目后期再专门开发。但是，在调试的过程中发现，Postman发出的请求后台无法正确接受处理，一直返回403错误。除GET请求可正常访问外，POST，PUT，DELETE请求全部报403 Forbidden错误。最初怀疑是代码有问题，检查无误后问题依然存在，最后只好使用Spring Boot自带的MockMVC测试框架来测试，所有的功能都可以正常响应，只是使用浏览器
2020-08-04 17:27:45
13584
9
原创 Mybatis逆向工程
最近公司在开发个小项目，本来是计划用Mybatis-Plus的，但是因为种种原因最终还是使用了Mybatis。说下项目技术选型：Spring Boot + Mybatis + Spring Security因为系统中数据库表较多，大概十几张表，一个一个手动创建*Mapper.xml文件工程量太大，因此使用了Mybatis逆向工程。是什么？MyBatis Generator (MBG) 是一个Mybatis的代码生成器。他可以生成Mybatis各个版本的代码，和iBATIS 2.2.0版本以后的代码。
2020-08-02 11:37:24
207
1
原创 UML--类图
设计模式UMLUML是一种开放的方法，用于说明、可视化、构建和编写一个正在开发的、面向对象的、软件密集系统的制品的开放方法。UML展现了一系列最佳工程实践，这些最佳实践在对大规模，复杂系统进行建模方面，特别是在软件架构层次已经被验证有效。UML 2.2中一共定义了14种图示。为方便了解，可分类成右侧的结构。结构性图形（Structure diagrams）强调的是系统式的建模：静态...
2020-02-08 16:14:23
964
原创 Spring Boot 使用ActiveMq报错
Spring Boot 使用ActiveMq报错Unsatisfied dependency expressed through field ‘jmsMessagingTemplate’;原本配置：spring: activemq: broker-url: tcp://cluster01:61616 user: admin password: admin ...
2020-01-02 10:29:16
430
原创 Ubuntu安装Windows软件解决方案
Ubuntu安装Windows软件解决方案在Windows独霸江山的当下，个人PC领域许多软件都只有Windows和Mac版本，许多小伙伴入手Linux后都会因为各种生活常用软件的缺失而大感不适最后放弃，笔者最初也因为Linux下缺少QQ、微信这样的软件感到很不方便，但因为学习的需要和个人的喜爱笔者一直坚持在使用Ubuntu学习和办公，其实用久了就会发现Linux较Windows而言是非常轻便和...
2019-05-13 17:05:15
7788
1
原创 Ubuntu图形化数据库连接工具
Ubuntu图形化数据库连接工具推荐一款在Ubuntu下的图形化数据库连接工具 Datagrip官网：Datagrip百度网盘：https://pan.baidu.com/s/1WAB2UP-1FK2S9QWsDlxBdw解压即用...
2019-03-23 19:25:53
2989
原创 Kafka实战笔记
Kafka实战笔记单机版搭建kafka的运行需要提前配好Java 环境，笔者的是 java version “1.8.0_201”第一步 下载程序下载源码 此处用的是2.11版本解压[root@cluster01:opt] # tar -xzf kafka_2.11-2.1.0.tgz[root@cluster01:opt] # cd kafka_2.11-2.1.0第二步 ...
2019-02-27 20:54:47
653
原创 Spring Data JPA报错
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table ‘portal.hibernate_sequence’ doesn’t事件起因：今天做一个小项目的时候用到了 Spring Data JPA,在调用JpaRepository的save()方法时一直报错，百思不得其解，辗转搜索，终于找到了解决方案解决方法：修改实...
2018-12-30 17:35:04
558
原创 FastDFS服务器单机搭建
第一步 搭建Linux虚拟机环境因为 FastDFS 必须在 Linux 系统上运行，所以这里准备好 Linux 环境，笔者的是 CentOS7, 并且是最小化安装，这里提供 VMware 虚拟机下的最小化的安装包，初始用户是：root, 密码：123456，解压直接运行，安全无毒，可以放心使用。百度云：https://pan.baidu.com/s/1uxmDyhSueX7OIoRi6Au...
2018-12-20 16:51:15
1454
原创 Spring 注解版
Spring 注解版@Bean — 组件注册对于一个普通的bean: Personpackage com.spring.annotation.bean;public class Person { private String name; private Integer age; getter() setter()...}传统方式–配置文件applic...
2018-12-12 21:18:42
4643
7
线性表的基本操作-学生信息管理
2017-10-29
nginx不能代理delete请求
2021-06-25
C语言出栈函数Pop返回值
2017-06-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人