- 博客(38)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 python多进程服务高可用
python多进程服务高可用目的实现方式：出现的问题尝试思路问题产生原因：问题解决方式：目的多进程服务高可用目的暂定为两个：任务超时（计算超时，或者内部死锁），会出现timeout，任务计算失败。子进程挂掉（比如动态基线卡爆子进程， 手动kill -9子进程），主进程会重新启用子进程，并分配任务。丢失的任务，可以从日志中看到高可用暂不支持：暂不支持任务回收，即丢失的任务重新计算不支持任务回收因为不确定子进程何时会挂掉，所以对子进程爆掉时的任务难处理实现方式：子进程挂掉使用mult
2021-07-19 19:59:57
286
原创 Python 多进程与多线程混合情况下logging模块死锁问题
Python 多进程与多线程混合情况下logging模块死锁问题死锁问题复现原因详解解决办法：绕过这个问题注意死锁问题复现在使用多线程与多进程混杂使用的情况下，有时启动多进程不成功，如下所示：from multiprocessing import Poolimport threadingimport loggingimport oslogging.basicConfig(filename='./info.log', level=logging.INFO)_logger = logging.
2021-07-03 12:11:23
1146
原创 pycharm版本选择
最近几天升级了pycharm2021版本，然后出现了debug的问题，大概描述如下：1. debug第一次的时候能到断点，但是不能执行下一步2. 第二次debug的时候，
2021-06-02 20:07:34
8397
1
原创 解决linux下bintrees安装问题
解决linux下bintrees安装问题错误信息：ModuleNotFoundError: No module named ‘bintrees.cython_trees’环境：系统：centos6python版本：3.6canda虚拟环境错误描述： 在mac上调试的时候，pip install bintrees下载后，引用cython_trees是没有问题的。即：from bintrees import cython_trees不出错即可 上传到linux系统上之后，继续使用pi
2021-05-24 17:15:05
245
1
原创 Python 错误记录
Python pandas库出错一、关键词：pandas AttributeError: ‘Series’ object has no attribute ‘nonzero’ 出现这个问题时，又不想去改代码，可以降低pandas库，使用 pip install --upgrade pandas==0.25.3这个版本即可解决。 python的依赖库一直是写python程序的痛点，第一个人写的代码，第二个人去复现，可能就出现很多奇奇怪怪的问题，因此使用pip freeze > requir
2021-03-12 10:30:29
805
1
原创 python，多文件参数共享
需求为： 独立的设置setting文件，使setting文件能够被其他文件读取，更改，且更改后的变量能被其他文件获取。从网上找并没有合适的方法，即使有也不甚了了，因此查找《python核心编程（第二版）》十二章后找到了答案，相关内容如下，之后再复现一次。一、相关资料由于该书主要将的python2系列，因此有些东西不太标准，但是基本原理大同小异，因此也贴出来：上述内容讲的是，如果使用form ** import **后，就将加载的变量读取到局部名称空间中，因此再impter.py文件中更改
2020-11-21 15:59:57
634
原创 pyinstaller 打包流程大体说明（linux）
一、 在文件中配置好.spec，build.sh , start.sh, stop.sh 文件后，后面的打包过程就很简单了，（1）其中.spec文件是打包的流程，与pyinstaller有关（需进一步学习），它能够定义好需提取的模块，打包后的文件名等等相关信息。（2）build.sh是你执行打包的命令，包括pyinstaller ***.spec 或者如果没有.spec文件的时候，使用 pyinstaller -F ***.py命令，都可以定义在build.sh文件夹里面，也包括对打包后的文件执行什
2020-09-04 16:07:12
4624
1
原创 人工智能行业的一点感触
现在科技更新迭代非常快，所以两三年会有个大的更新，比如我刚读研的时候是17年，当时出现的指纹识别支付以及人脸识别支付当时惊艳了我。而19年有5g技术，以及美团，字节跳动的崛起，带起了新基建的成长，所以我赶脚两三年是个技术迭代的大的周期。所以估计21年或者22年就会出现另一种更惊艳的技术了。今年刚参加工作，所以还是要提高自己的危机意识，学习新的技术，不能落后。 刚听了听 2020世界人工智能大会云端峰会，其实我这种菜鸟也就是听一听专家们扯淡，但是有点小感触。一是现在企业还是有点乱...
2020-07-09 21:37:41
246
原创 菜鸟硕最后一个学期阶段总结
今年由于疫情的影响， 导致从寒假放假后就一直瘫在家，每天一百步都是高运动量，大概到了六月初的时候体重上涨了30斤，都是泪啊。三月底四月初的时候逐渐意识到了瘫着的危害性，而且还需要完成毕业论文，因此也慢慢恢复了学习。由于在家前期没学习什么东西，后面撰写大论文的时候时间很紧，再加上公司非要提前实习，有工作的压力，所以博客停更了半年左右，现在暂时时间不那么紧迫了，就慢慢补一些之前没有来得及总结的内容，主要包括：1. 三维空间数据可视化模型总结2. 使用Python中的mayavi模块实现空间...
2020-06-23 21:13:11
169
2
原创 随机变量，随机函数，随机过程，随机场是什么
之前看过的，后来就忘了，记一下加深印象随机变量随机变量的比较容易理解，概念是设随机试验E的样本空间为 Ω = {ω}，若对任一 ωΩ，都有一个实数Z与之对应，且对任一实数zZ，事件{zZ}都有一个确定的概率，则称Z是一随机变量。其实看定义还是有点不容易理解的，其实就是数理统计中的总体，把随机变量看做总体就可以了。对随机变量进行一次测量，就相当于在总体中进行了一次抽样。这样就...
2019-12-02 11:32:21
2988
1
原创 流形学习应用中的问题
最近在使用流形学习进行数据降维，但是产生的分类效果却很差，看到一篇文章讲述流形学习存在的问题，觉得很好，转载一下，原文找不到了，就发了那一篇的连接，如下：https://blog.csdn.net/elasticnet/article/details/8852927其中应用过程中主要面临的问题有：投影后的维度d与邻域k的大小不好确定 在UCI数据集上找到的数据，或者真实的数据（分...
2019-10-29 21:00:39
382
原创 让数据会说话-数据分析方法及实现工具简介
刚入门的时候做的，现在看看当时还是比较用心的，查了很多资料才做出来的，，适合刚刚入门的新手汇报，，相关ppt（内容相同）已上传...
2019-10-15 11:14:08
442
原创 VTK5.10.1+visual studio2012配置方案
由于最近要接手师兄的项目，实现三维可视化开发，所以要配置VTK。师兄的VTK版本有些老，在配置环境的过程中也踩了很多坑，配置了一周才搞定，很麻烦。估计之后很少有人会用这个版本的VTK了吧，现在将配置过程记录下来。PS：本来我想这篇博文的名字为VTK5.10.1+visual studio2012+QT4.86配置方案，本来搭建好了，结果发现运行例子总会出现问题，于是又过了两天，总共花了九天时...
2019-09-03 11:42:48
939
3
原创 K臂老虎机问题Python代码实现
参考周志华的《西瓜书》第16章强化学习16.2 K-摇臂赌博机其实这个问题的目的就是为了能够获得更大的利润，但是具体怎样去获得更大的利润，用到了两种算法，一种是epsilon-贪心算法，另一种是Softmax算法，当然还有其他方法，具体可以参考http://incompleteideas.net/book/the-book-2nd.html，我在网上也找到了一位博主的博客，好像是翻译...
2019-08-17 16:49:53
3421
1
原创 知识图谱阶段汇总
这是在实习结束前，给同事交接时候写得文档，离职前和这位博士师兄聊了很多，也教了我很多东西，如果他早点来公司就好了，那样能跟他学习更多的东西了。这个是很基础的知识图谱的学习资料，我想着这个文档还是公开吧，个人觉得还是比较清晰详细的，希望能够帮助更多人。 最后两个学期，就多专注于一些算法了。第一章 知识图谱简介1.1 知识图谱的基本概念当下，知识图谱逐渐成为继万...
2019-08-10 11:32:59
1508
原创 Tensorflow中，feed数据类型，fetch数据类型
在处理问题中，发现由于输入数据的类型不对，出现的问题，调试了很多次，终于成功了，问题包括：TypeError: Fetch argument array([[0., 0., 0., ..., 0., 0., 0.]]) has invalid type <class 'numpy.ndarray'>, must be a string or Tensor. (Can not con...
2019-07-24 15:51:19
596
原创 基于知识图谱的知识问答建立(二)
时隔十几天，终于自己写成了第一个基于neo4j的知识图谱这一段时间真的是好忙，改论文，整理实验室数据，还要帮老师弄其他东西。回头看看其实六月份天天忙的一匹，但是不知道到底有什么是我沉淀下来的，还好有博客陪伴，回头看的时候能够发现还有那么点东西。话说我看了我写的第一篇博客，去年六月份的，真的是汗颜，现在的我都不知道到底在写什么。这两天挤出一点时间，把知识图谱建立了起来，其实这个很简单的图谱，...
2019-06-25 14:51:52
2522
4
原创 最小二乘法矩阵形式推导过程
关于矩阵求导部分，可以参考百度文库，讲的比较详细：https://wenku.baidu.com/view/f7fa307a580216fc700afdb9.html今天稍微回顾了一下最小二乘法的计算步骤，对于一般形式就不说了，对于矩阵形式，以前就没有搞得太明白，今天就仔细看了看，原来是矩阵球道的过程没有搞懂，现在计算如下：现在形式如下：的形式，其中，w为列向量，可以对b进行省...
2019-06-11 16:09:28
25431
原创 基于知识图谱的知识问答建立(一)
最近一段时间什么事情也没有做，希望借建立知识问答这个机会将这一阶段所学过的知识梳理一遍。基于知识图谱的知识问答建立需要一下步骤1、 数据获取2、 知识图谱建立3、 问题解析4、 问题寻找5、 问答系统建立其中数据获取部分需要的技术包括数据爬虫等方式，以及预处理等手段，将数据转换成结构化的形式知识图谱建立：使用Neo4j数据库建立知识图谱。其他方式如protege等也...
2019-06-11 10:25:22
1577
2
原创 在python中，使用py2neo 库，出现AddressError: Cannot resolve address ('http', 7687)问题
我按照这篇文章搭建医药领域知识图谱快速及医药问答项目问答系统，但是在搭建的过程中，出现AddressError: Cannot resolve address ('http', 7687)，这个问题，一直解决不了。后来根据错误查找源代码，发现了原来是 设置知识图谱联结的时候有问题。这篇博文的脚本文件里面，设置 self.g = Graph( ho...
2019-05-31 10:55:20
1759
原创 在R软件中，提取时间数据中的小时数
今天在改案例的过程中，遇到这样一个问题。时间列的数据全是这样的：目的是为了计算每个小时 样本出现了多少次，比如如图所示，凌晨0点出现了一次，中午12时出现了两次。（方法一）本来打算使用R软件中的：1. strstring（time，a, b）这样一个函数，来提取每个样本中的小时，2. 然后添加到向量里，3. 然后使用table函数进行统计频次。4. 这样使用一个fo...
2019-03-28 15:04:20
6292
5
转载 神经网络权重初始化问题
在神经网络中，权重基本上是要随机初始化的。有以下一些问题 权重不能全部设为0 • 每个神经元都有着相同的输出，在反向传播时具有相同的梯度 一个神经网络的层中的权重值很小，那么在反向传播的时候就会计算出非常小的梯度（因为梯度与权重值是成比例的）。这就会很大程度上减小反向传播中的“梯度信号 解决方案：校准方差，除以1/sqrt(n)： • w = np.random.ra...
2019-03-26 14:23:32
434
1
原创 特征表示：特征选择、特征抽取（方法概述）
以前一说数据降维，立马想到了主成分分析，最多加上个因子分析。因为是偏统计一点的。要是在多说，可能就不知道了。今天看到了别人的总结，要记下来以供以后参考。主成分分析：主成分分析应该是应用最广的数据降维方法了；而且各个软件基本上都能做，算法不难，自己编写也可以，但是这里注意一下，亲测，一些软件的PCA算出来的数，和自己编的不一样，因为我写方差的时候用的是, 这里学过数理统计的人应该知道这是因为为...
2019-03-25 16:39:48
4373
原创 cmake编译时出现问题：CMake Error: The source.. does not match the soused to generate cache. Re-run cmake..
在编译vtk时，出现这个问题，先开始查怎么编译不出来，后来贴吧有个大神回答删除构建目录下的CMakeCache.txt文件即可，连接如下：http://tieba.baidu.com/p/2551657568。但是后来我发现不是很管用，于是就把构建目录下所有的文件都删了，，，然后再编译就好使了。。。挺莫名其妙的，，现在。...
2019-01-19 17:05:10
24614
9
原创 Rejection Sample（拒绝采样）
本文参考：https://blog.csdn.net/jteng/article/details/54344766可能理解有偏差，欢迎批评指正在python中，采集随机样本其实很简单，有很多函数可以直接实现。比如#抽取一个标准正态分布随机样本，并画出密度曲线import numpy as npimport seaborn as snsx=np.random.normal(0,1...
2019-01-14 21:37:18
3299
2
原创 配置vtk环境时出现的问题：This file requires _WIN32_WINNT to be #defined at least
搭建vtk环境时，按照《VTK图形图像开发进阶》张晓东，罗火灵版本的步骤进行一一配置，在选中使用MFC后，在编译VTK.sln时候，出现This file requires _WIN32_WINNT to be #defined at least问题，和书中所示的问题不一样。因此，我去网上找了找，发现是什么什么版本太低的原因，然后找到vtkMDI, vtkSDI, vtkDLG, 和vtkMFCw...
2019-01-14 12:45:27
284
原创 在R软件中采样2018-8-26
今天突然想画不同情况下的样本的概率密度。但是从网上找来找去也没有一个答案。最后还是从我的入门指导书《统计建模与R软件》薛毅 版这本书上找到了方法，怪我当时不认真，现在记下来以备急用。分布 R软件中函数 beta beta binomial binom Cauchy cauchy chi-squared chisq exponential ...
2018-12-05 13:20:22
517
原创 web of science 数据库都包括哪些？
web of science 是很常用的外文文献查找网站。我看网上有的人以为这个网站上所有的文献都是sci检索，我就仔细查了查。发现并不是这样。如下： 这个图片出自https://clarivate.com.cn/media/download_WOS.2018.2.28.pdf是 科睿唯安 上面找到的。...
2018-11-22 11:27:35
29589
4
原创 概率论中经典概率模型
温故知新1.抽样模型 2.放回抽样模型 3.盒子模型 4.生日问题 5.会面问题 7. 蒲丰投针 8.配对问题 9.摸彩问题
2018-11-16 22:20:47
14772
3
原创 在python中， dropna函数简略用法
当想要删除缺失值大于几个的某行，而缺失值小于几个的那些行不删除，就可以用到 df.dropna(thresh=a)设置，其中，a是设定的几
2018-11-16 17:28:34
13993
原创 单纯型法手算详解
近来看李航的《统计学习方法》的SVM的原理，暂时发现是一种线性规划问题，因此又回顾了线性规划及其解法的内容。参考《非线性最优化计算方法》张光澄版 第十章1.线性规划模型一般形式 一般的方法为了解上述问题，因此需要对该形式化为标准形式，即对于大于或小于号，添加一个大于0的变量，使得以下式子成立：如例题所示： 进行求解的时候，可以随机选取几个.等于0，使得变量数等于...
2018-11-10 16:45:57
12805
原创 感知机对偶形式手算过程
李航《统计学习方法》第二章 手算过程开始符号说明：（A，B）表示A与B的内积 首先都是0，因为每个都没有误分，因此，所以这就是表2.2的第一列接着，就是进入迭代过程，首先计算第一个点那么就出现误分类，则此时，而,这就是表2.2的第二列接着进行判断，第二个点，发现没有误分类，进行判断第三个点 因此该点为误分类点，此时，而，这就是表2.2的第三列接着进行判...
2018-09-28 11:09:18
2558
9
原创 方差使用注意点
我们都知道方差是描述数据的离散程度的，其中总体方差为：样本方差为：虽然使用的比较少，但是有时候看到某个方差比另一个方差大的话，我们就理所当然的认为大方差的离散程度较高。但事实上并不是这样，因为方差是受量纲的影响的，，当数据计量单位一样时，且均值一样时，可以利用方差或标准差来衡量两组数据的离散程度。如果两组计量单位或者均值不同时，就不能直接进行比较，应该使用变异系数V：...
2018-09-19 20:02:44
817
原创 欧氏距离与马氏距离
《应用多元统计分析》何晓群 第五章欧式距离的定义：欧氏距离通常携带有量纲，因此量纲的影响会对距离的计算结果产生很大影响。比如如果携带单位的话，两对坐标点是A(0,5),B(10,0)C(0,10),D(1,0)如果同度量的话，比如都是cm，AB距离为,CD之间的距离为,AB的距离比CD长但是用非同度量，比如横轴坐标用cm，纵轴坐标用mm的话，此时纵轴坐标就多了一个数...
2018-09-19 17:27:35
3619
原创 样本均值服从的分布 2018-8-28
由书上的概念可以知道，在样本足够大的情况下，样本均值服从的正态分布 上面是说，不管样本服从什么分布，当样本足够大的时候，样本均值服从正态分布。定理证明如下：这是一个样本服从指数分布，伯努利分布的例子： ...
2018-08-28 22:59:58
14063
原创 用python调用R程序出现的问题 2018-8-25
俗话说的好“福无双至，祸不单行”。果然前一阵出现了两个问题，结果前天告诉我比赛获奖了，睡前1w，丢自行车的钱能补回来了。高兴不到5个小时呢，我查了查参加的一项考试，果然挂科了。真tm。今天用Python调用R语言的时候，出现了一个问题NotImplementedError: Conversion 'py2ri' not defined for objects of type '<c...
2018-08-25 15:23:44
2001
4
原创 概率论中密度函数变换
这个马氏链蒙特卡洛方法，我这实在是感觉太难了，脑阔疼。不过终于找到一本书详细介绍这个方法《模式识别与机器学习》马春鹏 这个版本的，讲得很详细。就是看不懂。只能一点点慢慢看。在看的过程中，有许多概率论的知识忘记了。所以就重新回顾了一下这个密度函数变换的知识。其中h(y)是y=g(x)的反函数 这是比较正统的密度函数转换公式，当然这个前提条件是g(·)必须是严格单调函数。所以说适用范围...
2018-08-21 16:19:06
41965
3
核密度估计简略教案
2018-11-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人