llh_1178-CSDN博客

原创 Mac M1安装scrapy和undetected-chromedriver踩过的坑

文章目录本机环境一、安装Scrapy二、安装undetected-chromedriver总结本机环境我的本地环境是：系统：MacBook Pro（M1）anaconda：miniforge3python：3.9注：网上很多人建议把将python版本升级为3.10.4，然后重新安装scrapy，但是，我找到的方法是不需要升级python等繁琐操作的。提示：以下是本篇文章正文内容，下面案例可供参考一、安装Scrapy直接使用pip安装Scrapy：pip install -i http

2022-05-08 22:57:51 4254 2

原创 MAC系统使用flask_sqlalchemy连接mysql数据库报错（Library not loaded: @rpath/libmysqlclient.21.dylib）

使用flask_sqlalchemy连接mysql数据库时，报了很长一串错误，通过百度和自己倒腾，终于解决了这个问题。首先，来看看代码：# import pymysqlfrom flask import Flaskfrom flask_sqlalchemy import SQLAlchemy# pymysql.version_info = (1, 4, 13, "final", 0)# pymysql.install_as_MySQLdb()app = Flask(__name__)app

2021-04-21 11:13:58 1427 2

原创 RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment

RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available devices to be zero.重启了无数次，无法解决。最后的解决办法是：重新安装相同版本的显卡驱动，这样的话CUDA和CUDNN都不用重新安

2021-04-13 09:13:09 8051 11

原创使用YOLOv5实现多路摄像头实时目标检测

YOLOV5模型从发布到现在都是炙手可热的目标检测模型，被广泛运用于各大场景之中。因此，我们不光要知道如何进行yolov5模型的训练，而且还要知道怎么进行部署应用。在本篇博客中，我将利用yolov5模型简单的实现从摄像头端到web端的部署应用demo，为读者提供一些部署思路。YOLOV5的强大之处多路摄像头读取在此篇博客中，采用了yolov5源码的datasets.py代码中的LoadStreams类进行多路摄像头视频流的读取。因为，我们只会用到datasets.py中视频流读取的部分代码，所以，将其

2021-03-22 15:36:11 39865 112

原创使用yolov5时出现“assertionerror:no labels found in //*/JPEGImages.cache can not train without labels”问题

目前，众所周知yoloV5模型以速度见长，而对比yolo之前几个系列的精度是如何表现的呢？YOLOv5在小任务上的精度与YOLOv4大致相同（在BCCD数据集上yolov4为0.895 mAP；yolov5为0.892 mAP），而在较大的任务（如COCO）上，YOLOv4的性能更高。因此，在没有那么高的精度追求时，yolov5非常适合被选择部署在边缘设备上。网上也有很多资源、博客说明怎样使用yolov5进行自制数据集的训练和推理，本人也是参考网上教程进行yolov5模型训练，但是，却遇上了一个很容易被

2021-03-08 14:53:11 31250 47

原创使用opencv-python 4.4.0.40调用YOLOv4模型

终于等到python版本的opencv4.4版本了，不用麻烦的编译opencv4.4，就可以调用yolov4模型了。在opencv4.4出来之前，通过编译darknet来推理yolov4训练出来的模型，精度还行，但是速度太慢（cpu），只能在GPU下加速才能有不错的FPS值。话不多说，我们来对比一下使用darknet原生推理速度和使用opencv-python 4.4.0.40加速之后的速度。...

2020-08-13 17:11:39 8697 18

原创踩过Mac Xcode配置opencv4.0.0的坑

今天，在安装opencv，并在Xcode中配置opencv4时，遇到了很多坑，但是最终还是在不懈的百度中，解决了问题。在此，将解决这些问题的方法进行总结，分享给大家。第一个问题首先，安装opencv和在Xcode中配置opencv，大家可以参考以下资料：https://www.jianshu.com/p/564c8b352c7fhttps://blog.csdn.net/weixin_36634831/article/details/90382605都讲得很清楚了，但是，如果出现opencv仍然导

2020-05-09 17:34:10 1258 3

原创使用selenium爬取百度图片

在做机器学习、深度学习模型训练时，最重要的事情之一就是寻找足量的数据，但是，往往我们手边都没有现成的数据，需要在网上寻找下载，这个时候就可能会用到爬虫。随着网页升级、反爬机制，使得爬虫也要不断变化。因此，目前对百度图片的爬取也不如之前那么简单了，需要增加自动下拉条的能力，不然，只能爬取20张。话不多说，直接上代码吧！import osimport reimport timeimport j...

2020-03-06 11:56:16 1931

原创成功解决Error: No module named 'keras_retinanet.utils.compute_overlap'

在调用retinanet-train的时候，出现如下问题：这是因为在安装setup.py文件的时候，需要对导入的compute_overlap文件的进行转换，因为，它的格式是以.pyx结尾。所以，要进行如下操作：python setup.py build_ext --inplace...

2020-02-24 11:10:13 2196

原创在CentOS下安装dlib库

dlib库可以直接用来检测人脸，为后续的人脸识别等其他模型的构建提供了方便。但是，在安装dlib库时，会遇上很多问题，特别时用pip安装时，因为没有安装cmake和boost等工具就会出错。首先，安装gcc和gcc-c++yum install gcc gcc-c++然后，再安装cmake，boost编译dlibyum install cmake boost最后，安装依赖python...

2019-08-12 15:46:23 4022

原创 Centos ping本地能成功 ping外网出现Name or service not known

出现这种情况，不是因为本地服务器没网，而是网络配置出现了错误，主要是DNS的配置出现了错误。通过百度不难发现有很多解决的方法：vi /etc/sysconfig/network-scripts/ifcfg-ens33 将内容替换如下：TYPE=”Ethernet”BOOTPROTO=”static” #静态连接NAME=”ens33”UUID=”1f093d71-07de-4ca5-a...

2019-08-06 15:33:52 1345

原创 opencv打开摄像头报错：error: (-215:Assertion failed) size.width＞0 && size.height＞0 in function ‘imshow‘

使用opencv打开摄像头时，出现了：error: (-215:Assertion failed) size.width>0 && size.height>0 in function 'imshow’错误。源码：import cv2capture = cv2.VideoCapture(0)while True: res, frame = captur...

2019-07-15 16:09:29 12643 15

原创总结在CentOS7上搭建CUDA10+cudnn7的Tensorflow-gpu环境的经验

经过三天的反反复复安装cuda和cudnn搭建tensorflow-gpu1.13.1环境之后，得到了一些经验，想在这里与大家分享一下：第一、选择安装驱动的时候一定要符合自己机型的显卡型号，可以安装NVIDIA驱动检测软件对自己的机型显卡进行检测。1.安装NVIDIA驱动检测sudo yum install nvidia-detect2.查看显卡驱动型号nvidia-detect ...

2019-06-06 15:42:24 4449

原创深度学习手记（十）之TensorFlow中求loss的三种函数对比

在搭建神经网络模型时，都会计算模型的loss，再进行反向传播优化参数。而在TensorFlow中计算loss的函数有很多，其中使用比较多的是:tf.losses.sparse_softmax_cross_entropy()tf.nn.sparse_softmax_cross_entropy_with_logits()tf.nn.softmax_cross_entropy_with_lo...

2019-04-17 21:39:51 1879

翻译在TEB数据集上搭建翻译模型——Seq2Seq

import tensorflow as tf# 语言预处理流程（数据里面的单词已经全部转化为单词编号）# 使用Dataset从一个文件中读取一个语言的数据。# 数据的格式为每行一句话，单词已经转化为单词编号。class PrepDataset(object): def __init__(self, src_path, trg_path, batch_size, max_len,...

2019-04-17 09:13:44 1006 1

转载深度学习手记（九）之Inception-v3实现迁移学习

在训练神经网络模型时，往往需要很多的标注数据以支持模型的准确性。但是，在真实的应用中，很难收集到如此多的标注数据，即使可以收集到，也需要花费大量的人力物力。而且即使有海量的数据用于训练，也需要很多的时间。因此为了解决标注数据和训练时间的问题，可以考虑使用迁移学习。所谓的迁移学习，就是将一个问题上训练好的模型通过简单的调整使其适用于一个新的问题，即只改变训练好的模型最后一层全连接层，而保留...

2019-04-05 10:56:04 2370 3

转载深度学习手记（八）之PTB实现LSTM模型

PTB（Penn Treebank Dataset）文本数据集是语言模型学习中目前最广泛使用的数据集。下面将使用它构建一个长短期记忆网络（LSTM）。本文中只讲相应的代码实现，而关于LSTM的理论可以阅读这篇文章——Understanding LSTM Networks。下面是本次构建LSTM的示意图，从图中可知，输入的词向量维度为（20，35，650），这分别代表的是批次数（batch...

2019-03-26 20:40:33 2192 1

转载深度学习手记（七）之MNIST实现CNN模型

手写字体识别是一个很好练习CNN框架搭建的数据集。下面简单讲述一下整个模型构建的思路：整个模型通过两次卷积、两次亚采样以及两次全连接层，整个结构比较简单，也易理解。其中，两次卷积层的大小都为5x5，过滤器分别为32和64个，为了不改变图片的大小，设置padding参数为“same”，步长为1，激活函数为Relu；两次亚采样层（Pool）的大小都为2x2，步长设为2，以至于图片尺寸缩小一倍...

2019-03-26 12:17:31 2975 1

原创 Scala调用Spark工具包出现错误: 找不到或无法加载主类

使用eclipse编辑器搭建spark框架的时候，可能会遇上“找不到或无法加载主类”的问题。搜索出现此类情况的错误，不难发现网上很多信息指出这是因为混合了java 和scala，造成了不编译。但是，如果有使用他们的解决方法，还是失效的小伙伴们，那么可以试试我的方法。注：Scala版本为2.11.8；Java版本为1.8；Spark版本为spark-1.6.2-bin-hadoop2.6；系统是W...

2019-03-22 18:15:07 9961 3

原创用Java编写一个猜数字小游戏

这个猜数字，需要使用到从外部传入参数的方法Scanner。下面，我们直接上代码看看效果：import java.util.Scanner;public class GuessNumber { public static void main(String[] args) { // 猜字小游戏 int number = (int)(Math.random() * 10 + 1); /...

2019-01-11 09:32:23 12094 2

原创解决在Ubuntu下Java能使用，而Javac不能使用问题以及apt安装软件总是出现Unable to locate package XXX

在Ubuntu系统下安装Java，可能会遇上Java能使用，而Javac却不能使用。也就是说不能编译java格式的文件成字节码格式文件。遇上这种问题主要可能有两种问题：第一种，在添加环境变量时，应该注意PATH=${JAVA_HOME}/bin:$PATH等号两边不要有空格键。第二种，已经正确的添加了环境变量，但是，没有使新添的环境变量生效。使用下面命令对环境变量生效。source /etc...

2019-01-02 10:09:47 2434

原创数组相关问题小总结——Python

在这里想要总结一下，数组相关问题，比如：两个数之和、三个数之和、三个数之和最相近的数、全部子序列、组合排列问题。。。这些问题看似是一个个单独的问题，但是，却可以在很多场景下反复用到。所以，觉得很有必要将它们进行总结，以便在以后的工作中使用。话不多说，下面就开始做。列表中多个数之和def findnSum(nums, target, N): # 使用递归的方式实现 def ...

2018-10-18 09:03:43 219

原创 DFS遍历以及反转二叉树Python实现

如果一个二叉树，我们要按照深度优先方式遍历它，需要做三件事情：遍历左子树、遍历右子树和访问根节点。下面使用L、R、D表示这三项工作。选择这三项工作的不同顺序，就可以得到三种常见遍历顺序：1. 先根序遍历（按照DLR顺序）2. 中根序遍历（按照LDR顺序）3. 后根序遍历（按照LRD顺序）二叉树的list实现二叉树是递归结构，Python的list也是递归结构。基于list类型很容易实...

2018-10-09 15:33:43 1708

原创使用TensorFlow Slim微调模型出错

在学习《21个项目玩转深度学习》这本书时，第三章使用TensorFlow Slim微调模型遇上了一个问题。运行：python train_image_classifier.py \ --train_dir=satellite/train_dir \ --dataset_name=satellite \ --dataset_split_name=train \ --dat...

2018-08-31 19:02:46 938 2

原创 R数据分析实战——奥运会120年历史

R语言在数理统计、数据分析以及数据可视化也是一把利器，但是，不管是使用它的人还是了解的人多不如Python多。然而，其实R语言也是一门优雅的语言，也可以很好的处理数据，并且充分进行可视化。下面，我们使用最近Kaggle上的一个数据集——奥运会120年历史，具体进行数据分析。导入数据和R包这里直接使用tidyverse包，这个包包含了几乎所有R处理数据的包，所以不用像Python一样导入很...

2018-08-24 15:41:57 4784 2

原创 python3安装OpenCV3出现：ImportError: numpy.core.multiarray failed to import

OpenCV之前只支持python2版本，不支持python3版本，在现在python3也可以安装OpenCV包了，而且也没有之前使用python2安装OpenCV那么麻烦了。但是，还是需要手动去下载包在安装，如果直接使用pip install opencv-python是会出错的。所以，可以下面的网址下载对应版本及平台的 .whl 包，再手动安装。 https://www.lfd.uci....

2018-08-14 20:19:53 22382 2

原创深入浅出聚类算法之k-means算法

k-means是一个十分简单的聚类算法，它的思路非常简明清晰，所以经常拿来当做教学。下面就来讲述一下这个模型的细节操作。内容模型原理模型收敛过程模型聚类个数模型局限1. 模型原理将某一些数据分为不同的类别，在相同的类别中数据之间的距离应该都很近，也就是说离得越近的数据应该越相似，再进一步说明，数据之间的相似度与它们之间的欧式距离成反比。这就是k-means模型的假设。 ...

2018-08-13 18:14:06 50375 13

原创几种无监督学习示例

无监督学习模型是识别无标签数据结构的模型。这里简单介绍几种的无监督学习算法。分别是主成分分析（PCA）、高斯混合模型、流形学习算法（Isomap）。主成分分析（PCA）这里使用鸢尾花数据集进行演示，将它降维到两个维度，然后再可视化。其实，降维的任务是要找到一个可以保留数据本质特征的低维矩阵来描述高维数据。降维通常用于辅助数据可视化工作的。from sklearn.decomposi...

2018-07-19 15:02:25 40109

原创作ROC曲线时遇上的问题

使用ROC曲线评估分类模型是非常通用的手段，但是，使用它的时候要注意两点： 1、分类的类型。必须为数值型。 2、只针对二分类问题。 ROC曲线是根据一系列不同的二分类方式（分界值或决定阈），以真阳性率（灵敏度）为纵坐标，假阳性率（1-特异度）为横坐标绘制的曲线。传统的诊断试验评价方法有一个共同的特点，必须将试验结果分为两类，再进行统计分析。下面有个例子：import nump...

2018-07-12 15:21:58 30606 6

原创服务器配置FTP及问题解决

最近需要搭建一个FTP服务器，接受别人的数据传输。咋眼一看搭建FTP服务器很简单，使用vsftpd软件确实也很简单，看网上的教程，可以搭建，但是，这也会出现问题，搭建的FTP没有办法被访问，又不知道是哪里出了错。这是很尴尬的！我是使用的阿里云服务器，按照这篇文章教程搭建的： https://help.aliyun.com/document_detail/51998.html?spm=5176...

2018-06-21 15:53:07 4582

原创解析逻辑回归模型

介绍逻辑回归模型是业界运用最为广泛的模型，我们从下面几个方面讨论这个模型： 1. 在模型层面上，逻辑回归模型是被用来解决分类问题的。由于分类是一个非线性问题，所以建模的主要难点是如何将非线性问题转化为线性问题。主要从两方面入手： - 从分解问题的角度入手：通过引入隐含变量（这里举一个例子，来解释什么是隐含变量：当人们在购买衣服的时候，能被其他人观察到的只有购买与否这个行为，而忽略了在这...

2018-06-18 11:33:24 4556

原创爬取百度学术文章及文本挖掘分析

学了一段时间的爬虫，给自己找一个小项目来练练手，爬取百度百科文章，之后结合自然语言处理分析文本之间的相似度和提取所有文章的重要信息。目标总览爬取数据清洗数据词云展示文章相似度分析第一部分、爬取百度学术文章首先，我们打开百度学术首页：http://xueshu.baidu.com/ 可以看到我们需要填入关键词，才能进行搜索我们需要的类型文章，在此我以“牛肉品质”为例，...

2018-06-05 11:26:47 14746 44

原创对solid平台所测数据进行转化

solid平台测序在目前已经不常见了，但是，很不幸的是我第一次下载Reads就遇上了。所以，在网上搜集了很多资料，在此整理了一下。首先，solid测序结果他是color space 编码，不是普通的ATCG四个碱基编码，所以在格式上就不相同。它是四行为一条read，从@行开始到!行结束，第一行代表编号，第二行代表序列，第三行代表附加信息，第四行代表质量报告。其次，color spa...

2018-05-17 10:06:47 1158 1

原创深度学习手记（六）之实现稀疏自编码算法（SAE）的优化过程

简单介绍自编码算法（SAE）首先，自编码算法是一种无监督算法，可以自动从无标注数据中学习特征，可以给出比原始数据更好的特征描述。当然，这是利用了自编码的一种属性：稀疏性，因为具有稀疏性，完成了特征的自动选择而不是采用随机的方式，这种方式明显要靠谱一些。就跟主成分分析方法（PCA）类似，自动完成了降维的过程。自编码器要求输出尽可能等于输入，从公式也可以看出来。并且它的隐藏层必须满足一定...

2018-05-11 10:04:23 10767 4

原创 module 'pandas.core.computation' has no attribute 'expressions'解决办法

出现此等“module ‘pandas.core.computation’ has no attribute xxxx”问题，都是pandas和dask两个包的版本不相配造成的。所以，要注意dask和pandas的版本。查看自己的dask和pandas包的版本，如果，是这样的话那就得进行下面操作。 pandas 0.21 dask 0.15.3这两个包版本不匹配，要么，将pandas包...

2018-05-09 15:33:17 5475

原创特征工程与建模分析

奥斯汀动物中心是美国最大的无杀伤动物收容所，每年为18,000多只动物提供护理和庇护，并参与一系列县，市和全州保护和照护废弃物的举措，处于危险中，并放弃了动物。作为奥斯汀市开放数据计划的一部分，奥斯汀动物中心提供其收集的数据集，其中包含进入奥斯汀动物服务系统的动物的统计数据和结果。 Austin Animal Center Shelter Outcomes（奥斯汀动物中心避难所成果）数据集可以在...

2018-05-02 17:02:47 1422

原创深度学习手记（五）之LeNet-5预测模型

直接进入主题，大名鼎鼎的LeNet诞生于1994年，是最早的深层卷积神经网络之一，并且推动了深度学习的发展。LeNet模型是由Yann LeCun所完成的，他一直认为直接将每个像素作为多层神经网络的输入是不能利用图像本身所含有的空间相关性，效率大打折扣。LeNet5当时的特征有如下几点：每一个卷积层包含三个部分：卷积、降采样和非线性激活函数使用卷积提取空间特征降采样的最大池化层双曲...

2018-04-18 10:31:56 1676

原创关于python中ggplot包出现 'DataFrame' object has no attribute 'sort'问题的解决方法

最近发现python中也有ggplot包与R语言上的ggplot2库中的函数大体上一样，只有少数没有在python上实现，类似于coord_flip() 函数可以将柱状图变为水平放置的，在python中就没有办法实现。但是，大多数是可以使用的，这也大大方便了数据处理后的可视化操作。在使用中还发现了一个问题，就是这样的：ggplot(aes(x='factor(cyl)', fill='...

2018-04-08 16:28:15 21233 1

原创浅谈朴素贝叶斯算法原理

朴素贝叶斯毫无疑问是对贝叶斯统计方法的朴素解释为基础。尽管存在朴素的一面，但是，这种方法应用的很广泛且都取得了不错的效果。特征类型和形式多种多样的数据集也是用这种方法进行分类。贝叶斯定理朴素贝叶斯算法算法应用示例贝叶斯定理首先，要明白贝叶斯统计方式与统计学中的频率概念是不同，从频率的角度出发，即假定数据遵循某种分布，我们的目标是确定该分布的几个参数，在某个固定的环境一下做模...

2018-04-08 15:34:32 11692

原创深度学习手记（五）之优化方法

梯度下降和反向传播算法是神经网络模型的主要优化算法。梯度下降算法主要用于优化单个参数的取值而反向传播算法给出了一个高效的方式在所有参数上使用梯度下降算法，从而使神经网络的损失函数尽可能的小。在这里就不具体对梯度下降算法仔细讲解了（网上资源很多），主要对深度学习神经网络优化过程做一个介绍。对于梯度下降算法，我们不得不说到梯度和学习率的设置，参数的梯度可以通过求偏导的方式计算得到，有了梯度还需要定...

2018-04-01 15:14:48 633