- 博客(104)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 socket使用(recv踩坑)
的话，filesize=4096会便利4096次，而你每次接受4096字节的话，其实接受一次就可以了，所以第一次recv接收到数据之后，还会接着循环进入recv的方法，所以卡住了，那么这里其实控制接受的次数就可以了。上网查找这个recv方法是阻塞的，如果收不到数据就会一直卡在那里等待接收，进入不了后面的程序，也就处理不了接收到的图片，client也会一直监听等待回复。这样在发完之后client主动关闭了发送端口，server也不会再等待接受了，直接就进入了处理图片后面的程序。server端卡在了。
2023-04-04 11:05:14
2280
1
原创 tensorflow 1.X版本 与2.X版本的区别 sparse_categorical_crossentropy损失函数踩雷
卷积神经网络2.X版本的tensorflow是有Input层的# Create the Student Modelstudent = keras.Sequential( [ keras.Input(shape=(28,28,1)), layers.Conv2D(16,(3,3),strides = (2,2),padding = "same"), layers.LeakyReLU(alpha=0.2),
2022-03-02 16:06:31
1131
原创 seq2seq 实现从tensorflow到pytorch的转写
在练习tensorflow转写成pytorch对之前的一段tensorflow的seq2seq代码实现pytorch的转换任务是这样的：要将中文日期翻译成英文日期格式，并且输入的时候不知道是1980年还是2080年，需要模型自行判断已经有了tensorflow的代码完整tensorflow代码# -*- coding: utf-8 -*-"""Created on Fri May 21 10:25:14 2021@author: zhongxi"""import tensorflo
2021-08-31 11:54:43
330
原创 from . import h5 as _h5 File “h5py\h5.pyx“, line 41, in init h5py.h5 AttributeError: type object ‘h5
报错from . import h5 as _h5 File “h5py\h5.pyx”, line 41, in init h5py.h5 AttributeError: type object ‘h5py.h5.H5PYConfig’ has no attribute ‘reduce_cython’H5py找不到 h5.pyx文件解决：直接去pypi网站重新下载一个whl文件重新pip一下解决了！...
2021-08-26 15:33:05
1929
原创 pytorch+LSTM分类MINIST数据集
import torchimport torch.nn as nnimport torchvision.transforms as transformsimport torchvision.datasets as dsetsfrom torch.autograd import Variablefrom torch.nn import Parameterfrom torch import Tensorimport torch.nn.functional as Fimport mathcu
2021-08-26 10:52:56
1156
原创 Anaconda下环境移植
Anaconda下环境移植换新电脑的时候要重新配运行环境，下载各种包，还有特定的版本限制和网速限制，着实烦躁，一种最简单的环境移植方法：直接将原来环境下的所需要的那个环境压缩起来用U盘拷贝到新电脑上在新电脑的envs文件夹（也就是专门放虚拟环境的位置）解压再去看navigator里面，已经有这个环境了可以在prompt里面查看一下是不是有以前的那些包包都在，完事网上那种clone的方法也可以，conda create --name pytorch --clone D:\anacond
2021-08-17 10:50:00
344
原创 NLP----句向量
句向量的产生我们需要找到一种方法，将离散的词向量，加工成句向量。有一种简单粗暴的方法，直接将所有词向量相加。不过我们依旧是在词向量的空间上理解句子，如果句子和词语是有本质区别的事物，那么他们所属的空间应该也不同。直接使用加法，没有办法创造出一个全新的空间。...
2021-05-17 17:00:40
985
原创 HMM所解决的三个方面问题
1.介绍隐马尔可夫比马尔可夫多一个隐状态，隐状态可以已知也可以未知，未知隐状态可以通过观测序列获得最可能的隐状态。隐马尔可夫的两个假设：1.对于状态来说（隐状态）当前状态只与前一时刻状态有关2.当前时刻的观测值只与当前状态（隐状态）有关隐马尔可夫可以解决的三个方面的问题：1.求概率问题，已知模型参数（A，B, π）和观测序列O，可以计算当前模型下的观测序列概率。即在已知模型的基础下，出现这样的观测序列可能性有多大。2.训练学习问题，学习HMM模型，已知观测序列O，计算使该观测序列出现最大可
2021-05-12 17:00:38
1458
原创 SVN的使用
SVN分为服务端和客户端程序员一般用客户端进行代码的维护和管理公司会给你一个URL，用你的账号密码可以进去查看该部门下的所有代码我们要做的是安装一个TortoiseSVN（360软件管家就可以下载）选择安装位置开始安装查看是否安装成功安装成功了将服务器已有代码检出到本地使用在你喜欢的位置新建一个空文件夹打开文件夹，在文件夹内部右键SVN checkout检出填入公司给你的服务器地址，弹出的窗口里输入用户名和密码，就可以进去了！如何往服务器中导入项目在要上传的地方右键
2021-05-07 15:46:52
662
原创 NLP----词向量的训练方法CBOW、Skip-Gram
1.搜索引擎的原理网页变成索引，存到搜索引擎的数据库里，等待被搜索多模态搜索： 用文字搜索视频，用图片搜索视频，用图片搜索文字，等等将图片，视频转化为数字，与其他转化为数字的视频，文字，视频进行匹配BigData --> 批量召回 --> 粗排 --> 精排层层筛选过滤，使用时间消耗较少的方法将深度学习放在最后精排，使其时间消耗更短TF-IDF： TF词频（Term Frequency） IDF逆文本频率指数（Inverse Document Frequency）词频，就是
2021-04-28 11:52:17
1705
1
原创 爬取百度风云热搜榜
每次打开百度都有一个百度热搜榜，想爬取每天的百度热搜怎么弄呢1.引包from lxml import etreeimport requests2.伪装服务器，获取网页信息# 先爬取源码数据 url = 'https://www.baidu.com/' headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Ch.
2021-04-26 10:24:23
1305
1
原创 python操作数据库mysql
1.打开数据库，建立与数据库的连接# 打开数据库连接db = pymysql.connect(host = 'localhost',user = 'root',password = '123456',db = 'markov_project')2.建立游标对象# 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()3.创建表sql语句里面就正常写mysqlsql = "CREATE TABLE IF NOT EXISTS `markov_ma
2021-04-13 14:36:39
109
转载 mysql安装以及mysql workbench安装
mysql以及mysql workbench安装运行show databases；的时候报错：You must reset your password using ALTER USER statement before executing this statement提醒你修改默认密码了解决方法
2021-04-12 11:33:40
338
原创 爬虫Day3 数据解析bs4，xpath
数据解析1 聚焦爬虫爬取页面中指定内容数据2 数据解析1.正则表达式2.bs43.xpath（重点）3 数据解析的原理解析的数据内容都会在标签之间或者标签对应的属性之间进行存储，那如果定位到指定的标签，再对标签或者标签的属性进行提取（解析）4 流程1.指定url2.UA伪装3.获得响应数据4.数据解析5.持久化存储5 实战：爬取图片数据在糗事百科上照一张图，获取地址urlimport requestsimport osif __name__ == "__main__"
2021-03-01 15:38:13
261
1
原创 爬虫Day2 获得AJAX包响应
1 requests模块python中原生的一款基于网络请求的模块，功能强大，简单便捷，效率极高作用：模拟浏览器发送请求使用：（requests模块的使用流程）指定url 网址发起请求获取响应数据持久化存储响应数据首先要pip install requests2 实战：爬取搜狗首页的页面数据import requestsif __name__ == "__main__": # step1: 指定url url = "https://www.sogou.com/"
2021-02-24 11:57:33
656
原创 爬虫Day1
1 爬虫的分类1.通用爬虫抓取系统重要的组成部分，抓取一整张页面的数据2.聚焦爬虫独立在通用爬虫基础上。抓取的是页面中特定的局部内容3.增量式爬虫检测网站中数据更新的情况。指挥抓取网站最新更新出来的数据2 robots.txt 协议君子协议，列举哪些不能爬取的协议如访问百度的robots协议：https://www.baidu.com/robots.txt3 http协议和https协议常用请求头信息1.User-Agent：请求载体的身份标识可以从Networks里面的标头查
2021-02-22 14:45:38
90
原创 如何用Jupyter notebook访问其他盘
win + R cmd打开黑窗将目录先切换到目标盘，如：再切换到目标文件夹在里面jupyter notebook打开的就是该文件下的jupyter
2021-02-20 16:24:38
1051
原创 装饰器
1.if __name__ == '__main__':如果直接在窗口中print(__name__)打印出来的是说明默认情况下，认为运行的文件是__main__2.函数的名字def num1(): print("aaa")if __name__ == '__main__': print(num1.__name__)说明num1.__name__可以提取出运行的函数的名字3.想记录函数运行时间一般用解释时间减去开始时间就可以得到函数运行时间import time
2021-01-16 11:37:32
105
转载 pytorch Resnet模型
https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/blob/master/pytorch_classification/Test5_resnet/model.py
2020-08-10 17:26:18
139
原创 pytorch实现图像分类，gpu提速
pytorch图像分类1 数据集数据集：CIFAR-10DOWNLOAD = True #设置成True本来是自动下载数据集的，但是下载失败，所以手动从网上下载数据集，然后将其改成Falsetrain_data = torchvision.datasets.CIFAR10( root = r'D:\python\CIFAR-10', #存储路径 train = True, transform = torchvision.transforms.ToTe
2020-08-05 23:10:07
1598
4
转载 pytorch dropout解决过拟合
训练时误差降得很低了，但是测试的时候，误差很高，说明过拟合了。这里用dropout来处理过拟合。只要在神经网络中加入dropout层就可以了。首先来做一些数据import torchimport matplotlib.pyplot as plttorch.manual_seed(1) # reproducibleN_SAMPLES = 20 #定义20个数据点N_HIDDEN = 300# training datax = torch.unsqueeze(torch.linspa
2020-07-21 17:27:43
911
原创 pytorch gpu加速
先回到之前用的CNN网络进行手写数字识别的实验：import torchimport torch.nn as nnfrom torch.autograd import Variableimport torch.utils.data as Dataimport torchvision #包括了一些数据库，图片的数据库也包含了import matplotlib.pyplot as plt#定义超参数EPOCH = 1BATCH_SIZE = 50LR= 0.001DOWNLOAD_MN
2020-07-19 11:40:21
774
转载 pytorch实现DQN
DQN（Deep Q Network）DQN可以使计算机玩游戏比人类厉害，Q-learning和Deep-learning的融合当游戏的状态和动作多种多样，多到天文数字的时候，如果用表格来存储的话，显然不切实际，如果用到神经网络就是给出一个状态和动作，通过神经网络，得到这个状态和动作下的value；也可以经过一个状态，通过神经网络，得到不止一个对应的values + op —> value1s —> value1,value2,value3…DQN在原来的Q网络的基础上
2020-07-15 22:42:48
6417
5
原创 pytorch实现自编码
自编码网络是非监督学习领域的一种，可以自动从无标注的数据中学习特征，是一种以重构输入信息为目标的神经网络，它可以给出比原始数据更好的特征描述，具有较强的特征学习能力，在深度学习中常用自编码网络生成的特征来取代原始数据，已取得更好效果。换句话说，自编码网络的作用相当于PCA并且能获得比PCA更好的效果这里我们把手写数据集里面的图片特征先压缩，根据压缩出来的特征，对数据进行分类，即无监督学习（无监督学习：不需要标签，只需要用到train_x，不需要用到train_y）import torch.nn as
2020-07-14 21:59:53
1054
原创 pytorch实现RNN
RNN实现分类问题import torchimport torch.nn as nnfrom torch.autograd import Variableimport torchvision.datasets as dsets #包括了一些数据库，图片的数据库也包含了import torchvision.transforms as transformsimport matplotlib.pyplot as plt#超参数EPOCH = 1BATCH_SIZE = 64TIME_STEP
2020-07-07 22:08:49
2785
6
原创 pytorch实现CNN网络
import torchimport torch.nn as nnfrom torch.autograd import Variableimport torch.utils.data as Dataimport torchvision #包括了一些数据库，图片的数据库也包含了import matplotlib.pyplot as plt#定义超参数EPOCH = 1BATCH_SIZE = 50LR= 0.001DOWNLOAD_MNIST = Truetrain_data =
2020-07-06 17:21:24
5219
1
原创 pytorch优化器
优化器optimizer加速神经网络的训练SGD方法（Stochestic Gradient Descent）（随机梯度下降）每次使用批量数据训练，虽然不能反映整体情况，但是加速了训练速度，也不会丢失很多的准确度。其他方法参考：Optimizerimport numpy as npimport torchimport torch.utils.data as Dataimport torch.nn.functional as Fimport matplotlib.pyplot as pltfr
2020-06-26 15:47:28
180
原创 pytorch批训练
由于数据量太大，经常会把整个数据拆成一小批一小批来训练，可以提高训练效率。Torch提供了一种整理数据的方法：DataLoader，用它来包装数据，进行批训练构建数据import numpy as npimport torchimport torch.utils.data as DataBATCH_SIZE = 5x = torch.linspace(1,10,10) #x是1-10y = torch.linspace(10,1,10) #y是10-1print(x)print(y)
2020-06-24 16:27:46
720
原创 解决windows10网络适配器出现问题
事情是这样的：用的好好的忽然搜索不了无线局域网了在控制面板里的“网络和Internet”里找不到无线适配器，只有一个蓝牙的适配器：右键我的电脑，管理，打开设备管理器，发现无线驱动适配器有个感叹号：双击查看情况：就可能是长期没有更新，系统自己禁用了这个适配器有一种方法是直接卸载掉当前的适配器，然后在操作里面点击“扫描检测硬件改动”，系统会自动安装一个合适的适配器这里歪打正着，不忍心卸载，直接点了一下禁用设备，然后重新启用了一下：惊喜的发现适配器上的感叹号不见了，无线网可以搜索局域网了
2020-06-22 23:43:58
11547
9
原创 pytorch保存和提取神经网络的状态
神经网络的保存和提取如果想要保存训练到当前状态的神经网络，为了第二天继续训练或者是提取，可以现将当前的状态保存下来保存可以保存整个神经网络，也可以保存参数提取，可以直接提取整个神经网络，也可以提取参数，构造一个一模一样的神经网络，直接把参数用于里面import numpy as npimport torchimport torch.nn.functional as Ffrom torch.autograd import Variableimport matplotlib.pyplot as
2020-06-14 11:02:46
358
原创 pytorch 快速搭建神经网络
pytorch 快速搭建神经网络之前所用的搭建神经网络的方法是：Method 1###开始定义神经网络class Net(torch.nn.Module): #从Module模块继承 #定义阶段 def __init__(self,n_feature,n_hidden,n_output): super(Net,self).__init__() #继承Net到模块 self.hidden = torch.nn.Linear(n_feature,n_hid
2020-06-10 16:57:34
186
原创 pytorch 回归和分类
1 pytorch和numpy的对比import torchimport numpy as npnp_data = np.arange(6).reshape((2,3))torch_data = torch.from_numpy(np_data)print( 'numpy\n',np_data, '\ntorch\n',torch_data )...
2020-06-09 12:16:35
592
原创 ubuntu wine装wechat,baiduyun，sougou拼音
首先换源，下载默认使用国外的服务器就很慢参考：https://blog.csdn.net/zhangmeimei_pku/article/details/79597951 重新开机开始装wechat，下载安装包参考：https://blog.csdn.net/deeposcar/article/details/80710843...
2020-05-09 02:03:58
530
原创 图形结构DFS，BFS（数据结构）
1 概念无向图，有向图的表示1 邻接矩阵法无向图的打印：arr=[[0]*6 for row in range(6)] #声明矩阵arr#图各边的起点值和终点值data=[[1,2],[2,1],[1,5],[5,1], \ [2,3],[3,2],[2,4],[4,2], \ [3,4],[4,3]]for i in range(10): #读取图...
2020-03-21 17:47:22
201
原创 局域网内远程桌面连接
1 被连接电脑打开允许被连接计算机右键—>属性—>远程设置—>远程2 获取被连接计算机的信息计算机名此电脑—>属性用户名开始菜单—>更改账户设置3 开始连接windows + R 或者直接在搜索中输入mstsc，回车输入被连接的计算机名，用户名，用户密码（同一局域网下）确定...
2019-11-15 16:37:19
1799
基于遗传算法的路径规划matlab代码
2020-02-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人