- 博客(62)
- 收藏
- 关注
RSS订阅原创 为什么深度学习模型的预测结果为数据集均值--pytorch loss里input和target的维度必须相同
因此需要把pred的1那维给去掉，用squeeze或者reshape都行。如图，上边的为真值，下边的为预测值，可见预测值都是在30左右。一直debug不出来。后来发现是loss处写错了。
2023-11-07 10:38:46
510
1
原创 Trying to backward through the graph a second time, but the saved intermediate results have already
retain_graph=True
2023-08-30 18:15:54
432
原创 Trying to backward through the graph a second time, but the saved intermediate results have already
因为在forward函数里面，遗忘门ft、输入门it以及输出门gt等都是根据ht-1（也就是self.h）计算而来。而再最后模型会根据ft、it、gt等更新ht，并return ht。这可能引起计算题混乱。我最后的解决方法是在forward里面指定：h=self.h.detach()然后用h而不是self.h去计算ft、it、gt。可知原因主要出现在了计算图中inplace错误。此外注意，在等式左右尽量不要用相同的变量名。在用pytorch手写实现lstm时遇到。一开始是直接在模型里定义的ht。
2023-05-11 17:52:44
602
1
原创 使用folium绘制移动轨迹
m0=folium.Map([df_33['lat_wgs'].mean(),df_33['lon_wgs'].mean()],zoom_start=30)#中心区域的确定。folium.PolyLine(#polyline方法为将坐标用实线形式连接起来。).add_to(m0)#将这条线添加到刚才的区域m内。df_liushuai,#将坐标点连接起来。color='red',#线的颜色为红色。opacity=0.8,#线的透明度。weight=2,#线的大小为4。...
2022-07-20 14:51:19
2445
1
原创 一种快速在excel里转换编码方式为utf-8的方法
之后从弹出的目录中选择你当前文件，双击，出现下图。将左上角“文件原始格式”设为utf-8。
2022-07-19 18:01:00
22480
1
原创 sklearn r2_score使用注意
根据https://scikit-learn.org/stable/modules/generated/sklearn.metrics.r2_score.html1.传入参数时最好指定y_true=..., y_pred=...，否则应注意顺序2.注意形状y_true：array-like of shape (n_samples,) or (n_samples, n_outputs)因此需要将数据reshape，从而第一维=n_samples...
2022-07-11 14:46:20
479
原创 如何在服务器上安装torch geometric
参照Installation — pytorch_geometric 1.6.1 documentation1、确保安装 PyTorch版本：python -c "import torch; print(torch.__version__)"1.6.0+cu1012、查找安装 PyTorch 的 CUDA 版本：python -c "import torch; print(torch.version.cuda)"10.13、安装相关包：pip install torch-scatter==late
2022-07-07 15:05:55
401
原创 pytorch使用时一些变量类型的注意事项
1.报错”default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found <U32“原因：检查dataset的getitem，里面每次获得的数据是否是tensors, numpy arrays, numbers, dicts or lists我的原始数据里大多数是float，但含有少数str，调用np.array后还是str，因此for ... in dataloader时，
2022-05-26 16:47:10
685
原创 transformer的一些注意
首先长这样：1.关于两种mask参考Transformer 中的mask_Caleb_L的博客-CSDN博客_transformer中的mask1）padding mask在encoder和decoder两个模块里都有padding mask，位置是在softmax之前为什么要使用padding mask，是因为由于encoder和decoder两个模块都会有各自相应的输入，但是输入的句子长度是不一样的，计算attention score会出现偏差，为了保证句子的长度一.
2022-05-26 16:03:44
630
原创 opencv.imshow会导致jupyter笔记本崩溃
将cv2.imshow("gradient",gradient)cv2.waitKey(10)cv2.destroyWindow("gradient")换成plt.imshow(gradient)plt.show()
2022-05-21 22:59:37
512
原创 pandas dataframe的一些技巧
1. 按日期排序df211['rq']=pd.to_datetime(df211.rq)df211=df211.sort_values(['rq']).reset_index(drop=True)df = df.sort_values(by='date') 应该也行2.去掉特定值行列df211 = df21.drop(df21[df21['road_name']!='汇新家园'].index).reset_index(drop=True)3.统计列中各种值出现次数df2
2022-04-24 16:42:30
591
原创 xgboost 查看 学习曲线
1.首先升级xgboost的版本我的是1.5.2查看版本代码:import xgboostxgboost.__version__2.其次查看可以使用的metric:https://xgboost.readthedocs.io/en/latest/parameter.html#learning-task-parametershttps://xgboost.readthedocs.io/en/latest/parameter.html#learning-task-parameters
2022-03-29 11:33:09
591
原创 如何查找dataframe中某一列为特定值的行
如何查找Pandas Dataframe中的特定值 - VoidCCtest_2=df11[df11['ztlyqcyly']==0]test_2=df11.iloc[df11['ztlyqcyly']==0]从而将df11中'ztlyqcyly'为0的行取出来。二者效果貌似类似
2022-03-24 11:11:30
4731
原创 字典的key为int时经过序列化、反序列化操作后会变成str
字典的key为int时经过序列化、反序列化操作后会变成str - 江湖乄夜雨 - 博客园
2022-01-31 21:19:30
479
原创 pytorch深度学习任务模板demo
采用 Omniglot 数据 (https://github.com/brendenlake/omniglot) [1][2]。 该数据集包涵 50 种不同字母系统中的共计 1623 种字符。对于这 1623 种字符中的每一种字符， 数据集收集了由 20 个不同人书写该字符的手写图片。用机器学习的术语，该数据集可以看作 一共由 1623*20=32460 个样本组成，样本被均匀分到 1623 类中随机从所有类别中取出 50 类进行分类，每个类别中使用 15 张图片 作为训练数据，5 张图片作为测试数据。
2022-01-02 22:25:59
1136
原创 pytorch RuntimeError: one of the variables needed for gradient computation has been modified by
我的错误是逐元素赋值：dist_mat[i,j]=dist_mat[i,j]+beta*1/(1+exp(alpha*(p_-0.5)))改进：先用一个tmp: dist_mat2=torch.zeros_like(dist_mat)对tmp逐元素：dist_mat[i,j]2=beta*1/(1+exp(alpha*(p_-0.5)))之后整体加上即可：dist_mat=dist_mat+dist_mat2...
2022-01-02 14:26:48
816
原创 python if else for顺序
注意顺序xx=[1,2,3,8,0,23...]x=[k if k>0 else k+1 for k in xx]
2021-12-30 16:30:09
327
原创 scipy.stats.lognorm使用心得
1.定义若logx服从正态分布，则x服从对数正态分布2.参数设置lognorm.rvs(s, loc=0, scale=1, size=1)中的参数s,loc,scale, 要记住：loc和scale并不是我们通常理解的对数变化后数据的均值mu和标准差sigmalognorm.pdf(x, s) = 1 / (s*x*sqrt(2*pi)) * exp(-1/2*(log(x)/s)**2) for x > 0, s > 0.lognormtakes s as a sh.
2021-12-30 10:41:32
3456
原创 python list append extend
当要加入array时extend会将列表按行加入listappend会直接将整个array加入list
2021-12-20 17:37:59
632
原创 pytorch xx.to(device)
可以直接model.to(device)但对于dataloader里面的变量如for i, data in enumerate(trainloader): # get the inputs xt, yt = data #torch.Size([32, 1, 28, 28]) #print(xt.size(),yt.size()) xt=xt.to(device) # yt=yt.t...
2021-12-16 00:49:34
2019
原创 random.seed np.random.seed区别
两个都用吧lpython - Should I use `random.seed` or `numpy.random.seed` to control random number generation in `scikit-learn`? - Stack OverflowThat depends on whether in your code you are using numpy's random number generator or the one inrandom.The .
2021-12-15 11:45:05
2066
原创 一种onehot编码方式
请教了敖老师def transform_time(x,min_=28805,max_=70197,delta=5*60): num=ceil((max_-min_)/delta) x_norm=(x-min_)/(max_-min_) idx=min(int(x_norm*num),num-1) one_hot_=[0 for _ in range(num)] one_hot_[idx]=1 return one_hot_...
2021-12-12 23:01:12
221
原创 node2vec
1.可视化from gensim.models import Word2Vec......class EpochLogger(CallbackAny2Vec): '''Callback to log information about training'''# def __init__(self):# self.epoch = 0# def on_epoch_end(self, model):# loss = model.get...
2021-12-10 12:56:03
1030
原创 菜品分类与检索大作业踩坑
1.训练速度keras坑很多训练网络时，以下会不同程度上影响速度：1）imagedatagenerator，如果进行数据增强2）图片尺寸3）model.fit。虽然model.fit也支持generator，但速度比fit_generator慢很多以下不一定能提升训练速度1）multi_gpu_model：https://github.com/keras-team/keras/issues/92042）多卡+大batchsize：batchsize大小对训练速度的影响
2021-12-03 17:51:52
729
原创 c++函数如何传入二维数组并返回二维数组
1. 用newdouble ** emb( double** landmark){double **r;...return r;}2.将二维数组传入vector，传入、返回vector
2021-11-30 15:56:52
1709
原创 c++读csv
for ... ifstream inFile; string lineStr; inFile.open("/data/multipose/squat_csvs_out/"+_class_name[i]+".csv", ios::in); cout<<"read csvs:"<<_class_name[i]<<endl;...
2021-11-21 17:56:26
402
原创 python根据字典value获取对应key(仅限value存在且唯一)
dicxx = {'a':'001', 'b':'002'}list(dicxx.keys())[list(dicxx.values()).index("001")]
2021-11-12 10:29:24
985
原创 关于opencv-python的一些坑
因为项目需要,需要和c++那边的opencv使用相同的版本,因此想安3.X的版本1.在哪里看可用的版本如果是用pip,先pip install --upgrade pip,在pip install opencv-python==2.vediocapture读取视频返回falseopencv版本太老了,见https://github.com/opencv/opencv-python/releases/tag/11https://github.com/opencv/opencv-python
2021-11-10 19:21:16
3401
原创 pip install opencv-python== 不显示可用版本
Your pip is most likely too old. Upgrade it withpip install --upgrade pip.
2021-11-10 19:14:01
3472
原创 使用gensim进行word2vec的一些注意
运行多少epoch合适https://stackoverflow.com/questions/51800210/gensim-word2vec-model-is-not-convergedrrhttps://stackoverflow.com/questions/51800210/gensim-word2vec-model-is-not-converged如何每个epoch打印losspython - gensim word2vec print log loss - Stack Ove
2021-11-10 00:30:13
1010
原创 向日葵远程连接Ubuntu出现 “连接中断“ 的解决方法
向日葵远程连接Ubuntu出现 "连接中断" 的解决方法 - wangling1820 - 博客园
2021-11-09 16:54:46
1189
原创 pd.read_csv，数据中的逗号
python – 将逗号转换为Dataframe中的点 - CocoaChina_一站式开发者成长社区将pandas DataFrame中带逗号的数字字符串转换为float - IT屋-程序员软件开发技术分享社区
2021-11-06 17:11:30
894
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人