- 博客(71)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 MxNet+R︱用R语言实现深度学习
转载http://blog.csdn.net/sinat_26917383/article/details/53762185“素质云博客”MxNet有了亚马逊站台之后，声势大涨，加之接口多样化，又支持R语言所以一定要学一下。而且作为R语言的fans，为啥咱们R语言就不能上深度学习嘞~——————————————————————————————一、
2021-05-08 16:21:07
427
转载 【转载】Transformer 模型详解
转载自https://baijiahao.baidu.com/s?id=1651219987457222196&wfr=spider&for=pcTransformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。1. Transformer 结构首先
2021-05-08 11:48:05
360
转载 【转载】Hinton“深度学习之父”和“神经网络先驱”，新论文Capsule
Hinton“深度学习之父”和“神经网络先驱”，新论文Capsule将推翻自己积累了30年的学术成果时Hinton“深度学习之父”和“神经网络先驱”，新论文Capsule将推翻自己积累了30年的学术成果时在论文中，Capsule被Hinton大神定义为这样一组神经元：其活动向量所表示的是特定实体类型的实例化参数。他的实验表明，鉴别式训练的多层Capsule系统，在MNIST手写数据集上表现出目前最先进的性能，并且在识别高度重叠数字的效果要远好于CNN。该论文无疑将是今年12月初NIPS大会的重头
2021-04-23 16:58:56
1174
转载 【转载】如何理解卷积神经网络中的通道（channel）
原文链接：https://blog.csdn.net/weixin_38481963/article/details/109920512在卷积神经网络中我们通常需要输入 in_channels 和 out_channels ，即输入通道数和输出通道数，它们代表什么意思呢？本文将给出一个形象的理解。对于通道的理解可以参考下面的这篇文章：【CNN】理解卷积神经网络中的通道 channel这里我稍微总结一下核心观点：对于最初输入图片样本的通道数 in_channels 取决于图片的类型，如果是
2021-04-15 15:56:35
342
转载 【转载】CNN真的需要下采样（上采样）吗?
背景介绍在常见的卷积神经网络中，采样几乎无处不在，以前是max_pooling，现在是strided卷积。以vgg网络为例，里面使用到了相当多的max_pooling输入侧在左面（下面是有padding的，上面是无padding的），可以看到网络中用到了很多2x2的pooling同样，在做语义分割或者目标检测的时候，我们用到了相当多的上采样，或者转置卷积典型的fcn结构，注意红色区分的decovolution以前，我们在分类网络的最后几层使用fc，后来fc被证明参数量太大泛化
2021-04-15 15:48:43
215
转载 【转载】详解残差网络
转载自https://zhuanlan.zhihu.com/p/42706477在VGG中，卷积网络达到了19层，在GoogLeNet中，网络史无前例的达到了22层。那么，网络的精度会随着网络的层数增多而增多吗？在深度学习中，网络层数增多一般会伴着下面几个问题计算资源的消耗 模型容易过拟合 梯度消失/梯度爆炸问题的产生问题1可以通过GPU集群来解决，对于一个企业资源并不是很大的问题；问题2的过拟合通过采集海量数据，并配合Dropout正则化等方法也可以有效避免；问题3通过Batch Norma
2021-04-15 15:43:54
561
原创 Mysql数据库创建表——标准模板
Mysql数据库创建表——标准模板，这个模板是公司制定的规范，特分享出来。CREATE TABLE user ( `id` bigint(11) NOT NULL AUTO_INCREMENT, `user_id` bigint(11) NOT NULL COMMENT ‘用户id’ `username` varchar(45) NOT NULL COMMENT '真实姓名', `email` varchar(30) NOT NULL COMMENT ‘用户邮箱’, `nicknam...
2021-02-04 10:28:34
2476
1
原创 python3 通过jdbc的方式访问mysql数据库，报错解决TypeError: Class com.mysql.cj.jdbc.Driver is not found
1. 首先要配置好java环境变量。2. 可以通过anaconda安装jpype和jaydebeapi这2个包。pip installjpype1pipinstallJayDeBeApi3.下载mysqlConnector https://dev.mysql.com/downloads/connector/j/?os=264.import jpypeimport jaydebeapidriver='com.mysql.cj.jdbc.Driver'ja...
2020-12-30 15:22:21
1917
原创 使用tsfresh报错：Can only compute partial correlation for lugs up to 50% of the sample size.
关于很多博客中的使用tsfresh提取时间序列特征，运行例子的时候报错：Can only compute partial correlation for lugs up to 50% of the sample size.解决方法：1. 网上博客例子是这样的： import tsfresh from tsfresh.examples.robot_execution_failures import download_robot_execution_failures, load_robot_e..
2020-10-12 10:57:27
4970
6
原创 tensorflow深度学习从0开始系列——第五天
开启新手tensorflow学习之旅，未来我会持续分享tensorflow深度学习从0开始系列，这里是tensorflow深度学习从0开始系列——第五天，因为内容较多，我做成了pdf，本来是分享在csdn下载资源里面，但是现在csdn的下载被指向了广告，我也很无奈，qq群Python数据分析&机器学习636866908或者群R语言＆大数据分析456726635里面也有分享，大家可以去群里讨论下载，以下是第五天学习目录：...
2020-09-17 10:15:09
148
原创 tensorflow深度学习从0开始系列——第四天
开启新手tensorflow学习之旅，未来我会持续分享tensorflow深度学习从0开始系列，这里是tensorflow深度学习从0开始系列——第四天，因为内容较多，我做成了pdf，本来是分享在csdn下载资源里面，但是现在csdn的下载被指向了广告，我也很无奈，qq群Python数据分析&机器学习636866908或者群R语言＆大数据分析456726635里面也有分享，大家可以去群里讨论下载，以下是第四天学习目录：...
2020-09-17 10:06:32
133
原创 使用cygwin在win10系统上就如同在Linux上应用darknet(yolov3)进行目标检测
1. cygwin如何在win10上安装我就不说了2. 下载darknet(yolov3)https://github.com/AlexeyAB/darknet/3.然后打开cygwin，然后cd 到darknet的下载目录，例如我的目录如下图：4. 然后你可以运行目标检测程序图片数据放在darknet-master/data/文件夹下，生成的结果在/darknet-master/目录下面，名字叫prediction.jpg，我的结果如下图所示：今天就分享到这里，可通过群Py
2020-09-16 21:04:45
266
原创 tensorflow深度学习从0开始系列——第三天
开启新手tensorflow学习之旅，未来我会持续分享tensorflow深度学习从0开始系列，这里是tensorflow深度学习从0开始系列——第三天，因为内容较多，我做成了ppt，分享在https://download.csdn.net/download/yepeng2007fei/11449489，群Python & Spark大数据分析636866908或者群R语言＆大数据分析45...
2019-08-05 10:10:12
238
原创 tensorflow深度学习从0开始系列——第二天
开启新手tensorflow学习之旅，未来我会持续分享tensorflow深度学习从0开始系列，这里是tensorflow深度学习从0开始系列——第二天，因为内容较多，我做成了ppt，分享在https://download.csdn.net/download/yepeng2007fei/11431946，群Python & Spark大数据分析636866908或者群R语言＆大数据分析45...
2019-07-29 10:34:04
315
原创 tensorflow深度学习从0开始系列——第一天
开启新手tensorflow学习之旅，未来我会持续分享tensorflow深度学习从0开始系列，这里是tensorflow深度学习从0开始系列——第一天，因为内容较多，我做成了ppt，分享在https://download.csdn.net/download/yepeng2007fei/11431941，群Python & Spark大数据分析636866908或者群R语言＆大数据分析45...
2019-07-29 10:17:57
226
转载 迁移学习中的预训练模型（转载）
转载自https://www.analyticsvidhya.com/blog/2017/06/transfer-learning-the-art-of-fine-tuning-a-pre-trained-model/IntroductionNeural networks are a different breed of models compared to the supervised ...
2019-06-05 16:45:00
827
转载 使用 python -m SimpleHTTPServer 快速搭建http服务
转载自https://www.cnblogs.com/lmg-jie/p/9564608.html摘要: 在 Linux 服务器上或安装了 Python 的机器上，可以使用 nohup python -m SimpleHTTPServer [port] & 快速搭建一个http服务。在 Linux 服务器上或安装了 Python 的机器上，Python自带了一个WEB服务器Sim...
2019-05-20 10:29:45
450
转载 Jmeter并发数 测试
转载自https://blog.csdn.net/qq_32444825/article/details/81285721。Jmeter教程 简单的压力测试Jmeter并发数 测试Jmeter是一个非常好用的压力测试工具。 Jmeter用来做轻量级的压力测试，非常合适，只需要十几分钟，就能把压力测试需要的脚本写好。阅读目录什么是压力测试 做压力测试的常用工具 做压力测试...
2019-05-13 17:48:33
1519
转载 Centos7升级gcc学习笔记
转载自https://www.cnblogs.com/highway-9/p/5628852.html概述最近在学习《深入应用C++11-代码与优化与工程级应用》，我的gcc版本是gcc-4.8.5是支持C++11的，但是我在作者的github上看了一些C++例子，其中有些是C++14的语法，我的gcc版本并不支持，之前安装了ubuntu16.04LTS，该系统的gcc版本是5.3.1这个...
2019-05-13 17:27:24
274
转载 Spark Window Functions for DataFrames and SQL
转载自http://xinhstechblog.blogspot.com/2016/04/spark-window-functions-for-dataframes.htmlIntroduced in Spark 1.4, Spark window functions improved the expressiveness of Spark DataFrames and Spark SQL. ...
2019-05-08 18:39:52
474
转载 通俗理解LSTM的内部门操作
转载自https://blog.csdn.net/accumulate_zhang/article/details/78577364。参考博客：http://www.jianshu.com/p/9dc9f41f0b29希望大家在阅读下面文字的时候，已经读完上面的文章了，因为下面的文字是根据上面文章来写的。首先，深度学习模型已经在各种研究领域中取得了很大的发展，主要说一下自己就CNN和R...
2019-04-29 10:51:07
840
转载 深度学习算法之CNN、RNN、LSTM公式推导
转载自https://blog.csdn.net/sinat_22336563/article/details/71216291。整个推导过程首先一定对网络的结构有清醒的认知，所有变量的下角标都能一一对应到网络结构上；然后就是链式求导了。一、CNN公式推导1、前向传播假设CNN共三层，第一层为输入层，第二层为隐藏层，第三层为输出层。定义：第一层与第二层之间的参数为WihWih,...
2019-04-29 10:46:43
1276
转载 Keras之文本分类实现——转载
转载自https://zhuanlan.zhihu.com/p/29201491文本多分类首先我们来看下数据集长什么样子吧 :P Let‘s get started!我们使用pandas来加载数据，数据集来自http://IGN.com，收集了过去20年各大游戏厂商发布的游戏数据，如发布日期，发布平台，游戏评价等变量，这里有一篇关于这个数据集很不错的分析教程Kaggle。而我们现在...
2019-03-13 16:31:53
961
转载 Google BERT中文应用之微博情感极性分析——转载
转载自：https://zhuanlan.zhihu.com/p/55856680Google 前段时间开源了他们的 BERT --BidirectionalEncoderRepresentations fromTransformers 模型，使用多头注意力和位置嵌入，替换不易并行的循环神经网络，一举打破自然语言处理领域11个不同问题的最好记录。这个模型的开源，直接将自然语言处理推动到了一个...
2019-03-13 16:26:28
5481
3
转载 学习笔记 Keras:常见问题——转载
转载自https://blog.csdn.net/lvsehaiyang1993/article/details/81132242目录：目录：常见问题如何引用Keras？如何使Keras调用GPU？如何在多张GPU卡上使用Keras？数据并行设备并行“batch”, “epoch”和”sample”都是啥意思？？如何保存Keras模型？为什么训练误差比测试误差高很多？如何...
2019-01-29 14:32:19
265
原创 pyspark实践6 —— 判断dataframe中的值是否在list中，并将一列list值转成多列
# 有一个给定的listcol_search = [u'人脸',u'自拍',u'风景',u'室内',u'室外']#有一个数据集data，包含两个字段id,tag 其中tag是一个ArrayType()型 例如：id | tag011 | ['儿童',‘人脸’,'室内']012 | ['女性',‘男性’,'自拍']#使用explode函数将tag拓展开，即list转成dat...
2019-01-11 16:21:53
8220
转载 pyspark cookbook 常用操作
来自https://vinta.ws/code/spark-sql-cookbook-pyspark.htmlAccess SparkSessionfrom pyspark.sql import SparkSession# get the default SparkSession instancespark = SparkSession.builder.getOrCreate()...
2018-11-16 13:46:08
973
转载 pyspark 解析dataframe中含有json格式字符串的方法
来源https://stackoverflow.com/questions/41107835/pyspark-parse-a-column-of-json-strings这是一个很有效的解决方法。def parseJSONCols(df, *cols, sanitize=True): """Auto infer the schema of a json column and pa...
2018-11-15 11:34:38
4193
1
原创 pyspark 实践汇总5
1. 时间戳转string型日期data1 = data.withColumn("newdate",from_unixtime(data["date"],format='yyyyMMdd'))这里通过from_unixtime将时间戳转到年月日格式的string2. 将string日期转成时间戳data1 = data.withColumn("newstamp",unix_time...
2018-10-18 17:23:26
452
原创 pyspark 程序头与程序提交集群命令
这里介绍使用SparkContext的pyspark注册头，通过SparkConf对SparkContext进行配置，SparkConf可以设置各种配置参数，如下面所示：from pyspark.context import SparkContextfrom pyspark.sql import SQLContextfrom pyspark.context import SparkConf...
2018-08-31 14:13:13
1983
原创 pyspark实践汇总4
1. 对数据框中的时间戳转换为字符串型的时间data1 = data.withColumn("newdate",from_unixtime(data['stamptime'],format='yyyyMMdd'))2. 对数据框中的多列进行分组data1 = data.groupBy(["column1","column2","column3"]).count()3. 通过时间滑动...
2018-08-13 18:28:15
580
原创 R语言 设置ylab每个汉字竖向排列
只看标题可能不知道啥意思，所以先上图了。从图中可以看到ylab中汉字的排列方式是从上到下的，要实现这样的效果有两个关键步骤：一是ylab不是常规的“月工作量”，而是'月\n工\n作\n量'，每个汉字中间要进行换行。二是要对ylab进行旋转。下面给出代码：library(ggplot2)#数据df <- data.frame( gp = factor(rep(letters[1:3], ea...
2018-07-04 15:25:00
6849
原创 R语音ggplot2绘制好看的分组散点图
我们以iris数据集为例，该数据集包括花萼的长度和宽度，花瓣的长度和宽度，以及物种，如下图：本文我们要绘制不同物种下花萼的长度和宽度的分布情况，以及二者之间的相关性关系。1. 首先载入ggplot2包，library(ggplot2)2. 然后进行ggplot(data = NULL, mapping = aes(), ..., environment = parent.frame())绘制，在绘...
2018-06-14 18:55:53
42962
3
转载 ffmpeg命令详解
转载自https://blog.csdn.net/zzcchunter/article/details/68060989一、ffmpeg命令详解ffmpeg非常强大，轻松几条命令就可以完成你的工作。把darkdoor.[001-100].jpg序列帧和001.mp3音频文件利用mpeg4编码方式合成视频文件darkdoor.avi：$ ffmpeg -i 001.mp3 -i darkdoor.%...
2018-05-09 18:38:37
267
转载 判断数据是否服从某一分布（二）——简单易用fitdistrplus包（转发）
文章转发自https://www.cnblogs.com/ywliao/p/6297162.html一、对数据的分布进行初步判断 1.1 原理 对于不同的分布，有特定的偏度(skewness)和峰度(kurtosis)，正态分布、均匀分布、逻辑斯谛分布、指数分布的偏度和峰度都是特定的值，在偏度-峰度图中是特定的点，而伽马分布和对数正态分布在偏度-峰度图中是一条直线，贝塔分布在偏...
2018-05-07 09:54:49
3797
原创 tensorflow入门案例详解——MNIST神经网络识别
1. MNIST下载去官网http://yann.lecun.com/exdb/mnist/ 下载4个文件：训练图像集/训练标签集/测试图像集/测试标签集在tensorflow example mnist的目录下面新建MNIST_data文件夹，然后把下载的4个MNIST数据集复制进去。例如我电脑上的路径如下：C:\Users\Administrator\Anaconda3\envs\tensor...
2018-03-23 17:28:41
387
原创 pyspark 实践汇总3
#本地字符串时间转时间戳fullend = "20170120"trackdate = int(time.mktime(time.strptime(fullend,'%Y%m%d')))#spark字符串时间转时间戳test1 = test.withColumn('unixtime',unix_timestamp('time','yyyy/MM/dd'))#多个字段/属性同时outer joinp...
2018-03-23 16:58:59
374
转载 深度学习笔记之win7下TensorFlow的安装
转载自http://blog.csdn.net/hola_f/article/details/70482300最近要学习神经网络相关的内容，所以需要安装TensorFlow。不得不说，安装TensorFlow的感受就像是大一刚入学学习C语言时，安装vs时一样，问题一大堆，工具都装不好，还学啥呀。好在，就在昨晚，终于装好了。下面是步骤。1.安装Anaconda这是
2018-01-25 17:45:49
621
原创 R语音 rvest爬取中国天气网所有城市未来七天天气数据并写入oracle数据库
本文使用R语音 rvest爬取中国天气网所有城市未来七天天气数据并写入oracle数据库，其中包括了如何使用R语言连接oracle数据库，以及爬取时候的简单策略，最后对爬取到的数据组装成数据框并写入数据库，可以作为R语音初中级爱好者们很好的参考例子，当然这是我很久前写的代码，很多地方没有进行优化，比如使用了for循环，其实应该封装到函数中使用sapply来处理循环以提高效率。感兴趣的朋友想与我交流
2018-01-04 21:48:54
915
转载 R语言 apriori算法案例详解
转载自http://blog.csdn.net/gjwang1983/article/details/450152031.概念1.1 引论关联规则（AssociationRules）是无监督的机器学习方法，用于知识发现，而非预测。关联规则的学习器（learner）无需事先对训练数据进行打标签，因为无监督学习没有训练这个步骤。缺点是很难对关联规则学习器进行模型评估，一
2017-12-27 11:15:54
18464
4
使用sparkR和sparklyr进行大数据建模案例文档
2017-11-14
java语言实现canny算法的应用程序
2011-09-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人