- 博客(128)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 weidl x DeepRec：热门微博推荐框架性能提升实战
例如在不清楚后续内存请求的情况下，由于前期的多次内存分配和释放，会导致后来的大内存请求由于内存碎片的问题而需要一块新的内存或者OOM。自适应内存分配器在训练过程对于前面的K轮进行一些统计，通过Allocator模块，对内存的分配，包括分配的时间点、分配的大小，统计好分配的时间点和大小后，在K轮结束之后会使用启发式的一些算法规划出一个较优的tensor cache planner，planner会创建allocator，并且预分配一些tensor内存块，后续的分配会优先通过此allocator进行分配。
2023-01-31 16:31:51
217
转载 Swing算法介绍
1.Swing算法介绍Swing算法原理比较简单，是阿里早期使用到的一种召回算法，在阿里多个业务被验证过非常有效的一种召回方式，它认为 user-item-user 的结构比 itemCF 的单边结构更稳定。为了衡量物品ii和jj的相似性，考察都购买了物品ii和jj的用户uu和vv， 如果这两个用户共同购买的物品越少，则物品ii和jj的相似性越高。极端情况下，两个用户都购买了某个物品，且两个用户所有购买的物品中，共同购买的物品只有这两个，说明这两个用户兴趣差异非常大，然而却同时购买了这两个物品，
2022-04-20 16:51:03
1339
转载 Focal Loss
Focal Loss摘要Focal Loss目标是解决样本类别不平衡以及样本分类难度不平衡等问题，如目标检测中大量简单的background，很少量较难的foreground样本。Focal Loss通过修改交叉熵函数，通过增加类别权重𝛼α和 样本难度权重调因子(modulating factor)(1−𝑝𝑡)𝛾(1−pt)γ，来减缓上述问题，提升模型精确。一、技术背景我们知道object detection的算法主要可以分为两大类：two-stage detector和one-stage.
2022-03-11 17:15:33
723
转载 Focal Loss理解
1. 总述Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。2. 损失函数形式Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失：是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。那
2022-03-11 16:41:29
4867
转载 PyTorch梯度裁剪避免训练loss nan的操作
近来在训练检测网络的时候会出现loss为nan的情况，需要中断重新训练，会很麻烦。因而选择使用PyTorch提供的梯度裁剪库来对模型训练过程中的梯度范围进行限制，修改之后，不再出现loss为nan的情况。PyTorch中采用torch.nn.utils.clip_grad_norm_来实现梯度裁剪，链接如下：torch.nn.utils.clip_grad — PyTorch 1.10 documentation训练代码使用示例如下： 1 2 3 4 5
2022-03-10 16:51:46
1942
转载 一维卷积表示tf.nn.conv1d矩阵的运算过程,以,例子,说明,tfnnconv1d
这几天在看代码，然后看网上关于一维卷积介绍的文档很多，但是对于tf.nn.conv1d 矩阵运算过程几乎没有介绍，这里我就将刚弄懂的写出来，希望能帮到大家理解这个函数，也为了让自己以后能更好的查阅~~conv1d(value, filters, stride, padding, use_cudnn_on_gpu=None, data_format=None, name=None)value: A 3DTensor. Must be of typefloat16orfloat32.被...
2021-06-24 16:45:33
573
转载 Linking to both tensorflow and protobuf causes segmentation fault during static initializers
System information Have I written custom code (as opposed to using a stock example script provided in TensorFlow): Yes OS Platform and Distribution (e.g., Linux Ubuntu 16.04): 4.18.10-1rodete2-amd64 (Debian-derived) Mobile device (e.g. iPho...
2021-05-19 14:29:40
313
转载 使用TensorFlow C++ API构建线上预测服务
使用TensorFlow C++ API构建线上预测服务运行环境：TF-1.10除了本机的tensorflow之外，仍需要安装下面的tf。源码安装后，看到tensorflow/contrib/makefile/gen/lib/libtensorflow-core.a静态库和 tensorflow/contrib/makefile/gen/bin/benchmark可执行文件运行示例：>1.mkdir -p ~/graphs2.curl -o ~/graphs..
2021-04-26 10:39:28
394
转载 TensorFlow 篇 | TensorFlow 2.x 模型 Serving 服务
「导语」在模型训练完成后，我们需要使用保存后的模型进行线上预测，即模型 Serving 服务。 TensorFlow 团队提供了专门用于模型预测的服务系统 TensorFlow Serving，它专为生产环境设计，具备高性能且具有很强大的灵活性，本文将从服务搭建，服务配置，远程访问等多个方面对 TensorFlow Serving 进行详细地介绍。Serving 服务搭建官方推荐使用 Docker 来完成 TensorFlow Serving 服务的搭建，这是最容易也
2021-03-05 09:30:59
1347
1
转载 使用tensorflow-serving部署tensorflow模型
使用docker部署模型的好处在于，避免了与繁琐的环境配置打交道。使用docker，不需要手动安装Python，更不需要安装numpy、tensorflow各种包，直接一个docker就包含了全部。docker的方式是如今部署项目的第一选择。一、docker用法初探1、安装docker安装需要两个命令：sudo apt-get install dockersudo apt-get install docker.io好的学习资料不必远求docker --helpdocker run -
2021-02-25 14:38:54
485
转载 在JAVA中使用gRPC
gRPC是由google推出的高性能的RPC框架，基于http2和protobuf，下面使用如下java示例带大家初步认识gRPC。一、引入依赖<dependencies> <dependency> <groupId>io.grpc</groupId> <artifactId>grpc-netty-shaded</artifactId> <version>1.21.0</versi
2021-01-25 12:48:48
4934
1
转载 C++ 值传递、指针传递、引用传递详解
最近写了几篇深层次讨论数组和指针的文章，其中提到了“C语言中，所有非数组的形式参数传递均以值传递形式”数组和指针背后——内存角度语义"陷阱"---数组和指针而关于值传递，指针传递，引用传递这几个方面还会存在误区， 所有我觉的有必要在这里也说明一下~下文会通过例子详细说明哦值传递：形参是实参的拷贝，改变形参的值并不会影响外部实参的值。从被调用函数的角度来说，值传递是单向的（实参->形参），参数的值只能传入，不能传出。当函数内部需要修改参数，并且不希望这个改变影响调用者时，采用
2020-12-16 16:51:12
2403
1
转载 C++ 指针和引用 吐血整理 Pointer&Reference
说道C++的指针，很多人都很头疼，也很confuse。经常把它和变量名，引用（reference）等混淆，其实这最主要的原因是很多程序员对于基本知识的掌握有问题，从而导致的很多基本概念的混淆。本文就是从最基本的概念讲起，着重分析和比较指针和引用。主要从以下几个方面着重的讲解：1. 变量（variable）的表现形式；2. 指针的结构和原理；3. 引用的结构和原理；4. 指针在Array中的应用和注意事项；5. 指针不能dereference的几种情况；一：变量的形式说道变量，很多
2020-12-11 14:21:14
362
转载 Mac OS升级GCC版本
升级Mac中的GCC版本Mac 中自带的 GCC 版本是 4.2.1，由于版本太低，在很多操作的时候会报错。因此需要对其进行升级，这里使用 Homebrew 来下载最新的 GCC。安装 HomebrewmacOS的终端中输入如下的命令来安装Homebrew$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"安装完之后查看安装的版本$
2020-12-09 14:28:13
3687
2
转载 Spark ML LR 用 setWeightCol 解决数据不平衡
前言如题，记录在Spark ML LR中如何解决数据不平衡。参考：Dealing with unbalanced datasets in Spark MLlib1、数据不平衡指label == 1和label == 0 的数据比例的很多，如80%和20%，这样导致模型的结果的准确率也不平衡，不准确。2、setWeightCol 主要代码 1234567891011121314151617181920212223
2020-11-30 09:57:47
355
转载 如何在Java中正确使用Apache Commons数学库中的ZipfDistribution？
javaapache-commons-mathzipf温馨提示：将鼠标放在语句上可以显示对应的英文。 或者 切换至中英文显示我想基于遵循Zipf分布的单词（来自字典）创建数据源（Java）。因此，我来谈谈Apache commons库的ZipfDistribution和NormalDistribution。不幸的是，很少有关于如何使用这些类的信息。我尝试进行一些测试，但不确定是否以正确的方式使用它。我只关注每个构造函数的文档中写的内容。但是结果似乎并不“分布均匀...
2020-09-23 17:44:38
515
转载 跳出公式，看清全局，图神经网络（GCN）原理详解
https://cloud.tencent.com/developer/article/1513016
2020-09-21 17:45:55
268
转载 统计学三大相关系数之Pearson相关系数、Spearman相关系数
一、相关系数：相关系数：考察两个变量之间的相关程度。相关系数的取值范围是-1到1，绝对值越接近1，则说明两个变量之间的相关程度越大；绝对值越接近0，则说明两个变量之间的相关程度越小，具体见下图：二、Pearson相关系数： 1. 先给出公式推导： ①首先由Pearson相关系数的定义可知， ②这里，分子cov表示协方差，分母表示标准差（以两个变量为例）： 这里分母位置为什么是n-1而不是n呢？是为了使我们得以用更小的样本更好的逼近总体，即达到“无偏..
2020-09-07 19:26:26
4875
转载 Hive实现自增列的两种方法
多维数据仓库中的维度表和事实表一般都需要有一个代理键，作为这些表的主键，代理键一般由单列的自增数字序列构成。Hive没有关系数据库中的自增列，但它也有一些对自增序列的支持，通常有两种方法生成代理键：使用row_number()窗口函数或者使用一个名为UDFRowSequence的用户自定义函数（UDF）。 假设有维度表tbl_dim和过渡表tbl_stg，现在要将tbl_stg的数据装载到tbl_dim，装载的同时生成维度表的代理键。用row_number()函数生成代理键insert into t
2020-08-27 17:10:37
159
转载 Embedding在腾讯应用宝的推荐实践
Embedding在腾讯应用宝的推荐实践Embedding 技术目前在工业界以及学术界中应用非常广泛，关于 Embedding 的探索和应用从未停歇。Embedding 的训练方法主要分成 DNN 的端到端的方法以及序列学习的非端到端的方法，其中最经典的 word2vec 以及由此衍生出 sentence2vec，doc2vec，item2vec 等都属于非端到端的学习方法；本文主要介绍 Embedding 技术的非端到端学习方法在应用宝推荐场景的应用实践。1.经典的 word2vec 模型
2020-08-26 17:13:06
449
转载 hive mapreduce reducer 调优
hive参数配置详情可查官方文档：Hive Configuration+Properties本文针对 reducer 调优，主要涉及一下三个参数：hive.exec.reducers.bytes.per.reducerDefault Value: 1,000,000,000 prior to Hive 0.14.0; 256 MB (256,000,000) in Hive 0.14.0 and later Added In: Hive 0.2.0; default changed in 0.
2020-08-26 10:07:37
481
转载 推荐系统遇上深度学习(六十一)-[阿里]使用Bert来进行序列推荐
本文介绍的论文题目是《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》论文下载地址为：https://arxiv.org/abs/1904.06690将Transformer运用到推荐系统中，前面也介绍过许多篇相关的论文了，如阿里的DSIN、BST等等，他们都使用Transformer的Encoder部分的网络结构作为模型中的一部分进行使用。同时，在自然语..
2020-07-31 16:36:19
1359
转载 hive出现java.lang.OutOfMemoryError: GC overhead limit exceeded
最近用sparksession写入hive数据时，但用hive查询统计行数报错了select count(*) from test_20190417;错误如下：Number of reduce tasks determined at compile time: 1In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number>
2020-07-31 10:20:12
2725
转载 Spark优化那些事(4)-关于spark.driver.maxResultSize的疑惑
今天遇到了spark.driver.maxResultSize的异常，通过增大该值解决了，但是其运行机制不是很明白，先记录在这里，希望后面有机会可以明白背后的机制。该异常会报如下的异常信息:Job aborted due to stage failure: Total size of serialized results of 3979 tasks (1024.2 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)锁定了是sp...
2020-06-18 16:22:02
5304
转载 损失函数softmax_cross_entropy、binary_cross_entropy、sigmoid_cross_entropy之间的区别与联系
cross_entropy-----交叉熵是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。在介绍softmax_cross_entropy，binary_cross_entropy、sigmoid_cross_entropy之前，先来回顾一下信息量、熵、交叉熵等基本概念。---------------------信息论交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。一、信息量首先是信息量。假设我们听到了两件事，分别如下：事件A：巴西队进入
2020-06-07 14:25:45
1571
转载 GCN源代码注释的解释,源码,解读
GCN源代码注释的解释,源码,解读1. utils.pyimport numpy as npimport pickle as pklimport networkx as nximport scipy.sparse as spfrom scipy.sparse.linalg.eigen.arpack import eigshimport sysdef parse_index_file(filename): """Parse index file.""" index =
2020-06-03 19:16:32
3138
3
原创 float16 matmul is way slower than float32 matmul on CPU
float16 matmul is way slower than float32 matmul on CPU#24738Opendchatterjee172opened this issueon 7 Jan 2019· 1 commentOpenfloat16 matmul is way slower than float32 matmul on CPU#24738dchatterjee172opened this issueon 7 Jan 2019· 1 comm...
2020-06-03 16:20:03
146
转载 GCN图卷积 utils.py脚本
GCN图卷积 utils.py脚本把带#注释掉的部分取消，打印一些数据，就能理解GCN是怎么处理数据的，也有助于将自己的数据转变成与它类似的形式。import numpy as npimport pickle as pklimport networkx as nximport scipy.sparse as spfrom scipy.sparse.linalg.eigen.arpack import eigshimport sysdef parse_index_file(filena
2020-06-02 16:38:33
626
1
转载 tf.nn.softmax & tf.nn.reduce_sum & tf.nn.softmax_cross_entropy_with_logits
tf.nn.softmaxsoftmax是神经网络的最后一层将实数空间映射到概率空间的常用方法，公式如下：????????????????????????????(????)????=????????????(????????)∑????????????????(????????)softmax(x)i=exp(xi)∑jexp(xj)本文意于分析tensorflow中的tf.nn.softmax()，关于softmax的具体推导和相关知识点，参照其它文章。tensorflow的tf.nn.
2020-04-30 14:53:48
292
转载 如何取出 tf.layers.dense 定义的全连接层的weight和bias参数值
[原创] 如何取出 tf.layers.dense 定义的全连接层的weight和bias参数值TensorFlow版本：1.14.0Python版本：3.6.8在TensorFlow中，tf.layers.dense定义了一个全连接层，其实现的是（来自官方文档）：This layer implements the operation: outputs = activation(...
2020-04-30 14:40:09
1258
转载 深入理解graphx中的pregel图计算引擎
深入理解graphx中的pregel图计算引擎一、graphx中的属性（1）顶点（vertex），顶点包含（id，顶点内容）两部分，其中顶点内容可以是对象或者元组形式对象形式：User("name", 12)元组形式：("name", 12)（2）边（edge），包含(srcid, dstid, 边属性)，边属性目前使用过程中都是Int或者Double单值形式（3）三元...
2020-04-24 20:20:06
955
转载 Spark连续特征转化成离散特征
Spark连续特征转化成离散特征当数据量很大的时候，分类任务通常使用【离散特征+LR】集成【连续特征+xgboost】，如果把连续特征加入到LR、决策树中，容易造成overfit。如果想用上连续型特征，使用集成学习集成多种算法是一种方法，但是一是过程复杂了一些，另外训练过程会非常耗时，在不损失很多特征信息的情况下，可以考虑将连续特征转换成离散特征加入到LR模型中。转换特征分成两种情况：...
2020-04-14 19:08:25
397
原创 torque集群
https://cndaqiang.github.io/2018/01/11/torque-install-centos/https://blog.csdn.net/jideljd_2010/article/details/46575137
2020-01-03 15:31:49
300
转载 Macbook系统环境安装wget的2个方法 - 传统包及Homebrew安装
考虑到自身项目的拓展需要，朋友建议学习Python爬虫这样对于做大数据采集有较大的帮助，老蒋虽然每天也都接触一些脚本和程序的修改，但是并没有专业和系统的学习某一项编程。所以还是准备陆续的学习Python语言，无论有没有基础，只要花点时间应该可以学会的。老蒋之前有入手一台Macbook Pro，考虑到就是用来专门编程使用的，因为MAC自带的终端还是非常方便的，省的我们在本机安装虚拟机。目前Mac...
2019-12-02 15:16:07
159
原创 转载记录
weighted—-LR的理解与推广：https://www.cnblogs.com/hellojamest/p/11871108.html向量内积外积：https://www.cnblogs.com/gxcdream/p/7597865.htmlauxiliary loss：https://stats.stackexchange.com/questions/304699/what-is-...
2019-11-29 16:47:02
82
转载 NLP 神经网络训练慎用 Adam 优化器
https://www.jianshu.com/p/48e71b72ca67NLP 神经网络训练慎用 Adam 优化器theoqian关注12019.02.10 16:01:45字数 499阅读 1,168AllenNLP 在 EMNLP 2018 的演讲 PPT 《Writing Code for NLP Research》中提到在 NLP 的神经网络中使用 sp...
2019-11-08 15:17:35
1420
转载 UML类图符号 各种关系说明以及举例
UML中描述对象和类之间相互关系的方式包括：依赖（Dependency），关联（Association），聚合（Aggregation），组合（Composition），泛化（Generalization），实现（Realization）等。依赖（Dependency）：元素A的变化会影响元素B，但反之不成立，那么B和A的关系是依赖关系，B依赖A；类属关系和实现关系在语义上讲也是依赖关系，但由...
2019-08-16 14:03:20
193
转载 Embedding 在Airbnb房源排序中的应用 （KDD2018 best paper）
https://www.jianshu.com/p/971651773b42
2019-07-05 11:51:25
287
hive操作命令
2014-06-30
spring3mvc入门资料
2013-09-25
spring mvc
2013-09-25
spring xfire
2013-09-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人