- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop pybistreaming reduce同key整合
对hadoop的新认识：pybistreaming架构下的编程方式跟原生的hadoop有一些不同：为了方便使用，这里不再需要用户自己判断是不是来了一个新的key，对于同一个key下的所有value，reduce() 函数只会被调用一次itervalues是一个generator, 可以直接用 for value in itervalues 迭代它 (不要用下标[i]索引，不支持)对于原生hadoop，以词频统计为例，每执行一...
2021-11-22 20:36:51
1259
原创 softmax、以及与sigmoid的比较
softmax是什么？softmax用于多分类过程中，将多个神经元的输出，映射到(0,1)范围内，且这些映射值的总和为1，相当于概率值。假设某神经网络输出层，共有个元素，其中第i个元素值为，则该元素对应的softmax值为：softmax与sigmoid的区别：sigmoid函数会分别处理各个原始输出值，因此其结果相互独立，概率总和不一定为1softmax函数的输出值相互关联，其概率的总和始终为1，因此，在softmax函数中，为增大某一类别的概率，其他类别的概率必须相应减少所以
2021-10-12 20:33:55
541
原创 2021-10-11 有效率模型第二阶段规划
分成三步：1、首先构建一个高-中-低 query文本分类器2、用query文本分类器对于用户的每一条query进行分类，得到一个高-中-低编码序列2-1-03、用2-1-0编码序列，给到时序模型，得到分类/预测概率值第一步：1、文本分类器（1）文本编码：句子文本编码 word2vec、OOV未知词处理、padding处理是加在前面还是后面（2）分类器：FastText适用于类别较多的文本分类，小类别容易过拟合 TextCNN分类：不同长度句子经过pooling后变成..
2021-10-11 21:13:38
72
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人