- 博客(361)
- 收藏
- 关注
RSS订阅
原创 论机械狗如何硬卷算法岗
前言本文目的有三个人学习生涯的总结和记录分享非科班转互联网的经验和感悟对于转行互联网的想法 & 交流说明：本文会将题主转码前后的心路历程详尽道来，我想有打算转行的同学应该会有类似的经历。只想看干货的可以跳到第四节。后面还会专门出一期转码面经一、个人情况个人信息双985硕，本硕均机械专业，0基础硬卷算法岗成功，转行上岸硕士研究方向为智能故障诊断，水过2篇SCI，无顶会论文，获国家实习经历富士康：没错，就是那个富士康，属于校企合作项目，机械设备的故障诊断腾讯：Robotic
2021-09-11 19:26:03
735
5
原创 Pyspark 读 DataFrame 的使用与基本操作
一、安装基于 mac 操作系统安装 jdkjdk 下载地址安装 pysparkpip install pyspark二、基本操作2.1 建立SparkSession对象一切操作之前需要先建立一个SparkSession对象(运行Spark code的Entrance point,可以理解为交互部件)：详见： pyspark.sql modulefrom pyspark.sql import SparkSessionspark = SparkSession.builder.ma
2020-12-20 11:19:41
9582
3
原创 python中文ascii, ecnode 报错解决办法
使用python时，在处理中文的时候，如果因为编码问题 报错如下。都可以通过如下方法解决。
2024-04-03 10:43:12
73
原创 【广告推荐】用户行为序列建模（DIN、SIM）
上面 第一步的查找，把lastN物品缩小到 topK，排除掉的物品大概率和候选物品无关（相似度很低），排除之后几乎不会影响加权平均的结果。最终的 emb 是由各个 lastN 向量 加权得到的，权重是 各个lastN物品 & 候选物品的相似度 alpha。DIN 也是对 lastN 行为的一种建模方法，优于上面一节简单对 各个emb取平均。和DIN没有本质区别，主要区别是 lastN 变成了 topK。计算相似度的方法，如 cos、内积。简单平均 & 注意力机制的 区别。DIN 的本质是注意力机制。
2024-03-27 21:40:28
448
原创 p 值计算（置信度）
注意，这里需要对 μ 取绝对值，即 μ=2.273，2.273是介于 1.96 到 2.58 之间，所以 p 值介于 0.01 到 0.05 之间。下图中，μ0 表示整个地区的总体均值，μ 表示整个矿区的整体均值，如下图所示，S 表示标准差，n 表示样本数。
2023-03-28 21:29:02
4821
1
原创 Python 从 subprocess popen 运行的子进程中实时获取输出（shell 在 python 中执行）
有时候需要把 shell 命令在 python 中执行，如果使用的方式的话，标准输出只会打印在屏幕上，没办法赋给变量，这时候就可以用subprocess来实现。
2022-08-20 17:17:52
3126
原创 tensorflow 对 label 做 mask
有时，需要对某些 label 做 mask#!/usr/bin/env python# coding=utf-8"""tf version: 1.15.0"""import tensorflow as tf# 维度 [batch_size, 1]label1 = tf.constant([[0.0], [1.0], [1.0]])label2 = tf.constant([[1.0],
2022-05-01 20:39:56
502
原创 tf.squeeze 和 tf.reduce_sum 区别
tf.squeeze 和 tf.reduce_sum 是可以起到一样的作用的直接上代码#!/usr/bin/env python# coding=utf-8"""tf version: 1.15.0"""import tensorflow as tf# 维度 [batch_size, 1]a = tf.constant([[1], [6], [11]])b1 = tf.squeeze(a, axis=1)b2
2022-05-01 19:42:05
230
原创 算法工程师在岗3年经验总结
文中作者对自己的成长和思路进行了总结，总共分了三个角度：模型策略、工作思路以及个人成长来总结自己在算法岗位三年的心得体会。作者：机智的叉烧https://zhuanlan.zhihu.com/p/453800419目录：模型策略篇。讨论算法方案的思考。工作思路篇。工作思维，结果导向。个人成长篇。如何让自己更好地解决更多问题。这次给大家介绍的是自己在解决特定算法问题下的模型和策略思路上的经验。一、模型策略篇从模型套用到方案设计：模型的套用和调参是不能解决所有问题的。从单一指标到综
2022-04-06 22:43:46
911
原创 2023届校招算法岗知识超全总结
又是一年「金三银四」，在此为今年校招的同学准备了一份笔面试经验大礼包。去年我发过一篇 论机械狗如何硬卷算法岗，主要是机械转互联网的经验分享。本文主要面向搜推广nlp岗位的同学。总体而言，个人认为算法岗要找的好，除了本身的长期积累沉淀的硬实力之外(Paper，比赛，实习，项目)，主要考核的就是两个方面的能力：基础扎实程度和前沿知识广度。文章内容包括四个部分：基础能力(基础扎实程度)、搜推知识(前沿知识广度)、nlp知识(前沿知识广度)、总结。其中，基础部分变化不大，前沿知识部分相较于我当年校招时变化较
2022-03-28 23:32:29
1013
原创 深度学习调参技巧合集
本文参考自公众号【 夕小瑶的卖萌屋】的文章一、寻找合适的学习率学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同 batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经验来准确地确定lr的值，我们唯一可以做的，就是在训练中不断寻找最合适当前状态的学习率。比如下图利用 fastai 中的 lr_find() 函数寻找合适的学习率，根据下方的学习率-损失曲线得到此时合适的学习率为 1e-2。推荐一篇fastai首席设计师「Sylvain Gugger.
2022-03-26 22:39:22
1081
原创 Python 的多个列表不能用连等于赋初值
a = b = []a.append(1)b.append(2)print aprint b[1, 2][1, 2]
2022-03-22 10:50:39
760
原创 systemd 服务使用
一、建立软链接新增服务之前需要先建立软链接1. 进入 systemd 路径cd ~/.config/systemd/user/2. 查看现有的软连接ls -al3. 建立软链接ln -s /home/your_name/run_xxx.service run_xxx.service4. 查看软连接是否成功ls -al | grep run_xxx二、systemd 服务1. 启动服务systemctl --user start run_xxx.service2. 查看服务
2022-03-19 13:07:25
563
原创 Python中时间 & 时间戳之间的转换
使用python中的time模块，对时间的几种格式进行转换一、几个常用函数strptime()， 将 时间字符串 转换成 结构化时间 struct_time注意，结构化时间 是所有转换的 过渡格式import timetime_str = "2022-03-18 10:54:00"struct_time = time.strptime(time_str, '%Y-%m-%d %H:%M:%S')print(struct_time)time.struct_time(tm_year=20
2022-03-18 11:44:28
32236
原创 报错 ImportError: No module named xxx
ImportError: No module named xxx 是 Python 很常见的报错，一般就是2个原因没有该文件，例如使用 pip install tensorflow 即可解决目录层级不对，导致 import 报错，这种有时候很难解决情况 2 可以采用如下方式把你要 import 的包所在的目录层级写入系统路径即可，比如需要 import 的文件在执行文件的上一层，则按照如下写法即可import osthis_filename = __file__sys.path.appen
2022-03-16 21:45:22
1973
原创 【推荐系统多任务学习 MTL】PLE论文精读笔记（含代码实现）
论文地址：Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations前言PLE 为 Recsys 2020最佳长论文，出自腾讯的 PCG（Platform and Content Group） 推荐视频团队。PLE 是 MMoE （详见【推荐系统多任务学习MTL】MMOE论文精读笔记（含代码实现））的改进版，结构简单且效果好，PLE 主
2022-03-15 11:55:21
6137
1
原创 【推荐系统多任务学习MTL】ESMM 论文精读笔记（含代码实现）
论文地址：Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate一、前言点击率（Click-Through Rate，CTR）和转化率（Conversion Rate，CVR）在信息检索、推荐系统、在线广告等应用场景下都是非常重要的两个指标，因为它们直接关系到产品的盈利。关于 CVR，其实大部分情况下指的是点击后转化率，即 pCVR（post-click Convers
2022-03-14 22:02:32
1634
原创 numpy和matplotlib绘制直方图 histogram
一、matplotlib 自带函数实现matplotlib有一个简单的函数 plt.hist(a, bins=num_bins)，可以直接绘制直方图，如下#!/usr/bin/env python# coding=utf-8import matplotlib.pyplot as pltimport numpy as np"""绘制直方图data:必选参数，绘图数据bins:直方图的长条形数目，可选项，默认为10normed:是否将得到的直方图向量归一化，可选项，默认为0，代表不归一化，
2022-03-14 17:03:33
7885
原创 【推荐系统多任务学习MTL】MMoE论文精读笔记（含代码实现）
论文地址：KDD 2018 MMOE (内含论文官方讲解视频)PDF Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts一、前言阿里团队提出 ESMM 模型利用 MTL 的方法极大地提升了 CVR 预估的性能，同时解决了传统 CVR 模型预估的一些弊病。我们从模型的网络结构可以了解到，ESMM 是典型的 share-bottom 结构，即底层特征共享方式。这种 MTL 共享结构
2022-03-13 15:28:54
5414
1
原创 python matplotlib 实时绘图
有时候，需要获取动态数据，并实时绘图。比如从串口读取数据等等import matplotlib.pyplot as pltax = [] # 定义一个 x 轴的空列表用来接收动态的数据ay = [] # 定义一个 y 轴的空列表用来接收动态的数据plt.ion() # 开启一个画图的窗口for i in range(100): # 遍历0-99的值 ax.append(i)
2022-02-20 18:28:17
4616
1
原创 JAVA 后端学习路线 & 面试经验总结
女票准备找后端开发岗，特此总结了下后端开发的学习路线、知识点梳理和常见面试题。关于C++和 JAVA 的选择，题主更推荐 JAVA，因为JAVA岗位更多，选择更广。一、后端学习路线这部分主要是梳理一下后端开发的学习路线，相当于列一个学习大纲，做到心中有数Java 后端开发学习路线（修订版）一份完整的后端学习路线干货：21 张思维导图，柠檬哥肝了半个月的「后端技术学习路线」长啥样？二、JAVA知识点梳理这部分，汇总JAVA的重要知识点，可以就着学习，并以书籍和视频作为补充github
2022-02-05 14:25:19
559
原创 python 发邮件正文表格 html
在 Python 中将表格作为电子邮件正文(不是附件)发送参考table-email-templatePython 技术篇-邮件写入html代码，邮件发送表格，邮件发送超链接，邮件发送网络图片在 Python 中将表格作为电子邮件正文(不是附件)发送...
2022-01-13 17:38:44
1254
原创 tensorflow或运算 tf.logical_or & tf.math.logical_or
模块tensorflow.math为许多基本的数学运算提供支持。功能 tf.logical_or [别名 tf.math.logical_or ]为Tensorflow中的逻辑OR功能提供支持。期望输入布尔类型。输入类型为张量，如果张量包含多个元素，则将按元素进行逻辑或运算， xORyx OR yxORy 。用法:tf.logical_or(x, y, name=None) ortf.math.logical_or(x, y, name=None)参数：x：布尔类型的张量。y：布尔类型的张
2022-01-11 10:29:20
1253
原创 tf.ones_like & tf.zeros_like 用法
tf.ones_like(tensor,dype=None,name=None)tf.zeros_like(tensor,dype=None,name=None)新建一个与给定的tensor类型大小一致的tensor，其所有元素为1 或 0tensor=[[1, 2, 3], [4, 5, 6]] x = tf.ones_like(tensor) print(sess.run(x))输出：[[1 1 1],[1 1 1]]...
2022-01-10 19:24:19
519
原创 tf.add_n函数的用法
tf.add_n([p1, p2, p3…])函数是实现一个列表的元素的相加。就是输入的对象是一个列表，列表里的元素可以是向量，矩阵，等例如：import tensorflow as tf;import numpy as np; input1 = tf.constant([1.0, 2.0, 3.0])input2 = tf.Variable(tf.random_uniform([3]))output = tf.add_n([input1, input2]) with tf.Session
2022-01-06 11:31:25
467
原创 SQL查询笔记
show 的用法有一个库名是school,库中有一个表名是table_1。show columns from table_1; #返回当前表的列show tables; #显示数据库中的列表show databases; #显示MySQL中的列表show create database school; #显示创建数据库的语句show create table table_1; #显示创建数据表的语句show grants; #显示授予用户的安全权限show errors 或 show .
2021-12-20 11:26:50
210
原创 AUC计算python实现
#!/usr/bin/env python# coding=utf-8import numpy as npfrom sklearn.metrics import roc_curvefrom sklearn.metrics import aucdef auc_calculate(labels,preds,n_bins=100): postive_len = sum(labels) negative_len = len(labels) - postive_len tota
2021-12-16 11:29:44
1529
原创 Linux Crontab 定时任务
crontab的使用我们常用的命令如下：crontab [-u username] #省略用户表表示操作当前用户的crontab -e (编辑工作表) -l (列出工作表里的命令)参考关于定时时间设置：The quick and simple editor for cron schedule expressions by CronitorLinux Crontab 定时任务...
2021-11-09 16:44:09
699
原创 tf.stack详解
直接上代码，更直观# coding=utf-8# tf 2.0import tensorflow as tfa = tf.constant([[1,2,3], [3,4,5]]) # shape (2,3)b = tf.constant([[7,8,9], [10,11,12]]) # shape (2,3)ab = tf.stack([a,b], axis=0) # shape (2,2,3)print(ab)输出t
2021-11-03 16:15:36
588
原创 tf.gather_nd详解
其实就是取出对应位置的元素，直接看代码更直观简单# coding=utf-8# tf 2.0import tensorflow as tfa = tf.constant([[1, 2, 3, 4, 5], [6, 7, 8, 9, 10], [11, 12, 13, 14, 15]])index_a1 = tf.constant([[0, 2], [0, 4], [2, 2]]) # 随便选几个index_
2021-11-03 15:40:19
547
原创 保姆级讲解｜逻辑回归（LR）与最大熵模型
本文是笔者初学时的推导笔记，极其详细，可谓“保姆级”详细推导，看不懂的来打我好吧 ???? ???? ????另外，觉得前面在讲废话到可以直接跳到第三章???? ???? ????之前的一篇文章 交叉熵损失(Cross-entropy)和平方损失(MSE)究竟有何区别？ ，其中就涉及到逻辑回归，那么今天，我就把逻辑回归掰开了揉碎了再讲一遍本篇公式过多，导致编辑器直接卡死好几次，来个三连一点都不过分好吧 ???? ???? ????为了引出逻辑回归，先从最简单的线性回归开始讲起…一、直观理解1.
2021-10-07 20:17:30
271
原创 如何将 Latex 的tex文件转换为 markdown 的md文件
首先安装 pandoc 到你的电脑 pandoc 以windows为例输入如下指令cd tex文件所属的目录pandoc -s tex文件名.tex -o md的文件名.md即可在相同的目录下得到，其相对应的文件相同的方法还可以对其他类型的文本之间进行转化，具体还需要访问pandoc的官网，这里就不再赘述...
2021-10-07 17:16:25
3010
原创 收藏版｜史上最全机器学习优化器Optimizer汇总
虽然起了个“标题党”的题目，不过总有疏漏之处和不当之处，烦请留言告知前言首先，为什么需要优化器（Optimizer）这个东西呢，因为许多问题都是需要“优化”的（当然也包括未来35岁的你我????）。人生中，你经历的很多事都可以有一个目标函数（诸如买到房子，找到对象，生个娃，再“鸡”个娃，再买个房子，再帮他找个对象…），那么有了目标，就需要进行求解，也就是优化。如果你的目标很简单，就像一个沙盘大小，那你可以一眼就看出沙盘的最低点（或者最高点）在哪，也就是最优解；但是，如果你的目标函数是一个撒哈拉沙漠，你
2021-10-04 15:33:36
708
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人