- 博客(13)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Pytorch使用BERT预训练模型微调文本分类，IMDb电影评论数据集
最近终于用Pytorch把BERT的fine tune本文分类跑通了，算是对于pytorch和bert的理解都深了一点。现在把我训练的整个流程记录分享一下。Google Colab因为BERT的模型比较大，参数也非常多。所以自己电脑用CPU是基本跑不出来的。在Google Colab上用免费GPU我感觉非常方便。对于新手而言，其交互式界面也很友好。还有一个好处是Google Colab自带...
2020-03-18 15:58:25
7994
11
原创 决策树(Decision Tree)
决策树最近要学习的东西很多，今天看了决策树和集成学习。感觉内容不是很复杂，其中决策树的内容我在信息论课上也学过。所以来写篇博客记录一下。这篇博客的主要参考资料是周志华老师的西瓜书《机器学习》决策树是什么决策树是一类常见的机器学习方法。顾名思义，决策树是基于树结构来进行决策的，这恰是人类在面临决策问题时一种很自然的处理机制。我们对一个东西的多个属性进行依次判别，最后得到最终决策。一般的，一...
2020-03-13 16:26:23
419
原创 主成分分析（PCA，Principle Component Analysis）
PCA 算法公式推导最近一直在B站上看一个UP主的机器学习白板推导，感觉很有益处，因为之前看过的各种博客似乎都一直强调对EM算法的感性认识，缺少了很多的推导过程。我想，要完全理性地了解这个算法，还是要一步一步地通过推导。主要参考资料：白板推导视频台大李宏毅机器学习课程简述PCA是一个无监督的降维算法。它要做的事情其实很简单，就是在空间中找多个正交的维度，使得空间中的数据落在这些维度上后尽...
2020-02-27 20:41:45
407
原创 梯度下降（Gradient Decent）与随机梯度下降（Stochastic Gradient Decent）
与EM算法类似，梯度下降算法同样是一个优化算法。它所要解决的问题是：求得θ⋆=arg minL(θ)\theta^{\star}=\argmin L(\theta)θ⋆=argminL(θ)其中θ\thetaθ是待更新的参数，注意这可以包括多个参数，也就是说θ\thetaθ是一个向量，L(θ)L(\theta)L(θ)是loss function。整个过程用数学来描述其实很简单在...
2020-02-17 14:11:30
943
1
原创 EM(Expectation Maximization) 算法推导（二）
EM算法公式推导最近一直在B站上看一个UP主的机器学习白板推导，感觉很有益处，因为之前看过的各种博客似乎都一直强调对EM算法的感性认识，缺少了很多的推导过程。我想，要完全理性地了解这个算法，还是要一步一步地通过推导。主要参考资料：白板推导视频公式导出：ELBO+KL divergence在上一讲EM算法公式推导（一）我们说到了EM算法有θ\thetaθ的迭代公式θ(t+1)=arg ma...
2020-02-10 16:21:43
1327
1
原创 EM(Expectation Maximization) 算法推导（一）
EM算法公式推导最近一直在B站上看一个UP主的机器学习白板推导，感觉很有益处，因为之前看过的各种博客似乎都一直强调对EM算法的感性认识，缺少了很多的推导过程。我想，要完全理性地了解这个算法，还是要一步一步地通过推导。主要参考资料：白板推导视频以下所有推导公式都是latex手打。参数估计与EM算法EM算法解决的其实是一个参数估计的问题。在普通的参数估计中我们要做的其实是θ=arg ma...
2020-02-10 15:04:20
274
原创 拼多多2019实习算法岗招聘笔试记录
在经过了腾讯的洗礼后，这次拼多多的笔试做的还不错。2个小时4道编程题，都做对了。在此凭记忆写下题目并给出解答。第一题：给一组数，数的个数是偶数，两两配对求和，使得和的最大值减去和的最小值最小。求这个差值。题目看上去挺难的，当时想了一下感觉就是排序后第一个和最后一个组合，第二个和倒数第二个组合……记录一下最大值和最小值就行了。后来提交上去AC了。改天用数学证明一下这种配对方式是使得最小差值的...
2019-04-05 02:17:38
666
原创 LOL代练检测——2019腾讯游戏安全技术竞赛决赛记录
决赛去了深圳，过了几天吃喝全包的生活，感觉快爱上腾讯和深圳了。虽然最后没有拿到名词……进决赛的一共有20多个人，数据分析方向一共8个，其中机器学习仅有4个。我以为决赛会有一个不太一样的题目背景，后来发现只是在初赛基础上增加了一份数据：机器登录ID。所以总的来说，我们掌握的信息共计有：各玩家在10日内的行为流水数据、战绩流水数据和登陆的机器ID数据。机器ID大概是用MAC地址来映射的，每台机器是...
2019-04-05 00:09:08
3838
2
原创 LOL代练检测——2019腾讯游戏安全技术竞赛初赛记录
因为想要去腾讯实习，所以参加了今年的腾讯游戏安全技术竞赛，这个比赛赢了会有一个实习的绿色通道。选了数据分析方向里面的机器学习。初赛题目很有趣，关于LOL（英雄联盟）的代练检测。Moba游戏常见的5v5模式，玩家将与其余9名玩家共同组成对局。对局双方各5人，两方队伍通过优先推倒敌方水晶来取得胜利。排位赛的单双模式指：玩家可以选择自己参加排位或以双人组队的形式参加排位赛，比赛成绩都会对自己的段...
2019-03-26 15:17:58
12134
原创 2019腾讯春招暑期实习提前批笔试和面试经验。岗位：PC客户端开发
终于轮到我来写笔试经验面经了，就在7个小时前结束了第一轮面试。这个博客也将是我博客生涯的开篇，之后应该还会有源源不断的博客，包括日常记录以及知识总结。我现在大三，参加了腾讯的暑期实习的提前批招聘。笔试是在3天前进行的，我以为会有一些填空题或者一些主观题，但是事实证明考察内容很硬核：五道编程题两个小时。第一道编程：无限的面值为1，2，3……n的n种硬币组成金额为S，至少多少个硬币。非常简...
2019-03-13 02:26:10
2073
3
原创 PPT一键转换PDF（Workflow）
⚠️注意：适用于macOS10.12、PowerPoint15.15以后版本。macOS系统下使用Automator应用，编写一段简单的Workflow程序，即可实现Finder内的PPT文件一键转化为PDF。代码来源于国外论坛，但是实际使用的时候并非真正的“一键转换”，需要打开Automator应用、允许文件夹适用权限等等。这里提供自用的修改版本，十分方便。1、编写Applescript...
2019-03-07 19:04:17
477
原创 马克笔记 | macOS 包管理工具 Homebrew
利用 Homebrew 可以在 macOS 上方便地管理软件包。引言1. 关闭自动更新这条指令置顶，因为 Homebrew 自己检查更新卡住的问题很头疼……export HOMEBREW_NO_AUTO_UPDATE=true2. 什么是 Homebrew？Homebrew 官网有一句话：Homebrew complements macOS（ Homebr...
2018-09-19 16:59:53
480
原创 一日一技 | 利用油猴插件自定义网页显示字体
浏览器打开网页的字体，可以通过安装油猴插件的方式实现自定义，带来统一的阅读体验。引言效果图示例如下。效果图上图左侧，用 Safari 打开百度百科词条页面，默认显示的网页字体是 macOS 中自带的仿宋体。这种字体在 Mac 的屏幕下略显突兀，字体不够美观，与上方表单中显示的平方字体的“宋体”二字也不项映衬。通过添加油猴插件，可以实现右侧图片的显示效果，即网页内所有的字体都统一为苹...
2018-09-18 22:10:39
5581
1
Head First HTML5 Programming（中文版）
2019-03-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人