- 博客(253)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 白话 Transformer 原理-以 BERT 模型为例
深入解读 Transformer 底层原理，结合大量生动的案例和图例推演，如同白话，阐述 Transformer 相关的多头注意力机制（Multi-Head Attention）、位置编码（Positional Encoding）、前馈神经网络（Feed Forward Neural Network）、Softmax等环节。同时详细解读了模型预训练、微调、运行的原理。
2024-01-30 19:58:57
830
原创 导读：Python 简史
在正式学习 Python 之前，我们应该对以下内容有所了解。Python 读音Python（英国发音：/ˈpaɪθən/ 美国发音：/ˈpaɪθɑːn/），是一种面向对象的解释型计算机程序设计语言，由荷兰人 Guido van Rossum 于1989年发明，第一个公开发行版发行于1991年。Python 命名Python 命名的由来颇具感性色彩，1989年圣诞节期间，在阿姆斯特丹，Gui...
2020-10-28 16:05:54
4495
原创 Python数据可视化：Matplotlib直方图、条形图、折线图、散点图、热图、饼图、极线图、气泡图尽收此处
Python数据可视化，Matplotlib绘图原理，直方图、条形图、折线图、散点图、热图、饼图、极线图、气泡图尽收此处。文章列表《Python数据可视化第1讲：matplotlib绘图原理》《Python数据可视化第 2 讲：matplotlib绘图中文字体设置》《Python数据可视化第 3讲：matplotlib绘图之函数plot()》《Python数据可视化第 4讲：matplotlib多图绘制函数subplot》《Python数据可视化第 5讲：matplotlib绘制条形图
2020-05-31 00:12:16
1103
原创 谈谈应聘阿里全流程（良心之作，好评满满）
应聘阿里是一个相对较长的流程，涉及岗位选择、简历投递、简历评估、技术面试、HR面试、背景调查、入职材料准备等环节。其中，关于技术面试，网上有很多优秀的攻略，但普遍聚焦于“纯知识点”总结，而阿里的技术面试并非单纯的知识点问答，单从技术层面做准备并不可取，此外，应聘流程中还有很多需要注意的点。
2019-05-04 22:02:53
22375
21
原创 Java 日志系列（三）：日志使用示例及常见报错
详细解读Java日志使用案例及常见报错1: Failed to load class "org.slf4j.impl.StaticLoggerBinder"；报错2：Class path contains multiple SLF4J bindings；报错3：Detected both log4j-over-slf4j.jar AND bound slf4j-log4j12.jar on the class path, preempting StackOverflowError
2023-09-12 09:54:34
304
原创 Java 日志系列（二）：Java 日志使用中需要遵循的规范及注意事项
笔者将通过 3 篇文章全面系统地介绍 Java 日志框架，主要内容如下：日志的意义与价值；Java 日志框架进化史；日志门面与日志系统；日志框架的使用选择；日志使用中需要遵循的规范及注意事项；日志使用示例及常见报错。本文作为日志话题的第二篇，将结合具体案例介绍日志的使用。
2023-09-11 10:13:07
760
原创 Java 日志系列（一）：详解主流日志框架Log4j、Log4j 2、JUL、Commons Logging和Slf4j&Logback
优雅的日志系统可以记录操作轨迹，监控系统运行状况以及回溯系统故障。在工作中，部分工程师对主流的日志框架仍然是一知半解，日常应用还停留在复制粘贴的层面，因此写作本文，希望对读者有所帮助。笔者将通过 3 篇文章全面系统地介绍 Java 日志框架，主要内容如下：日志的意义与价值；Java 日志框架进化史；日志门面与日志系统；日志框架的使用选择；日志使用中需要遵循的规范及注意事项；日志使用示例及常见报错。
2023-09-11 10:00:54
1214
原创 后端开发进阶之路：后端开发核心竞争力之一抽象建模能力
服务端开发工程师在大部分工作时间里并不是在写代码，而是在抽象建模。工程师需将业务需求抽象成领域模型、模块、服务和系统，面向对象开发时需抽象出类和对象，面向过程开发时抽象出方法和函数。某种意义上，软件的本质就是抽象，建模则是系统地实施抽象的过程。作为一种将事物形象化的有效手段，建模可将现实世界中的事物及事物之间的关系准确地表达出来。本文通过一个真实案例详细深入浅出解读抽象建模。
2023-09-08 17:30:41
233
1
原创 后端开发进阶之路：从 Lock 指令前缀切入，解读 Java Volatile、CAS 及 Automic 包
初见之下，锁如同一把“万能钥匙”，但其缺陷也很明显——较“重”，并不适合简单的应用场景，比如，多线程环境下保证共享变量 i++ 操作的原子性，加锁可以实现，但有点“牛刀杀鸡” 的味道。因此，Java 提供了更 “轻” 的方案：volatile、CAS 和 Automic 系列原子类。三者联系紧密，volatile 和 CAS 都是基于 LOCK 指令前缀实现的，Automic 系列原子类是基于 volatile 和 CAS 实现的。
2023-09-05 17:35:41
224
原创 后端开发进阶之路：深入解读 Java 异常堆栈丢失原因
在应用程序的开发和维护中，通常需要借助运行日志来监控和定位问题。其中，在日志中打印异常堆栈信息对于定位问题极为重要，作为开发，对打印异常堆栈应该不陌生。笔者在实践中曾遇到一个奇怪的现象: Java 应用运行中，当发生 NullPointerException、ArithmeticException、ArrayStoreException、ClassCastException、ArrayIndexOutOfBoundsException 这几种异常时，异常的堆栈信息有时会莫名其妙地“丢失”。
2023-09-04 20:05:08
489
原创 阿里面试经验分享：从被回绝到Offer，详解应聘阿里技术岗位注意事项
本文是《谈谈应聘阿里全流程》的姊妹篇，《谈谈应聘阿里全流程》发布后，收到了很多读者的积极反馈，但其中也反映出读者普遍的困惑：清楚了应聘流程，该如何有针对性地做应聘准备呢？这个问题从正面并不好回答，那么，不妨逆向寻解：本文将详细介绍那些导致应聘者被回绝的系列因素，并基于这些因素有针对性地阐述应对方案；同时解读应聘准备和面试环节需要注意的事项。
2023-09-01 22:34:46
1262
1
原创 AI时代又如何？程序员无须焦虑
2022 年 11 月 30 日，OpenAI 发布了一款名为 ChatGPT(Chat Generative Pre-trained Transformer) 的聊天机器人程序，旋即引爆网络，给全球带来了巨大冲击。紧随其后，各种大语言模型如雨后春笋不断出现。国外如 Google 的 Bard、Anthropic 的 Claude，国内如百度文心一言、阿里通义千问、讯飞星火认知大模型、昆仑万维天工大模型等。
2023-08-16 21:12:26
449
原创 推荐系统（十）用户行为序列建模-Pooling 路线
用户历史行为是非常重要的信息。基于丰富、不同用户差异大、随时间不断变化的行为数据，如何有效利用这些信息，挖掘出用户隐藏在行为背后的真正兴趣，从而将其准确表达出来，既能体现出不同用户的差异性，又能捕捉到用户兴趣随着时间的变化，对推荐效果非常关键。
2023-07-25 16:51:13
1150
原创 推荐系统（九）SENet 双塔模型在推荐领域召回粗排的应用
在推荐领域，双塔模型是粗排/召回环节应用最为广泛的算法模型，各种改进型双塔模型层出不穷，本文介绍一种基于 SENet 的双塔模型。
2023-07-21 21:10:57
749
转载 推荐系统（八）分类 TAB 商品流多目标精排模型的演进
分类 TAB 商品流是得物 App 购买页面内除“推荐”页外的所有 TAB 内的商品推荐流，如“鞋类”、“箱包”等。当用户进入分类 TAB 中，我们可以简化为给定 三元组的商品流推荐，可以看出，分类 TAB 的推荐场景跟其他“开放式”推荐场景的最大差异在于，是限定条件下（品类）的推荐，与搜索场景有一点相似度，分类 TAB 代表着用户的品类意图。以我们目前的迭代进度，现阶段主要聚焦于 的二元建模，实际上
2023-07-21 11:32:01
908
转载 推荐系统（七）知识蒸馏优化粗排模型
上篇文章（机器学习33：《推荐系统-VI》双塔模型）介绍了双塔模型，分析了其存在问题以及基本优化思路，本文梳理粗排模型从预估分、排序结果、特征三个方面蒸馏学习精排模型。
2023-07-19 19:52:06
319
转载 推荐系统（六）双塔模型
双塔模型是推荐场景中常用的粗排模型之一，本节主要介绍几种典型的双塔模型及其变型，如SENet 双塔模型，并联双塔，蒸馏学习，对偶增强双塔，阿里 COLD。
2023-07-19 18:05:10
898
原创 推荐系统（五）再谈召回、打分和重排
在《机器学习28：推荐系统-概述》一文中，笔者概述了推荐系统的基本术语和一般架构，通过【推荐系统 I～IV】系列课程的学习，相信读者对推荐系统已经有了一定的理解。本节，我们再来回顾一下推荐系统的核心环节——召回、打分、重排。
2023-07-18 17:35:19
442
原创 推荐系统（四）深度神经网络DNN
深度神经网络 (DNN) 模型可以解决矩阵分解的这些局限性。DNN 可以轻松地合并 User 特征和 Item 特征（由于网络输入层的灵活性），从而帮助捕获用户的特定兴趣并提高推荐的相关性。
2023-07-13 17:51:13
964
1
原创 推荐系统（三）使用 TensorFlow 构建电影推荐系统
本文将介绍基于MovieLens 数据集创建一个电影推荐系统的方法。具体而言，包括探索电影数据，训练矩阵分解模型，检查嵌入，矩阵分解中的正则化，Softmax 模型训练等内容。
2023-07-10 15:09:10
971
原创 推荐系统（二）协同过滤
在《机器学习28：《推荐系统-I》概述》一文中，笔者介绍了“基于内容过滤（content-based filtering）”和“协同过滤（Collaborative Filtering）”两种常见的【候选 Item 池】生成方法。其中，基于内容过滤非常简单，当然，其局限性也很明显。相较之下，协同过滤会同时利用 User 和 Item 之间的相似性来推荐。
2023-07-07 17:07:22
482
原创 推荐系统（一）概述
在互联网领域，推荐系统（Recommendation Systems）的应用非常广泛。在音视频方面，如抖音、快手、哔哩等；在电商平台方面，如京东、淘宝、拼多多等。推荐有助于帮助用户快速发现潜在感兴趣的内容（音视频、商品、新闻等信息流），从而提升用户体验，同时有助于提升商业效率。从本文开始，笔者将结合自身在信息流推荐领域的经验，通过系列文章对推荐系统展开介绍。
2023-07-07 15:15:44
2784
原创 机器学习27：使用 Pandas 和 TensorFlow 进行数据建模编程实践
本文详细介绍了基于Pandas 和 TensorFlow 探索、清理以及转换用于训练模型数据集的方法，辅以代码和图片。
2023-07-06 16:12:09
557
原创 机器学习26：《数据准备和特征工程-IV》数据转换
特征工程 是确定哪些特征可能对训练模型有用，然后通过转换日志文件等数据来源中的原始数据来创建这些特征的过程。在本文中，笔者将重点讨论何时以及如何转换数字和分类数据，以及不同方法的权衡。
2023-07-05 21:32:33
777
1
原创 机器学习24：《数据准备和特征工程-II》收集数据
构建数据集常用的步骤包括：收集原始数据；识别特征和标签来源；选择抽样策略；拆分数据。这些步骤在很大程度上取决于你如何构建 ML 问题。本文主要介绍——数据收集。
2023-07-05 16:25:43
1973
2
原创 机器学习23：《数据准备和特征工程-I》概述
机器学习帮助我们找到数据中的模式，然后我们用这些模式来预测新的数据点。为了获得正确的预测，我们必须构建数据集并正确地转换数据。在《数据准备和特征工程》系列文章中，笔者将重点介绍这两个关键步骤。
2023-07-05 15:25:33
109
原创 机器学习22：机器学习工程落地注意事项-II（公平-Fairness）
负责任地评估机器学习模型需要做的不仅仅是计算损失指标。在将模型投入实际应用之前，审核训练数据并评估偏见（Bias）对于预测至关重要。本文内容着眼于解读训练数据中可能存在的不同类型的人类偏见，同时提供了识别它们并评估其影响的策略。
2023-07-05 14:09:50
830
原创 机器学习21：机器学习工程落地注意事项-I
ML 代码是现实世界 ML 生产系统的核心，但该框通常仅占整个 ML 生产系统整体代码的 5% 或更少。在实际应用中，机器学习生产系统需投入大量资源来输入数据——收集数据、验证数据并从中提取特征。此外，服务基础设施必须到位，才能将 ML 模型的预测付诸现实世界的实际应用。
2023-07-04 19:45:58
286
原创 机器学习20：嵌入-Embeddings
嵌入（Embeddings）是一个相对低维的空间，我们可以将高维向量转换到其中。嵌入使得对大型输入（例如表示单词的稀疏向量）进行机器学习变得更加容易。理想情况下，嵌入通过将语义相似的输入紧密地放置在嵌入空间中来捕获输入的一些语义。嵌入可以在模型中学习和重用。
2023-07-04 17:41:26
1698
原创 机器学习19：多类别神经网络-Multi-Class Neural Networks
在本文中，我们将研究多类分类，它可以从多种可能性中进行选择。例如：这架飞机是波音 747、空客 320、波音 777 还是巴西航空工业公司 190？这是苹果、熊、糖果、狗还是鸡蛋的图像？在现实世界中，多分类问题需要从数百万个单独的类中进行选择。例如一个可以识别几乎任何东西的图像的多类分类模型。
2023-07-04 17:01:06
1141
原创 机器学习18：训练神经网络-最佳实践
在【机器学习17】中，笔者介绍了反向传播算法。反向传播算法是神经网络最常见的训练算法。它使得梯度下降对于多层神经网络来说是可行的。 TensorFlow 可以自动处理反向传播，因此我们不需要深入了解该算法。要了解其工作原理，请阅读【机器学习17】。本文将重点解释反向传播的失败案例以及正则化神经网络的最常见方法。
2023-07-04 16:31:13
855
原创 机器学习16：使用 TensorFlow 进行神经网络编程练习
在【机器学习15】中，笔者介绍了神经网络的基本原理。在本篇中，我们使用 TensorFlow 来训练、验证神经网络模型，并探索不同 “层数+节点数” 对模型预测效果的影响，以便读者对神经网络模型有一个更加直观的认识。
2023-07-03 21:16:45
529
原创 机器学习15：神经网络-Neural Networks
神经网络是特征交叉的更复杂版本。本质上，神经网络会学习适当的特征组合。本文主要介绍神经网络的结构、隐藏层、激活函数等内容。
2023-07-03 15:31:17
1667
原创 机器学习14：稀疏性-Sparsity
现实世界中，问题的特征的数量往往是很大的，而其中起决定性作用的往往是很小的一部分，稀疏规则化算子的引入会学习去掉这些没有信息的特征，也就是把这些特征对应的权重置为 0。
2023-07-03 11:51:47
1453
2
原创 机器学习13： 使用 TensorFlow 进行二元分类（Binary Classification）编程实践
在【机器学习6】和【机器学习9】中，我们使用 TensorFlow 进行了“线性回归模型”和“组合特征”编程实践。本质上，其中采用的都是回归模型，也就是说，我们创建了产生浮点预测的模型，比如“这个社区的房子要花 N 千美元。” 在本篇，我们将创建并评估一个二进制分类模型。
2023-06-30 21:05:47
635
原创 机器学习12：分类 Classification
分类（Classification）是一个有监督的学习过程，目标数据集（示例集）中具有的类别是已知的，分类过程需要做的就是把每一条记录归到对应的类别下。由于必须事先知道各个类别的信息，并且所有待分类的数据条目都默认有对应的类别，因此分类算法也有其局限性，当上述条件无法满足时，我们就需要尝试聚类（后面介绍）分析。在【机器学习11】中，笔者介绍了（Logistic Regression），它就是一种分类分析，它有正向类和负向类，即：y ∈ {0, 1}，其中 0 代表负向类，1 代表正向类。
2023-06-29 11:38:15
995
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人