- 博客(1011)
- 资源 (69)
- 收藏
- 关注
RSS订阅原创 defaultdict()
Python中通过Key访问字典，当Key不存在时，会引发‘KeyError’异常。为了避免这种情况的发生，可以使用collections类中的defaultdict()方法来为字典提供默认值。
2024-03-05 09:59:40
111
原创 生成式大语言模型关键技术在民航维修领域中的应用探索与挑战
专业领域大模型：南方电网电力大模型：电网异常情况秒级自动化生成处置源百度与河北高速：大模型智能信控。
2024-02-23 18:53:41
57
原创 实习笔记12-Keyword-Attentive Deep Semantic Matching
首先QA语义检索用关键词之后如何用呢？在BERT里面添加一个关键词注意力层之后构建正负样本的时候，采用的是关键词重叠和实体替换的方法。
2024-01-15 15:21:45
839
原创 实习笔记11-看Function Vectors in Large Language Models的代码
代码地址：https://github.com/ericwtodd/function_vectors我们的主要评估脚本位于 src 目录中，其中包含 src/eval_scripts 中的示例脚本包装。其他主要代码分散在各种 util 文件中：看起来你正在使用 Jupyter Notebook，并希望启用自动重新加载模块的功能。这两行代码的作用是在执行代码前自动重新加载已导入的模块，以确保你对代码的修改能够立即生效。
2024-01-10 17:36:54
403
原创 实习笔记10-FUNCTION VECTORS IN LARGE LANGUAGE MODELS-大语言模型中的函数向量
报告了一种神经机制的存在：该机制是将输入输出函数表示为自回归语言模型中的向量。函数向量（FV），ICL任务的因果中介分析，FV对上下文的变化具有鲁棒性。作者研究了FV的内部结果，发现虽然它们通常包含编码函数输出空间的信息，但仅靠这些信息不足以重建FV。作者测试了fv中的语义向量组合，并发现在某种程度上它们可以被求和以创建触发新的复杂任务的向量。综上所述，研究结果表明llm包含可在各种上下文中调用的通用函数的内部抽象。从一个任务中提取FV，插入到不相关的上下文中引诱新的有关任务的生成。
2024-01-10 15:11:59
1069
原创 实习笔记9-In-Context Learning的可解释性-In-Context Learning Creates Task Vectors
发表在：EMNLP 2023。
2024-01-08 17:43:28
403
原创 实习笔记8-复现Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning
【代码】实习笔记8-复现Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning。
2023-12-29 11:02:55
363
原创 实习笔记7-transformer的language modeling解析-5（run_clm_no_trainer)
【代码】实习笔记7-transformer的language modeling解析-5（run_clm_no_trainer)
2023-12-27 16:31:10
439
原创 实习笔记6-transformer的language modeling解析-4（run_mlm)
【代码】实习笔记6-transformer的language modeling解析-4（run_mlm)
2023-12-27 16:08:34
400
原创 实习笔记5-transformer的language modeling解析-3（run_clm结束）
目的是在标记化的过程中监控可能的问题，特别是针对输入文本长度的问题。这段代码使用 group_texts 函数将标记化后的数据集 tokenized_datasets 组织成适应模型输入的块，并生成一个新的数据集 lm_datasets。代码确保了 block_size 的合理设置，以适应模型的最大长度，并在用户指定块大小时进行相应的处理和警告。这段代码定义了一个名为 group_texts 的函数，该函数的主要目的是将文本数据组合成固定长度的块（chunks）。通常用于在训练之前对数据集进行标记化处理。
2023-12-27 15:39:35
509
原创 考公笔记-逻辑填空1
自惭形愧：比喻相比之下有很大差距，远远不如，往往不用于大小方面的对比。黯然失色：比喻相比之下有很大差距，远远不如，往往不用于大小方面的对比。骚动：受某种原因或情绪感染，在人群中中或人的心里产生的不安定的波动。慷慨豪放：情绪激昂，充满正气和豪情，书画中体现，大开大合的表现风格。如梦如幻：很美，朦朦胧胧，不像在现实中，并无“梦幻”之意。老生常谈：人们听惯了的没有新意的话，常搭配观点，话题。比上不足：赶不上前面的，却超过了后面的，体现居中。萧疏清远的追求，空灵荒寒的境界，耿介拔俗的灵魂。
2023-12-27 15:04:55
355
原创 实习笔记4-transformer的language modeling解析-2
2**20.2f这段代码的目的是根据是否提供了数据集名称和配置，以及是否设置了上传到 Hugging Face Hub 的标志，执行不同的操作，例如将模型推送到 Hub 或创建模型卡片。
2023-12-27 14:04:26
416
原创 实习笔记三-transformer的language modeling解析-1
Masked Language Modeling (MLM) ：掩模语言模型(MLM)，无监督，同BERT，随机替换部分token进行完形填空。不同之处在于，输入不是句子对，而是任意个句子组成的文本流（截断512），并且为了均衡稀有tokens和高频tokens(比如标点符号和停止词)， 对高频词进行subsampling后mask。Causal Language Modeling (CLM) ：因果语言模型，无监督，同Transformer，给定一个句子，根据前k个单词预测第k个单词。
2023-12-26 18:51:20
474
原创 吴恩达《构建和评估高级的RAG模型应用》|笔记
1.1 句窗检索不仅是最相关的句子，而且是文档中和其之间和之后发生的句子窗口，以获得更好的上下文。1.2 自动合并检索将文档组织成类似树状结构的形式，每个父节点的文本在其子节点之间分配。当足够多的子节点被确定为与用户的问题相关时，父节点的整个文本将作为LLM的上下文提供。
2023-12-03 20:15:47
649
原创 翻译2-张骞出使西域
答案：He had brought Chinese silks and silk products to West Asia and Europe. He had brought Chinese silks and silk products to West Asia and Europe , and had opened up the famous "Silk Role"in the history.他不畏艰险,克服重重困难,两次出使西域,开通了中国同西亚和欧洲的通商关系。
2023-11-23 22:00:23
961
原创 翻译-郑和下西洋
答案：In order to remember and honor Zhenghe and his great achievements for good, July 11th, the day that Zhenghe first led the fleets to voyage, was designated as the Chinese Voyage Festival.他曾七次率领庞大的船队远航，访问了西太平洋和印度洋的许多国家和地区，加深了中国同东南亚、东非的相互了解。[填空题] 答案是什么？
2023-11-23 21:17:55
356
原创 LLM总结
根据数十万提示词，利用前一阶段训练的奖励模型，对有监督微调模型对用户提示词补全结果的质量进行评估，并与语言模型建模目标综合得到更好的效果。难点：如何构建训练数据，包含训练数据内部多个任务之间的关系，训练数据与预训练之间的关系以及训练数据的规模。是自回归的，即对于每一个单词的生成过程，仅有当前单词之前的目标语言序列是可以被观测的，查询是通过解码器前一层的输出进行投影的，而键和值是使用编码器的输出进行。它的作用是在翻译的过程当中，为了生成合理的目标语言序列需要观测待翻译的源语言。
2023-11-23 09:46:59
887
原创 INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation
神经机器翻译问题KNN-MT提供了一个有效的范式来平滑推理过程中基于近邻表示的巨册KNN-MT推理花销大INK，通过少量新参数调整KNN邻居的表示来直接平滑表示空间，然后使用新参数刷新整个代表数据存储，以异步获取新的KNN知识，一直循环直接到收敛。我们提出了一个训练框架来根据kNN知识平滑表示空间。•我们在框架中设计了一个注入和完善的训练循环。实验表明，异步刷新数据存储很重要。•我们的INK系统实现了有希望的改进，并击败了最先进的kNN-MT系统。
2023-11-06 11:35:32
56
原创 Why do Nearest Neighbor Language Models Work?
语言模型是什么？通过上下文的表示并使用表示预测下一个单词来计算概率为什么引入检索增强偶线，特别是k最近邻语言模型(knn-lm)比标准参数LM表现得更好。原因如下？使用不同得输入表示来预测下一个token近似knn搜索softmax温度对Knnfenbu de zhongyaoxing。
2023-11-06 11:17:00
45
原创 Do PLMs Know and Understand Ontological Knowledge?
预训练语言模型是否能够理解本体知识？探究预训练语言模型能否存储本体知识，并对知识进行语义理解。PLM的记忆程度：实体类型，类和属性之间的层次关系。属性的域和范围约束。本体论知识图Lionel Messi 梅西是阿根廷足球队的一名成员梅西的类型是一个人，人是属于动物的阿根廷足球队是一个足球队，足球队是一个组织member of Sports Team 是类和属性之间的关系member of Sports Team 是Member of 的子属性属性的域和范围约束。
2023-11-03 15:30:32
53
原创 论文哈哈哈
金等人引入字符级内部信息来进行词汇的义原预测，缓解单独使用外部信息而带来的问题。提出了词汇义原预测任务，并基于协同过滤和矩阵分解两种两种简单但又有效的方法。将词典定义引入到义原预测中，发现定义中丰富的语义信息对于义原预测非常有利。基于BalbelNet构建一个多语言义原知识库。利用字形信息进行词汇的义原预测。跨语言词汇义原预测任务。
2023-11-03 09:50:00
34
原创 NLP DAY45 Going “Deeper”: Structured Sememe Prediction via Transformer with Tree Attention
所有基于 Transformer 的模型都显着优于 NSTG 模型，这主要是因为 NSTG 仅根据相似的同义词集和现有的义原对进行预测，而测试集中 11.5% 的同义词集具有未见过的义原对，这对 NSTG 来说是很难预测的。Depth embedding 的增益比 Distance embedding 的增益要大得多，这可能是因为 Depth embedding 中树结构的可学习参数数量更多。BLEU 之间的差异小于 F1 的差异，这表明 BLEU 分数可能无法捕获输出树和答案之间的层次相似性。
2023-10-09 19:36:58
61
原创 NLP Day 45 Tool Learning with Foundation Models
人类拥有创造和利用工具的非凡能力，使他们能够克服身体限制，探索新的领域。随着最近强大的基础模型的出现，人工智能系统有可能像人类一样熟练地使用工具。这种范式被称为工具学习与基础模型，它结合了专业工具和基础模型的优势，以提高解决问题的准确性、效率和自动化。尽管潜力巨大，但对该领域的关键挑战、机遇和未来努力仍缺乏全面的了解。为此，本文对工具学习进行了系统的调查和全面的回顾。我们首先介绍了工具学习的背景，包括它的认知起源、基础模型的范式转变以及工具和模型的互补作用。
2023-10-09 15:10:38
83
原创 面试题 202301 什么是*args和 **kwargs?
允许函数接受不定数量的位置参数和关键字参数，使函数更加灵活和通用。增加了函数的灵活性，使其能够处理不同数量和类型的参数，而不需要在函数定义时明确定义每个参数。
2023-09-29 13:46:29
65
原创 【Django】学习
python知识点：函数，面向对象前端开发：HTML,CSS,JavaScript,jQuery,BootStrapMySQL数据库Python的Web框架Flask,自身短小精悍 + 第三方组件Django，内部已集成了很多组件 + 第三方组件。
2023-08-14 16:34:43
53
原创 GUI编程
这是一个使用tkinter库创建了一个简单的GUI窗口的python代码示例 # tkinter 使python中内置的标准GUI库 from tkinter import * # 创建一个TK窗口top = Tk() # 创建一个标签并设置文本内容为 "hello world" label = Label(top , text = 'hello world') # 将标签添加到窗口中label . pack() # 创建一个label标签，用于显示指定的文本内容。
2023-07-28 20:02:34
35
原创 hidden_states = outputs.matmul(self.bert_model.bert.get_input_embeddings().weight) 中文解释
假设outputs的形状为(batch_size, sequence_length, hidden_size)，其中batch_size表示批次大小，sequence_length表示输入序列的长度，hidden_size表示BERT模型的隐藏状态大小。这个权重矩阵的形状是(vocab_size, hidden_size)，其中vocab_size表示词汇表的大小，hidden_size表示BERT模型的隐藏状态大小。这行代码是对BERT模型的输出进行处理的操作，其中涉及到矩阵乘法和权重矩阵的使用。
2023-07-27 18:34:25
208
原创 论文阅读|Try to Substitute: An Unsupervised Chinese Word Sense Disambiguation Method Based on HowNet
论文阅读
2023-06-08 18:54:39
158
1
原创 UnicodeDecodeError: ‘utf-8‘ codec can‘t decode bytes in position 1022-1023: unexpected end of data
已连接到 pydev 调试器(内部版本号 222.4167.33)Traceback (most recent call last):出现这个错误。
2023-04-13 11:05:23
301
1
原创 寻找失物信
Dear Thomas,I have returned safely to my home in Shanghai , and wish to thank you for everything you did for me . I really enjoyed my stay in the US.However, I regret to tell you that upon my arrival in Shanghai I suddenly discovered that I had left my _
2023-02-27 21:03:08
80
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人