- 博客(71)
- 资源 (48)
- 收藏
- 关注
RSS订阅原创 Ubuntu20.04安装CUDA、cuDNN、tensorflow2可行流程（症状：tensorflow2在RTX3090上运行卡住）
具体操作：终端中输入"vim .bashrc"，先输入i进入编辑模式，在末尾添加下面两行，其中具体是填写cuda-11.0还是cuda，这要看你的/usr/local里面的文件夹是cuda还是cuda-11.0，我的话因为装了好多个版本，所以有cuda、cuda-11.0、cuda-11.2等等，所以需要分清楚。添加之后，点击”Esc“，输入“:wq”保存并退出。接着运行第二个指令开始安装，等待提示，按步骤选择就行，主要是下面这一步，如果你已经安装了很高版本的CUDA Driver了的话，就没必要选他了。
2023-11-02 01:45:30
1025
原创 简略阅读《Test Selection for Deep Learning Systems》
《Test Selection for Deep Learning Systems》Abstract:深度学习模型的测试是具有挑战性的，因为涉及的计算的数量和复杂性。因此，测试数据选择以一种特别的方式手动执行。这就提出了一个问题，即我们如何自动选择候选数据来测试深度学习模型。最近的研究集中在定义度量标准来度量测试套件的完整性，并依赖这些度量标准来指导新测试的生成。然而，选择/优先级测试输入(例如，人工标记)的问题仍然是开放的。在本文中，我们基于模型不确定性(特定输入的模型置信度)的概念，对一组测试选择度
2021-10-07 14:25:08
327
原创 简略阅读《Guiding Deep Learning System Testing using Surprise Adequacy》
Guiding Deep Learning System Testing using Surprise AdequacyAbstract深度学习(DL)系统正迅速被应用于安全和安全关键领域，迫切需要测试其正确性和鲁棒性的方法。DL系统的测试传统上依赖于手工收集和标记数据。近年来，人们提出了许多基于神经元激活值的覆盖标准。这些标准本质上是计算在DL系统执行过程中，满足某些特性(如超过预定义阈值)的激活神经元的数量。然而，现有的覆盖标准不够细粒度，无法捕获DL系统所表现出的微妙行为。此外，评估的重点是显示对
2021-10-06 17:46:29
557
原创 软件缺陷自动修复技术
软件缺陷自动修复技术综述2.1基于启发式搜索(1) 利用变异算子采用遗传算法,通过定义代码片段的交叉和变异操作实现已有代码片段的重新组合,增大补丁的搜索空间随机搜索对遗传算法的优化对遗传算法中的表示方法进行了优化加速通过对遗传算法的种群初始化以及变异过程进行优化来补丁空间进行了扩充面向字节码(2) 利用历史修复补丁引入修复历史从历史修复中挖掘的代码修改操作指导补丁生成考虑了代码修改的上下文信息来约束搜索空间基于AST直接应用历史中人工修复的模板。(3) 利用相似代码与缺陷代码
2021-10-06 10:33:28
1084
原创 阅读《DialTest: Automated Testing forRecurrent-Neural-Network-Driven Dialogue Systems》
DialTest: Automated Testing forRecurrent-Neural-Network-Driven Dialogue Systems摘要：随着递归神经网络(RNN)的巨大发展，对话系统得到了长足的发展。许多rnn驱动的对话系统，如Siri、谷歌Home和Alexa，已经被部署来协助各种任务。然而，伴随着这种出色的性能，rnn驱动的对话系统，本质上是一种软件，也可能产生错误的行为，导致巨大的损失。同时，支持对话系统的RNN模型的复杂性和难驾驭性使得它们的测试具有挑战性。本文设计
2021-08-22 18:10:07
435
原创 阅读《SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge》
SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic KnowledgeAbstract现有的预训练语言表征模型大多忽略了文本的语言知识，而文本的语言知识可以促进自然语言处理任务中的语言理解。为了便于情感分析的下游任务，我们提出了一种新的语言表示模型，称为SentiLARE，该模型将包括词性标签(POS tag)和情感极性(sentiment polarity, 从SentiWordNet推断)在内的词级语
2021-08-08 12:31:38
388
原创 阅读《Automatic Testing and Improvement of Machine Translation》
Automatic Testing and Improvement of Machine TranslationABSTRACT本文介绍了TransRepair，一种全自动测试和修复机器翻译系统一致性的方法。TransRepair结合了mutation和metamorphic testing来检测不一致的bug(无需使用human oracles)。然后采用probability-reference或cross-reference的方法对翻译进行后处理，以灰盒或黑盒的方式修复不一致。我们对两种最先进的翻
2021-08-07 18:00:09
174
原创 阅读《Unsupervised Evaluation of Interactive Dialog with DialoGPT》
Unsupervised Evaluation of Interactive Dialog with DialoGPTAbstract为开放域对话研究定义有意义和可解释的自动评估指标是很重要的。标准语言生成指标对于对话是无效的。本文介绍了FED度量(细粒度对话评估)，这是一个使用DialoGPT的自动评估度量，没有任何微调或监督。它还引入了FED数据集，该数据集是通过注释一组具有18个细粒度对话质量的人-系统和人-人对话来构建的。FED度量(1)不依赖于真实的响应，(2)不需要训练数据，..
2021-04-26 12:03:59
335
原创 简略阅读《Testing Machine Translation via Referential Transparency》
Testing Machine Translation via ReferentialTransparencyAbstract近年来，由于深度神经网络的发展，机器翻译软件得到了快速的发展。人们在日常生活中经常使用机器翻译软件，比如在外国餐馆点餐、接受外国医生的医疗诊断和治疗、在网上阅读国际政治新闻等。然而，由于底层神经网络的复杂性和难解性，现代机器翻译软件还远未达到健壮性，产生的翻译质量较差或错误;这可能会导致误解、经济损失、对个人安全和健康的威胁，以及政治冲突。为了解决这个问题，我们...
2021-04-25 22:57:07
177
原创 简略阅读《Structure-Invariant Testing for Machine Translation》
Structure-Invariant Testing for Machine TranslationABSTRACT近年来，机器翻译软件越来越多地融入到我们的日常生活中。人们通常在各种应用中使用机器翻译，比如向外国医生描述症状，或者用外语阅读政治新闻。然而，为现代机器翻译提供动力的神经机器翻译(NMT)模型的复杂性和难解性使得这些系统的鲁棒性甚至难以评估，更不用说保证了。机器翻译系统可能返回劣质的结果，导致误解、医疗误诊、对个人安全的威胁或政治冲突。尽管机器翻译系统具有明显的重要性，但..
2021-04-25 22:35:01
126
原创 简略阅读《Machine Translation Testing via Pathological Invariance》
Machine Translation Testing via Pathological Invariance ABSTRACT随着深度神经网络性能的提高，机器翻译软件已经深入到我们的日常生活中。然而，机器翻译软件经常返回错误的翻译，这可能会导致有害的后果，如经济损失和政治冲突。此外，由于底层神经模型的复杂性，测试机器翻译系统提出了新的挑战。为了解决这个问题，我们引入了一种叫做PatInv的新方法。PatInv背后的主要直觉是，不同意义的句子不应该有相同的翻译。在这一总体思想下，我们提..
2021-04-25 22:14:01
238
原创 BiasFinder: Metamorphic Test Generation to Uncover Bias for Sentiment Analysis Systems阅读
BiasFinder: Metamorphic Test Generation toUncover Bias for Sentiment Analysis Systems人工智能(AI)软件系统，如情感分析(SA)系统，通常会从大量可能反映人类偏见的数据中学习。因此，这些软件系统中的机器学习模型可能会根据特定的特征(如性别、职业、原籍国等)表现出非预期的人口统计学偏见。当SA系统预测相似文本的不同情绪时，这种偏见就会显现出来，而相似文本仅在描述的个体特征上有所不同。现有的关于SA系统中揭示偏见的..
2021-04-20 10:28:25
154
原创 linux新建、删除、查看环境
查看环境conda info -e新建环境conda create -n 名字python=3删除环境conda remove -n 名字 --all
2021-03-11 08:27:27
343
原创 启动jupyter
screen -R jupyterconda activate activate basejupyter labctrl + actrl + d
2020-12-17 19:06:08
138
原创 用shell脚本实现 有两个文件对比
for Text1 in `cat uniq1`do for Text2 in `cat uniq2` do if [ "$Text1" = "$Text2" ] then echo $Text1 >> thesame fi donedone
2020-11-20 19:20:24
1613
原创 力扣的参考代码
class Solution {private: vector<vector<int>> result; vector<int> path; void backtracking(vector<int>& nums, int startIndex) { result.push_back(path); if (startIndex >= nums.size()) { .
2020-11-16 19:08:24
1409
原创 《Multicore Locks: The Case is not Closed Yet》阅读
Multicore Locks: The Case is not Closed YetabstractNUMA多核机器非常普遍，许多多线程应用程序都受到锁争用的困扰。为了缓解这个问题，应用程序和库开发人员可以从过去25年设计的大量优化互斥锁算法中进行选择。不幸的是，目前还没有对这些优化锁算法在实际应用程序中的行为进行广泛的研究。在本文中，我们试图填补这一空白。我们在35个应用程序上对27种最先进的互斥锁算法进行了性能研究。我们的研究表明，在多核机器上锁定的情况还没有结束。实际上，我们的结论包括.
2020-11-14 09:55:14
269
原创 《Multi-task Learning based Pre-trained Language Model for Code Completion》阅读
Multi-task Learning based Pre-trained Language Model for Code Completion目录Multi-task Learning based Pre-trained Language Model forCode CompletionABSTRACT1 INTRODUCTION2 BACKGROUND2.1 Statistical Language Model2.2 Multi-task Learning2.3
2020-10-26 20:04:03
740
原创 《Contextualized Code Representation Learning for Commit Message Generation》阅读
Contextualized Code Representation Learning for Commit Message GenerationAbstract ：为代码提交自动生成高质量的提交消息可以极大地促进开发人员的工作和协调。然而，源代码和自然语言之间的语义差异是这项任务的主要挑战。已经提出了一些研究来缓解这一挑战，但没有一项研究明确涉及提交消息生成过程中的代码上下文信息。具体来说，现有的研究对代码标记采用静态嵌入，将标记映射到相同的向量，而不考虑其上下文。在本文中，我们提出了一.
2020-10-26 10:56:27
553
原创 ubuntu: shell编程（扫描局域网内的IP地址，分别将与当前主机连通的IP和非连通的IP放入文件）
#!/bin/bashfor ip in {1..254}do ping -c 2 -i 0.3 -w 1 10.131.147.$ip &>/dev/null if [ $? -eq 0 ] then echo "10.131.147.$ip" >>connected.txt else echo "10.131.147.$ip" >>disconnected.txt fidone
2020-10-05 16:59:50
360
原创 ubuntu: shell编程（若当前shell的任意子进程的内存（或CUP）占用率超过50%，则将其杀死）
#!/bin/bashppid=`echo $$`top -bn 1|grep "^*[1-9]"|awk '{if($9>50||$10>50) print $1}'>>pid1ps axo ppid,pid|awk '{if($ppid==$1) print $2}'>>pid2for id in `grep -wf pid1 pid2`do kill $iddone因为真的很少有这么大的进程，所以输出为空........
2020-10-05 16:59:03
417
原创 ubuntu: shell编程（1到1000的平方和）
#!/bin/bashi=1count=0while [ $i -le 1000 ]do let count+=i*i let i++doneecho "1到1000的平方和是$count"
2020-10-05 16:57:13
903
原创 python: 怎样获取副本
1.切片，例如a = [1, 2, 3] b = a[:]2.用列表存储，例如a = [1, 2, 3] b = [] b.append(a[0])都是可以获得副本，而不会因为a的改变导致b随着改变
2020-09-29 13:46:38
232
原创 ubuntu: shell编程（检验网段连接的主机数，获取主机名和连接响应时间）
win查询ip地址：ipconfigwin查询主机名：ipconfig/allubuntu查询ip地址：ifconfigubuntu查询主机名：hostname这就是win的IP地址这就是ubuntu的IP地址在win上ping一下ubuntu：ping 10.133.130.170在ubuntu上ping一下win，前提是win的防火墙都关掉才能成功：ping 10.133.147.219都能ping通了之后，在ubuntu上创建
2020-09-28 17:16:15
612
原创 bert模型的bin、ckpt文件分析
import torchfy=torch.load("pytorch_bert_model.bin" ,map_location=torch.device('cpu'))for i in fy.keys(): print(i+' '+str(list(fy[i].size())))输出如下：bert.embeddings.word_embeddings.weight [28996, 768]bert.embeddings.position_embeddings.weight .
2020-09-21 16:24:01
3577
3
原创 bert：weight和bias
权重 weights（w1，w2w3）是每个输入信号的权重值，以上面的（1x2x3）的例子来说，x1的权重可能是092，x2的权重可能是02，x3的权重可能是0.03。当然权重值相加之后可以不是1。偏移 bias还有个b是干吗的?一般的书或者博客上会告诉你那是因为Sy=wx+bs，b是偏移值，使得直线能够沿v轴上下移动。这是用结果来解释原因，并非b存在的真实原因。从生物学上解释，在脑神经细胞中，一定是输入信号的电平/电流大于某个临界值时，神经元细胞才会处于兴奋状态，这个b实际就是那个临界值。.
2020-09-15 10:01:54
1415
原创 ubuntu编译内核
下载：https://www.kernel.org/解压后进入文件夹打开终端输入：1.先删除锁死的进程sudo rm /var/cache/apt/archives/locksudo rm /var/lib/dpkg/lock2.下载安装sudo apt-get install libncurses5-dev libssl-dev sudo apt-get install build-essential openssl sudo apt-get install .
2020-09-13 14:27:55
366
原创 《DeepMutation: Mutation Testing of Deep Learning Systems》笔记
Abstract：深度学习(DL)定义了一种新的数据驱动编程范式，其中内部系统逻辑很大程度上是由训练数据塑造的。评估DL模型的标准方法是检查它们在测试数据集上的表现。测试数据集的质量对于获得训练模型的置信度非常重要。使用不适当的测试数据集，已经达到高测试精度的DL模型可能仍然缺乏通用性和健壮性。在传统的软件测试中，突变测试是一种成熟的测试套件质量评估技术，它分析测试套件检测到注入的错误的程度。然而，由于传统软件与基于深度学习的软件存在根本区别，传统的变异测试技术不能直接应用到DL系统中。在本文中，我们提
2020-09-07 16:28:30
682
原创 nlp：T5
import argparseimport globimport osimport jsonimport timeimport loggingimport randomimport refrom itertools import chainfrom string import punctuationimport nltknltk.download('punkt')from nltk.tokenize import sent_tokenizeimport pandas as p.
2020-08-19 09:12:59
1359
1
原创 nlp：roberta
run_boolq_roberta.pyCUDA_VISIBLE_DEVICES=2 python use_boolq_bert.py --model_type bert --model_name_or_path bert-base-cased --do_eval --do_lower_case --train_file train.jsonl --predict_file val.jsonl --test_file test3.jsonl --per_gpu_eval_batch_size=8 --
2020-08-19 09:03:46
731
原创 nlp：bert
run_boolq_bert.pyCUDA_VISIBLE_DEVICES=1 python run_boolq_bert.py --model_type bert --model_name_or_path bert-base-cased --do_train --do_eval --evaluate_during_training --do_lower_case --train_file train.jsonl --predict_file val.jsonl --test_file test.js
2020-08-19 08:59:59
622
转载 python：IndentationError: unindent does not match any outer indentation level、
https://blog.csdn.net/Rose_IT/article/details/99573365
2020-08-15 16:25:03
93
原创 python：爬取双色球03年至20年中奖号码
from urllib import requestfrom bs4 import BeautifulSoupimport gzipimport csvimport timedef change(num): if num == 0: return "zero" if num == 1: return "one" if num == 2: return "two" if num == 3: retur.
2020-08-12 22:43:11
628
原创 python：爬虫报错 ‘gbk‘ codec can‘t decode byte
text = response.content.decode(encoding='gbk', errors='ignore')加上errors='ignore'简直无敌！！！！
2020-08-12 22:35:46
1139
原创 显卡天梯图
GeForce 500及更早 GeForce 600 GeForce 700 GeForce 900 GeForce 10 GeForce 20 RX 5000 RX 400/500/Vega Radeon R300 Radeon R200 Radeon HD 7000 Radeon HD 6000及更早 Ti...
2020-08-09 09:36:04
4796
原创 python：读写csv文件
写csv文件f = open('test.csv','w', encoding="utf-8")writer = csv.writer(f, lineterminator='\n')for i in range(len(idx3)+1): if i == 0: # textID,text,sentiment writer.writerow(("textID", "text", "sentiment")) writer.writerow((id, pa
2020-08-07 09:52:57
141
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人