- 博客(405)
- 资源 (65)
- 收藏
- 关注
原创 stable-diffusion-webui报OSError: Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘的正确解决方法
把repo clone到openai文件夹就行了。何必要用硬编码呢,完全违反软件工程实践。则需要在标红的目录下新建openai文件夹。不知道这么简单的问题为什么大家讲不清除。但是我发现很多朋友是改代码中的绝对路径的,这非常不科学,为啥要用硬编码绝对路径呢?
2024-04-16 22:16:28 397
原创 科大讯飞星火开源大模型iFlytekSpark-13B GPU版部署方法
iFlytekSpark-13B: 讯飞星火开源-13B(iFlytekSpark-13B)拥有130亿参数,新一代认知大模型,一经发布,众多科研院所和高校便期待科大讯飞能够开源。最后说说硬件要求,我做完了以上配置就不报别的错了,只是还是显存溢出了,我的电脑是3090*2的,看来最低只能用40GB单卡,两个24GB由于各种原因会爆显存。需要注意的是,如上面repo里介绍的,由于模型太大所以使用Git LFS存储,如果直接用git clone是没法下载的。结合上面的博客,感觉有可能确实是分支的问题。
2024-04-15 16:32:54 1091
原创 Ubuntu中matplotlib显示中文的方法
可以看到/usr/share/fonts/MyFonts(这个文件夹也是新增的)下有很多字体。很多朋友说把字体拷贝到matplotlib目录下,例如我这里:/home/quyu/anaconda3/envs/TranAD/lib/python3.8/site-packages/matplotlib/mpl-data/fonts,但是个人感觉应该放到上面这个fonts文件夹的ttf目录下。这看起来就很清楚了,另外,从这个json看,是不是不拷贝到ttf目录下也能找到?这个我没测试,感兴趣的朋友可以试试!
2024-02-23 11:03:40 396
原创 MathType里怎么输入手写字体
在MathType里输入,首先输入一个正常字母,选中——样式——其他——对话框里选择“Euclid Math One”即可。这篇博客只是简单记录一下。
2024-02-21 16:05:53 651
原创 Python报No such file or directory: ‘science‘的解决方法
像在我的电脑上的路径是:/home/quyu/anaconda3/envs/TranAD/lib/python3.8/site-packages/matplotlib/mpl-data/fonts,把下载的字体更新进去。然后删掉/home/quyu/.cache/matplotlib这个文件夹就可以了。把这几个问题解决后,就可以输出论文里类似的结果图了(虽然我还是不太相信这个论文的代码和结论)。还是想看看这篇论文的可视化结果。
2024-02-08 00:54:55 603 1
原创 时间序列异常检测论文TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data
可以看作是论文中的一个W_t,前面的一个d是128个W_t的集合,也就是T=128,但是permute之后的意义全变了啊,其实在我的例子里,[7,8]也就是[3,4],但是这样一来,序列长度就是128了,而且在训练的时候,感觉是用后面的metric value预测前面,这不就是leakage了吗?我已经花了两天多在这个model上了,真是感觉不值,不得不再吐槽一句,学术界真的是太垃圾太浮躁了。由于工作需要,想用一下这篇论文的方法,但感觉其代码还是有很多不清除的地方,简单总结一下。
2024-02-06 14:56:03 428
原创 在Conda中搭建PyTorch+DGL+PyG时需要仔细查看的几个关于版本的网页
但是现在还是能遇到问题,例如今天在一个新的Ubuntu上复现别人论文里的实验,就还是出现了问题。没办法,还是得仔细检查版本。特别应该注意PyTorch和CUDA之类的对应关系。
2024-02-01 15:58:32 288
原创 安装pygraphviz报错——fatal error: graphviz/cgraph.h: 没有那个文件或目录的解决方法
pygraphviz/graphviz_wrap.c:3020:10: fatal error: graphviz/cgraph.h: 没有那个文件或目录。结果报错:requires pygraphviz http://pygraphviz.github.io/
2024-01-27 21:55:07 453
原创 Windows Powershell大量进程占用CPU的一种解决方法
首先,进入安全模式;其次,和修改文件名类似,我们也可以修改powershell.exe所在路径,例如我从C:\Windows\System32\WindowsPowerShell\v1.0改到了:C:\Windows\System32\WindowsPowerShell\v2.0,然后再重启,就可以发现机子正常了。就简单总结一下,相信一定有朋友会遇到类似的问题。今天不知道怎么回事(可能是装了某个软件),导致Windows Powershell在每次开机后都会创建很多进程,消耗几乎所有的CPU和内存。
2023-12-07 15:13:47 1158
原创 Win 10部署stable-diffusion-webui时github报错的解决方法
这篇博客就是简单记录一下。设置好了之后,就可以正常下载并且部署stable-diffusion-webui了。
2023-11-25 19:54:54 1395
原创 优盘安装Win 10英文版的一点经验
用微软提供的工具“Create Windows 10 installation media”,下载英文版iso,但是我总是装到一半就报错。不过我第二次试的时候,基本上就没这个问题了,简单来说,要下载英文语言包(如果版本有这个权限的话) ,如果遇到中英文混乱的问题,就按照上面那篇知乎文章解决。由于一些特殊的原因,需要在一个笔记本上安装Win 10英文版,没想到还挺麻烦的,简单记录两句。
2023-08-06 16:20:27 852
原创 统计Ubuntu各个文件夹的大小
sudo是为了避免一些目录报“无法读取目录,权限不够”,--max-depth指定深入目录的层数,可以根据自己的需求进行修改。个人感觉这个命令就够用了。
2023-05-29 08:28:17 500
原创 使用OpenAI API(或ChatGPTAPI)的时候应该选择哪个model
因为GPT-4并不是人人可用的,所以目前gpt-3.5-turbo是最应该尝试使用的。
2023-04-21 16:25:04 1878
原创 如何在Ubuntu上方便使用OpenAI API key
其实已经说得很清楚了,在生产环境中,务必通过环境变量加载API key。这样做也能使自己的代码更安全,更方便地和别人共享。即可以设置API key了,而且也不怕key通过代码泄密,只有能访问你操作系统的人(也就是你自己)才能看到。就可以看到你的API key了。
2023-03-26 08:28:53 2516 2
原创 怎么样使用OpenAI的Python API
其次,如果在刚才第一个页面中点Sign up,然后登录,在右上角自己用户名的图标点一下,可以看到有“View API keys”,然后就可以创建或者使用自己已有的API key了。有趣的是,生成了的API key,第二次在网站上也看不到字符串了。可以在嵌入之前先计算一下序列的长度,但文档里并没有说超长了怎么处理,是截断还是直接不处理了呢。这样就会列出所有的model名字,不过大家应该注意,每一次API调用都是要收钱的,我也不知道打印个list需要收钱不,保险起见,不运行也可以。
2023-03-26 07:41:18 1330
原创 unsupported GNU version! gcc versions later than 10 are not supported! 的解决方法
然后按序号选择一个老的版本,再看version,果然已经变成低版本了。再重新安装torch-scatter,果然就好了。今天尝试使用别人一个项目(
2023-03-20 16:53:18 881
原创 NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver的一种简单解决方法
NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver的一种简单解决方法
2023-03-19 09:48:24 534
原创 使用Python Seaborn绘制热力图(heatmap)的时候怎么改变配色
【代码】使用Python Seaborn绘制热力图(heatmap)的时候怎么改变配色。
2023-02-03 17:11:24 6354 3
原创 怎样在Ubuntu 22.04上使用Joern处理Java源码
经过网友的提醒,我发现现在的Joern确实可以处理Java源码了,这里简单介绍一下,在一台新的Ubuntu 22.04系统中怎么使用Joern。
2022-12-22 05:54:41 961 1
原创 使用Python的csv.writer的时候怎样包含双引号
定义好writer之后写每一行就可以了:writer.writerow(row)可以看到这个参数默认使用。
2022-12-10 08:50:24 1902 1
原创 基于Conda的PyTorch Geometric报“段错误 (核心已转储)”的解决方法
来看,目前(2022年11月),PyTorch稳定版本是1.13.0,而从第二个网页来看,PyG最多支持的PyTorch版本是1.12.*,所以应该安装更老一点的PyTorch。另外,从上面两个网页来看,最好是全都使用conda安装。也会报“段错误 (核心已转储)”。捜了一下,发现主要是因为PyTorch和PyG的版本不对应所致。大家都提到要注意PyTorch和PyG的版本的对应。发现都通过Conda安装后,是可以解决上面的“段错误 (核心已转储)”的报错的。怎么感觉PyG的开发有点滞后了呢?
2022-11-13 17:10:57 1603
原创 在Ubuntu 22.04上安装CUDA和cuDNN的经验记录(2022年11月)
会直接提示:Failed to verify gcc version. 安装gcc后,不用做降级,就可以直接运行了。安装方式也变多了很多。我之前的博客也已经写得很清楚了。
2022-11-13 11:55:01 2190
原创 解决Python 3报:bad magic number in XXX的解决方法
目前发现下面这个方法是最简单的,所以简单记录一下:其实删掉.pyc文件即可,但有时候由于anaconda之类的存在,我们都不太好定位到底是哪里的.pyc文件出了错,解决方法也很简单,在一个大的目录下,终端打开,运行:
2022-09-10 11:32:30 4420 3
原创 怎样在LaTeX中方便输入带圆圈的数字
我也是同感,不教会别人怎么用,说那么多有什么意义?第一个\normalsize指定了圆圈的大小,后面一个\normalsize是为了使正文中的其他字体恢复正常。如果使用\textcircled,数字编号大的时候,数字会跑到圆圈外面。最后给出一个具体示例,大家看看便知,再吐槽一下,写博客是为了帮助大家解决问题,不是炫自己的知识,第一篇博客我看了好久,还是不会用。小四号 12pt 4.2175mm \normalsize。四号 13.75pt 4.83mm \large。
2022-09-03 12:28:34 15056 5
原创 在IEEE会议论文LaTeX模板中添加页码
这个问题我已经碰到过很多次了。先说一下原因:我们提交会议论文的时候,如果不设置,一般是没有页码的。但是从审稿人和控制页数的角度,都是加上页码以后方便(例如Reviewer直接说Page X有YYY问题)。这样第一页是没有页码的,但是并不妨碍Reviewer的工作。
2022-09-03 05:48:14 3236
原创 怎样使用Scrapy爬取NVD网站上的数据
不过遇到新的需求的时候,还是想记录一下。不过因为只是简单记录,所以这篇博客很水。就简单总结这么多,应该说我对Scrapy这个爬虫的使用算是相当了解了。
2022-08-27 02:07:14 792
原创 Transformers的RoBERTa model怎么使用word level的tokenizer
不得不说,和上面相比,差别有点大啊(例如:tokenizer = Tokenizer(WordLevel()),以及必需要加tokenizer.pre_tokenizer = Whitespace()这一行)。其实这个问题应该是很好解决的,想不到竟然花了3个多小时。我去,这个原因我也是醉了,所以最后手动建立一个空白的merges.txt文件,然后就可以正常保存和使用这个tokenizer了。从之前说的RoBERTa的示例代码可以知道, 需要再重新加载的tokenizer需要在一个文件夹下,所以这个也不行。
2022-08-24 12:32:20 1615 4
原创 将transformers的tokenizer处理之后(如BPE)的序列映射回输入序列
从上面的输出中可以看到,encoded['input_ids']对应的就是输入到transformer encoder的tensor输入,.tokens()返回的是tokenize以后的token,.word_ids()返回的是tokenize以后的token的编码(而并不是输入sequence的)。为了展示方便,省略了之前很长的那些print,可以看到,最后生成的这个word_2_token_mapping是完全正确的。,这个和API文档里说的完全不一样啊。,这个表明的是在原输入序列中的位置。
2022-08-20 12:36:30 1187
原创 Ubuntu上运行ProbLog程序的基本方法
这篇博客很简单,接上一篇:在Ubuntu上安装并运行DeepProbLog的简单过程_蛐蛐蛐的博客-CSDN博客。其实要运行ProbLog代码是相当简单的,如上一篇博客中所说的,首先安装engine:
2022-08-01 12:29:56 245
原创 在Ubuntu上安装并运行DeepProbLog的简单过程
可以通过binary形式安装,照着输入命令就可以了,然后再运行pythonaddition.py,发现就可以正常开始训练了。,原来是个Prolog的engine,想不通,我只想运行一下这个model,为啥还要装Prolog呢,这个model不是基于Problog的吗?就是论文里说的图像数字相加的例子。这篇博客只是简单记录一下,没什么技术含量。...
2022-07-26 14:47:20 275
原创 Ubuntu 20.04上安装Datalog Disassembly工具的过程
这篇博客只是简单记录和吐槽一下。Datalog Disassembly发表于USENIX Security 2020。GitHub repo是:GitHub - GrammaTech/ddisasm: A fast and accurate disassembler看到其repo上说所以试一下怎么通过安装这个GTIRB来安装Datalog Disassembly:GitHub - GrammaTech/gtirb: Intermediate Representation for Binary analysi
2022-06-29 08:01:05 545
原创 Ubuntu更新Node.js时遇到的“由于没有公钥,无法验证下列签名: NO_PUBKEY”的解决方法
这个问题说来比较绕,主要是因为我系统上的node.js版本太低了,想安装新的版本,参考这里的说明:https://github.com/nodesource/distributions/blob/master/README.md首先输入:结果就报了下面的错:我这里特别想吐槽一下:这个源不能用就不用了呗,为啥就exit了,这是什么傻叉逻辑???于是得想办法解决这个报错。看到一些朋友说是加入签名,更新/etc/apt/sources.list文件,删除软件源等等(例如:sudo apt-get updat
2022-06-19 13:37:13 1938 2
原创 如何用O1编译Linux Kernel并禁止inlining
这已经是这个系列的第四篇博客了(上一篇是怎样用O0来(尽可能地)编译Linux Kernel_蛐蛐蛐的博客-CSDN博客),但是还是很多问题没有解决。上一篇博客中说了用O0编译的方法,但是O0编译的很不全,还是有报错,我也没有精力挨个去解决error,想着O1似乎也可以用,就想试试,找了找,可以参考这篇博客里的方法:如何在编译linux内核时不优化内核以便于调试内核?_weixin_30662109的博客-CSDN博客具体而言,还是先将Makefile中的O2,O3,Os等等都改成O1,其次,按照上面
2022-06-17 12:20:37 361
原创 怎样用O0来(尽可能地)编译Linux Kernel
这篇博客接前面两篇:在Ubuntu上编译特定版本的Linux Kernel_蛐蛐蛐的博客-CSDN博客和怎样编译Linux Kernel中的尽可能多的源码_蛐蛐蛐的博客-CSDN博客。有时候我们想尽量用O0来编译Kernel,以进行一些后续分析,但是就像上面第二个链接中说的,基本上用O0编译是很难的。我主要参考了一下这篇博客:使用-O0编译Linux内核_玉双龙的博客-CSDN博客首先,将makefile中的O2,O3,Os都改成O0。(我这里依然以v5.12-rc2为例)其次然后这时候就会有下
2022-06-13 13:14:39 1129
原创 怎样编译Linux Kernel中的尽可能多的源码
在上一篇博客:在Ubuntu上编译特定版本的Linux Kernel_蛐蛐蛐的博客-CSDN博客中,我介绍了编译Linux Kernel源码的基本过程,但是如果按照menuconfig默认选项来编译的话,生成的binary file个数很少,明显和源码的规模不符。那怎么编译其中的所有源码呢?这里有朋友进行了解释:How to make all features compile to modules in kernel compilation? - Stack Overflow也就是说,首先执行:再执行
2022-06-09 04:36:40 201
原创 在Ubuntu上编译特定版本的Linux Kernel
由于实验需要,我得在Ubuntu上编译特定版本的Linux Kernel,网上的教程已经很多了,不过有的有错,有的不完整,所以再自己简单总结一下。需要注意的是,我这里只编译生成一些binary files,并不安装内核。例如我需要编译这个版本:Linux kernel v5.12-rc2,解压之后终端进入文件夹,首先就是安装一些必要的工具,注意到网上有些浏览量很大的教程也缺少了这一步,例如:Linux内核编译_ibless的博客-CSDN博客_linux内核编译其次就是和编译其他项目一样,需要有一个C
2022-06-08 13:56:57 603
原创 Ubuntu 20.04上编译OpenSSL的编译选项设置
由于实验需要,我想简单看看怎么在编译OpenSSL的时候设置编译选项,之前都是用的默认选项,例如这里:怎样在BinaryNinja中查看Vulnerable的function(以HeartBleed CVE-2014-0160为例)_蛐蛐蛐的博客-CSDN博客首先下载一个对应版本,例如我在这里:/source/old/3.0/index.html下载了openssl-3.0.0.tar.gz。解压之后进入文件夹。搜了一圈发现,虽然介绍的博客很多,但是基本上大家都没有详细介绍编译选项,例如这里的介绍:linu
2022-06-07 12:12:54 1972
原创 怎样将PDF作为矢量图插入PPT中
关于这种问题,我已经研究过很多了,例如这几篇博客:Matlab中的图怎样插入Word效果最好_蛐蛐蛐的博客-CSDN博客Visio中画的图怎么更清晰美观地插入LaTeX中(Visio 2016)_蛐蛐蛐的博客-CSDN博客_visio画图插入latex想不到研究尝试了这么多,还是能学习到新的经验,看来真是活到老学到老啊…… 总体来说,Visio画的图可以直接保存成PDF,包含在论文里。MATLAB的图也一般保存成PDF。另外,我现在不太喜欢把eps等转成emf放在ppt,因为有时会遇到字体嵌入的问题
2022-05-31 11:47:03 5616 1
ToSEM 2013-ACM Transactions on Software Engineering and Methodology 2013年论文集
2014-01-13
CCS 2013-ACM Conference on Computer and Communications Security 2013年论文集
2013-12-24
ASE 2013-International Conference on Automated Software Engineering 2013
2013-11-25
SOSP 2013-ACM Symposium on Operating Systems Principles 2013年论文集
2013-11-22
SIGCOMM 2013-ACM SIGCOMM conference on Data communication 2013论文集
2013-09-20
SS 2013-USENIX Security Symposium 2013年论文集
2013-08-31
SP 2013-IEEE Symposium on Security & Privacy 2013年论文集
2013-06-08
NDSS 2013-ISOC Network and Distributed System Security Symposium 2013
2013-05-01
POPL 2013-Annual Symposium on Principles of Programming Languages 2013
2013-03-26
CSUR 2012-ACM Computing Surveys 2012
2013-02-05
ASPLOS 2012-International conference on ASPLOS 2012
2013-01-20
OOPSLA 2012-Object oriented programming systems languages and applications 2012
2013-01-16
IEEE TDSC 2012-IEEE Transactions on Dependable and Secure Computing 2012
2013-01-06
FSE 2012-International Symposium on the Foundations of Software Engineering 2012
2012-12-29
CCS 2012-ACM Conference on Computer and Communications Security 2012年论文集
2012-12-18
OSDI 2012-Operating Systems Design and Implementation 2012年论文集
2012-11-16
ICSE 2012-International Conference on Software Engineering 2012
2012-10-31
SIGCOMM 2012-ACM SIGCOMM conference on Data communication 2012论文集
2012-09-16
ISSTA 2012-International Symposium on Software Testing and Analysis 2012年论文集
2012-09-13
PLDI 2012-ACM SIGPLAN conference on PLDI 2012
2012-09-11
SS 2012-USENIX Security Symposium 2012年论文集
2012-08-14
SP 2012-IEEE Symposium on Security & Privacy 2012年论文集
2012-07-21
POPL 2012-Annual Symposium on Principles of Programming Languages 2012
2012-05-09
POPL 2012-Annual Symposium on Principles of Programming Languages 2012论文集
2012-05-09
NDSS 2012-ISOC Network and Distributed System Security Symposium 2012
2012-04-21
IMC 2011-Annual conference on Internet measurement 2011
2012-03-22
POPL 2011-Annual Symposium on Principles of Programming Languages 2011论文集
2012-03-14
OOPSLA 2011-Object oriented programming systems languages and applications 2011
2012-02-19
SOSP 2011-ACM Symposium on Operating Systems Principles 2011年论文集
2012-02-02
CCS 2011-ACM Conference on Computer and Communications Security 2011年论文集
2012-01-28
FSE 2011-Foundations of Software Engineering 2011年论文集
2012-01-19
SIGCOMM 2011-ACM SIGCOMM conference on Data communication 2011论文集
2012-01-05
IMC 2010-Annual conference on Internet measurement
2011-11-03
ICSE 2011-International Conference on Software Engineering
2011-10-20
PLDI 2011-ACM SIGPLAN conference on PLDI 2011
2011-09-25
ISSTA 2011-International Symposium on Software Testing and Analysis
2011-09-18
CCS 2010-ACM Conference on Computer and Communications Security 2010年论文集
2011-09-14
SS 2011-USENIX Security Symposium 2011年论文集
2011-09-08
NFM 2010-NASA Formal Methods Symposium 2010 论文集
2011-08-22
SIGCOMM 2010-ACM SIGCOMM conference on Data communication 2010
2011-08-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人