- 博客(21)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 centos7安装cuda、dudnn、Nvidia驱动[最详细的教程和报错解决方案]
首先说下我电脑的环境：centos7 x86-64： uname -r 命令显示为3.10.0-1160.el7.x86_64 ；物理显卡为单卡2080ti ；gcc通过yum安装，yum install gcc 版本为4.8.5, 同时会显示安装一些其他包，如glibc版本为2.17 ；安装准备以下为驱动和官网文件名一致， 可到nvidia官网下载，选择历史版本，选择rpm(local)模式。也可尝试我关联的链接：cuda-repo-rhel7-10-0-local-10.0.130-4
2021-01-30 18:26:53
5903
2
原创 centos、docker、python等开发运维常用处理命令
centos、docker、python等开发运维常用处理命令dockerdocker images ： 显示所有docker镜像, docker build 之后查询用。docker ps -a ： 显示所有容器，包括已退出的容器。-a 会显示名称和已退出容器。docker exec -it 容器名称 /bin/bash ： 切换到docker已up容器d的bash环境。docker logs -f -t --tail=100 容器名称 ： 查看docker前台任务命令行输出的log。dock
2021-01-13 10:48:11
202
原创 Transformer的注意力机制白话解读
总之，Transformer的注意力机制通过将查询与键之间的相似性转化为注意力权重，然后利用权重对值进行加权求和，从而实现了对输入序列的全局关注。Transformer的注意力机制涉及多个元素，如查询（query）、键（key）和值（value）。Softmax 函数会使得注意力权重的总和为1，表示在计算加权和时的权重分配。为了控制分数的范围，通常会将分数除以一个缩放因子（常数，通常是键向量的维度的平方根）。最后，将注意力权重与对应的值向量 V 进行加权求和，得到最终的注意力输出。
2023-08-23 11:30:44
612
原创 服务器端Dask连接分布式列式存储库Clickhouse多种方案
在 Python 中使用 clickhouse-sqlalchemy 连接 ClickHouse 数据库，需要安装 SQLAlchemy 和 clickhouse-sqlalchemy 两个包。在 Python 代码中使用 PyODBC 包连接 ClickHouse 数据库，指定服务器的 IP 地址、端口号、用户名和密码等连接信息。如果您的 ClickHouse 数据库部署在服务器上，那么在连接它时需要指定服务器的 IP 地址和端口号。使用 Dask 连接 ClickHouse 数据库。
2023-06-06 16:34:22
250
原创 python项目在对外提供api服务时，利用多核的多进程开发避坑指南
当前有个Python项目，需要实现某个核心算法并提供api接口给其他部门调用；经过相关经验和测试分析，首选了sanic作为发布服务的框架（和flask差不多，不过sanic调用uvloop底层C性能更好）。另外，我们的核心算法需要，需要考虑api响应设计和多进程多核编程，提高核心算法的并发能力。
2023-06-06 14:37:30
793
原创 如何修改 docker 容器的目录映射
进入某个容器的配置文件目录下，容器ID 就是文件夹名称，可通过 docker ps -a 来查看前缀，不过这是缩写，对照起来看就行。需要暂停 Docker 服务，会影响其他正常运行的 Docker 容器。如cd /var/lib/docker/containers/如果容器运行之后发现目录映射需要改怎么办？docker rm -f 容器ID/名字。进入 Docker 容器配置的文件目录下。创建容器时，指定了目录映射（-v）删除原有容器，重新创建新的容器。修改容器配置文件（重点）重新指定需要映射的目录。
2023-04-07 17:07:45
2350
2
原创 批量Python依赖包下载与离线安装
搭建环境首先要根据目标服务需要的环境，在本地搭建尽量相同的环境，如python版本、pip版本等。确认依赖包名与版本在其他环境中找到要安装的依赖包名及版本并导出：pip freeze > requirements.txt，requirements.txt中即为要的包信息。下载安装包在本地搭建python环境中，下载安装包到文件夹中：下载单个离线包： pip download -d 文件夹名 <package_name>批量下载离线包：pip download -d 文件夹名
2022-03-28 12:36:25
3629
原创 Pandas常用数据预处理方法
1.日期格式转换输入日期列为object、string类型，格式是“9/14/2021”，需要转换成pandas中可计算的日期格式。实际运行后输出为“2021-09-14”。import pandas as pddataframe2['日期'] = pd.to_datetime(dataframe2['日期'], format='%m/%d/%Y').dt.date2.设置列名并删除指定列把‘指标’列的数据当做列名后，删除‘指标’列。 data.columns = data.loc['指标
2022-02-11 16:11:42
1460
原创 python项目自动化部署
项目自动部署说明【以KuaiDaSearchApi项目为例】项目文件如下：发布使用的文件脚本为Dockerfile、run.sh。Python项目依赖包文件为requirement.txt，python版本为3.6。展开Dockerfile如下，此为docker脚本文件自行学习，重点入口在最后一行运行的函数：CMD python /project/web_service/service.py， 其他为运行环境构建。通过该dockerfile，即可构建出docker容器，并运行。展开
2021-06-08 10:34:38
1176
1
原创 touch bar/触控栏截图无效解决办法[快捷键已开启]
问题原因：带有touch bar的macbook，有时需要截图触控栏显示的内容，突然有一天按系统快捷键无效：shift + command+ 6首先检查系统设置都是正常的，也重启电脑，重置默认设置，依然无效，一阵头皮发麻。。。但是，屏幕区域截图有效，唯独touch bar 截图无法反应，不会存储到桌面。解决方案：其实苹果对截图有个设置时隐藏在touch bar中的，需要靠屏幕截图时触发设置，这点就很恶心了，google都无法找到方案，以为系统bug，，好了，方案如下：1. 屏幕截图，按下shi
2021-06-01 11:22:16
1430
原创 docker容器内运行依赖GPU的程序
我的开发环境centos7docker版本为2.10.22080ti显卡，物理机已安装cuda10和对应显卡驱动运行带GPU的docker安装nvidia-container-toolkitdistribution=$(. /etc/os-release;echo $ID$VERSION_ID)curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /et
2021-02-21 12:02:35
695
1
原创 解决libc.so.6、libstdc++.so : version `GLIBC_x.x‘、CXXABI_x.x not found
解决libstdc++.so: version `CXXABI_x.x’ not found方案: 查找本机其他位置新版本替代a.执行以下命令，查找编译gcc时生成的最新动态库find / -name "libstdc++.so."，选择最高版本，我的是so.6.0.26b.如果找不到合适版本, 可以安装Anconda[自行百度]，安装完再find一定会有新版so;c. 找到新版so.6.0.26 后cp拷贝到执行bash提示缺失的文件夹位置，也即libstdc++.so.0.6所在文件夹位置
2021-01-18 09:49:38
635
1
原创 bash run.sh执行python程序的目录定位问题
命令行执行bash中的传参相对路径问题 智能学习算法中，经常靠命令行传参+Argparse的方式运行，项目结构如下： run.sh的内容如下：![run.sh](https://img-blog.csdnimg.cn/20190923113633687.png?...
2019-09-23 11:41:13
2935
转载 告诉你为什么数据要取对数
平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有：1. 缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。2. 取对数后，可以...
2018-05-28 11:28:40
44709
3
转载 23种模式java
设计模式（Design Patterns） ——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真正工程化，设计
2017-12-15 09:36:57
588
1
转载 Java Serializable（序列化）的理解和总结
1、序列化是干什么的？ 简单说就是为了保存在内存中的各种对象的状态（也就是实例变量，不是方法），并且可以把保存的对象状态再读出来。虽然你可以用你自己的各种各样的方法来保存object states，但是Java给你提供一种应该比你自己好的保存对象状态的机制，那就是序列化。2、什么情况下需要序列化 a）当你想把的内存中的对象状态保存到一个文件中或者数据库中时候； b
2017-11-15 10:19:23
428
转载 LSH之simHash算法
彻底弄懂LSH之simHash算法 <div class="postBody"> <div id="cnblogs_post_body"><p><span style="font-family: 楷体; font-size: 18pt;"> 马克·吐温曾经说过，所谓经典小说，就是指很多人希望读过，但很少人真正花时间去读的小说。这种说法同样适
2017-09-12 10:50:53
556
转载 余弦距离、欧氏距离和杰卡德相似性度量的对比分析
1、余弦距离 余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。 向量，是多维空间中有方向的线段，如果两个向量的方向一致，即夹角接近零，那么这两个向量就相近。而要确定两个向量方向是否一致，这就要用到余弦定理计算向量的夹角。 余弦定理描述了三角形中任何一个夹角和三个边的关系。给定三角形的三条边，可以使用余弦定理求出三角形各个角的角度。假定三角形的三
2017-09-11 10:06:12
429
原创 jar包调用内置文件和项目调用jar包时动态从系统各个环境中找文件
最近遇到了一个读取jar资源文件的问题，对于maven项目打包后，项目结构将会改变。打包后，若想**读取jar包内文件**需要返回流操作，示例如下： public static InputStream getResourceByName(String name) { return MyClass.class.getResourceAsStream("/" + name);
2017-08-29 15:40:03
500
jenkins 一体化构建部署python项目.pdf
2020-06-06
2013-02-13: CRF++ 0.58 Released
2017-09-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人