- 博客(22)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 两个gpfs remote_mount功能验证
两个gpfs remote_mount功能验证背景step1 在access_cluster上生成公钥step2 在access_cluster重命名文件step3 在access_cluster更新认证step4 拷贝到owning集群上step5 在owning_cluster上生成公钥step6 在owning_cluster上重命名文件step7 在ownming_cluster上更新认证step8 传递公钥step9 添加公钥step10 授权访问step11 添加公钥step12 添加挂载参数s
2021-03-02 09:26:47
896
原创 在K1 Power Linux上WMLA1.2.2的使用
K1 Power Linux上WMLA1.2.2的使用1. 导入数据集2. 创建模型3. 训练4. 导出推理模型5. 推理服务6. 总结1. 导入数据集Cifar10，Cifar-100，Mnist、STL-10、SVHN都是常见公开的数据集。这里以Cifar10举例。Cifar10和Cifar100是8千万张微小图片数据集，由Alex Krizhevsky,Vinod Nair，Geofferey Hinton收集。Cifar10 包含6万张32*32彩色图片，共10个分类。其中50000作为训练，
2021-01-22 09:56:20
177
原创 K1 Power Linux上lshw与X86 dmidecode对比
简介：dmidecode能够获得底层硬件信息，但是dmidecode强依赖于intel的CPU。这使得在K1 PowerLinux dmidecode上不可用。在K1 Power Linux上使用lshw命令，获得硬件信息供运维人员使用。
2021-01-21 21:03:46
355
原创 交叉编译VS异构虚拟化，在x86服务器上运行PowerPC软件
背景这篇文章主要是在和同事在一起测试过程中，文中很多内容都是同事提供，征得同事同意，把测试过程和测试结果发出来。感谢zhangjunli。使用场景K1 Power服务器是高端商用的服务器，与x86生态不一样的是，目前主要是面对企业，并不针对个人用户。因此在个人笔记本或者工作站方面国内很难看到有基于Power处理器。PS：美国有一家Raptor公司有台式机基于Power处理器的。在x86硬件上交叉编译得到在Power服务器上运行的二进制文件，这样更合适不能短时间拿到基于Power硬件的系统环境的。文
2021-01-21 20:48:52
644
原创 在K1 Power Linux上安装WMLA1.2.2
在K1 Power Linux上安装WMLA1.2.21. WMLA1.2.2 介绍及新特点2. 环境准备2.1 硬件环境2.2 软件环境3. 安装步骤3.1 操作系统安装3.2 操作系统配置3.2.1 关闭防火墙&Selinux3.2.2 设置主机名3.2.3 更改/etc/hosts文件3.2.4 配置yum源3.2.5 可选操作3.2.6 添加管理用户3.2.7 挂载共享文件系统3.2.8 安装依赖包3.2.9 系统limits设置3.2.10 设置内核参数3.2.11 关闭ntp3.3 安装
2021-01-21 17:24:04
392
1
原创 K1 PowerLinux上查看硬件信息
本篇文章介绍，在K1 PowerLinux系列的产品安装完操作系统后，在系统里面查看硬件设备。操作系统版本：[root@fp5280g2 ~]# lsb_release -dDescription: CentOS Linux release 7.6.1810 (AltArch)查看内核版本[root@fp5280g2 ~]# uname -r4.14.0-115.el7a.0.1.ppc64leCPU信息 2颗 Power9处理器，4线程，每个CPU有22个物理核。最低频率2.15G
2020-07-15 17:06:01
677
1
原创 K1 PowerLinux上fio的测试（包含storcli64工具）
摘要本片文章主要介绍在OpenPOWER上RAID SAS控制器 RAID bus controller: LSI Logic / Symbios Logic MegaRAID SAS-3 3108上的工具storcli64的常用使用命令。并且使用fio来测试硬盘性能。测试环境硬件环境：部件内容型号FP5280G2CPU22c OpenPOWER9内存32GB*16磁盘SAS 900GB*6网卡千兆电口网卡1块2端口软件环境名称
2020-07-15 16:33:41
599
原创 K1 Power Linux上升级操作系统
摘要操作系统从CentOS-7-Power9-Everything-1804.iso升级到CentOS-7-power9-Everything-1810.iso，以获得更高版本的内核，支持更新的硬件。 获得更好的性能。测试环境硬件环境：部件内容型号FP5280G2CPU22c OpenPOWER9内存32GB*16磁盘SAS 900GB*6网卡千兆电口网卡1块2端口软件环境名称内容操作系统CentOS-7-Power
2020-07-15 11:46:59
245
原创 UnixBench在K1 PowerLinux上的测试
本篇文章介绍在K1 Power Linux如何进行Unixbench测试。unixbench是一个用于测试unix系统性能的工具，也是一个比较通用的benchmark， 此测试的目的是对类Unix 系统提供一个基本的性能指示，很多测试用于系统性能的不同方面，这些测试的结果是一个指数值（index value，如520），这个值是测试系统的测试结果与一个基线系统测试结果比较得到的指数值，这样比原始值更容易得到参考价值，测试集合里面所有的测试得到的指数值结合起来得到整个系统的指数值。各项的测试有得分，然后有
2020-07-14 17:03:14
390
1
原创 K1 Power Linux上的系统源
POC经验，以下两个系统源比较好用，一个是CentOS7的，一个是Ubuntu18.04。通常情况下，我们装好操作系统，配置好yum源，很多软件包就可以在系统源里面找到。尤其是对于非x86的服务器。CentOS7os.repo[os-dvd]name=os-dvdbaseurl=https://mirrors.tuna.tsinghua.edu.cn/centos-altarch/7/os/power9/enabled=1gpgcheck=0[epel]name=epelbaseurl
2020-07-13 21:14:45
204
1
原创 Relion在K1 Power Linux实践
Relion在K1 Power Linux实践本篇文章主要介绍了冷冻电镜方案中，Relion软件如何在K1 PowerLinux上进行部署。 完整的记录了过程，其中关于几个常用的HPC软件方面的下载方式也一并提供出来。比如XLC、ESSL、SpectrumMPI都是社区版。可以注册IBM ID之后下载。测试环境背景硬件环境服务器型号FP5468G2部件描述数量CPUIBM OpenPOWERSforza 22Core 2.75Ghz 190W 2颗2内存32GB
2020-07-11 10:13:16
719
1
原创 K1 PowerLinux 上WMLCE docker镜像本地导入导出
背景WMLCE Watson Machine Learning Community Edision是一个社区版，里面包含主流深度学习框架和工具，为K1 Power Linux优化，每季度实时更新，软件免费，里面包含分布式深度学习加速库（DDL，4 nodes），大模型加速库（LMS），机器学习加速库（SnapML）支持conda、Docker线上或者本地部署。本篇文章主要记录，在使用WMLCE的过程中，可以在一个K1 Power Linux的环境下，导出docker image，之后再相同其他需求中，就
2020-07-10 18:30:44
262
1
原创 K1 Power Linux上创建本地的conda repo
国外的conda channel网速堪忧，有时使用conda install命令的时候甚至会断开。对于K1 PowerLinux在 AI领域，很难不碰到使用python 虚拟化环境，使用conda channel方式安装。这里以K1 Power Linux 中的 WMLCE（Watson Machine Learning Community Edision）本地化为例，实现一次下载多次安装的方便方法。WMLCE的官网链接：https://developer.ibm.com/linuxonpower/de
2020-07-10 12:03:51
222
原创 K1 PowerLinux上编译OpenCV
OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。 [1] 它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。本篇文章介绍的是在K1 PowerLinux上编译OpenCV 3.4.1下载链接：https://github.com/IBM/opencv-powergit cl
2020-07-10 10:03:14
1295
原创 VMA On K1 Powerlinux
VMA On Power9环境背景一台FP5280G2 一台FP5295G22块Mellanox的卡 CCAT_LC_PCIE16X_100G_XR_D 用光纤线直连。安装mellanox 套件 mlnx_ofed安装依赖库yum install python-devel lsof redhat-rpm-config rpm-build gcc kernel-devel-4.14.0-49.el7a.ppc64leyum install tcl gcc-gfortran tcsh tk p
2020-07-09 17:06:55
476
1
原创 DPDK On K1 Power Linux
本篇文章介绍如何在K1 PowerLinux上部署DPDK，数据平面开发套件(DPDK [1] ,Data Plane Development Kit)是由6WIND,Intel等多家公司开发，主要基于Linux系统运行，用于快速数据包处理的函数库与驱动集合，可以极大提高数据处理性能和吞吐量，提高数据平面应用程序的工作效率。测试环境拓扑两台FP5280G2的服务器，其中一台作为DUT，测试单元，一台模拟软件发包。硬件环境FP5280G2-PKG部件内容CPU2颗Power
2020-07-08 16:48:51
618
原创 K1 Power Linux上LMBench测试内存延迟
内存延迟测试，严格来说是指idle read latency。也就是空载情况下的内存读延时，繁忙的时候latency会相应加长。延时的计量单位：测试内存延时，用墙上时间（wall clock），一般是纳秒（ns）。这种情况下，内存的访问延时的墙上时间不随着CPU的主频变化而变化。测试CPU的cache延时，用多少CPU cycle来表示。CPU主频快了，访问cache的也快了（墙上时间少了），但是不同主频访问cache换算出的cycle数量是恒定的。测试软硬件硬件FP5295G2 Power9 M
2020-07-07 17:21:50
2396
原创 K1 Power Linux上Stream测试内存带宽
K1 Power Linux上Stream测试内存带宽本篇文章介绍在K1 Power Linux上测试内存带宽，衡量服务器的内存带宽水平。只针对于测试的服务器型号，对于Scale UP的Power9服务器，计算方法不相同。预期K1 PowerLinux 以FP5290G2计算理论内存带宽。双socket的Sforza（POWER9芯片一种），4通道2(socket)*2666MHz(内存速度)*4(通道数)*8 = 170GB双socket的Lagrange或者Monza的芯片（Power9芯
2020-07-07 11:14:04
948
原创 K1 PowerLinux使能K8s管理GPU容器
K1 PowerLinux使能K8s管理GPU容器本篇文档内容包含K8S开源容器管理平台结合Docker容器，结合免费的在Power上优化的深度学习和机器学习的docker镜像WMLCE，给客户提供Jupyter的环境，提供持续持续开发持续集成的不间断服务。并且能按照单个GPU卡的量级来分配资源。与通常的x86通用2u服务器不同的是，这里采用的是K1 PowerLinux服务器，使用Power9 CPU。最后引用一个实际的客户使用例子容器化的方式配合Power的独特硬件特性获得的独特价值。由于偏操作类，这
2020-07-06 16:05:51
452
原创 GPU容器在K1 PowerLinux上的实践
本篇文章通过一个实际的测试案例，展示Power CPU在人工智能方面的生态环境和性能表现。在非x86的市场中，Power CPU在云计算、大数据、人工智能领域生态日趋完善，使用者轻而易举的获得想要的安装包和Docker镜像。本文章非科研论文性质，是对阶段性工作的总结，给遇到同样问题的读者提供一个解决问题的思路。Power CPU已经有将近30年的历史，本次采用的是最新的K1 PowerLinux FP5280G2服务器，对比通用2U X86服务器。所用的硬件和软件都如下面所列。测试主要验证图像识别在不同
2020-07-06 13:15:57
342
原创 PCIe4.0 槽位全速释放100Gb 双口性能
本篇文章是和同事一起为某个项目测试，验证在OpenPOWER9的服务器上，PCIe4.0能够全面释放双口100Gb网卡的性能。如有内容有偏差，欢迎私信。硬件配置：两台OpenPOWER（FP5280G2）服务器，上面有PCIe4.0的槽位。处理器：POWER9 Sforza 16core * 2板卡：Mellanox 100G CX516A-CDAT网卡交换机：Mellanox MSN2700-CS2F 100G交换机100G线缆：Mellanox 100G 铜缆100G线缆：Hisense
2020-07-06 09:27:14
4504
2
RAID bus controller: LSI Logic / Symbios Logic MegaRAID SAS-3 3108
2020-07-15
CentOS-7-power9-Minimal-1810.iso
2020-07-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人