- 博客(154)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 读《文明之光》第1册总结
人类几千年的文明史和地球的历史相比，实在是太短暂了，大约相当于几分钟和一年的关系。人类已经走过的路，相比今后要走的漫漫长路，只能算是刚刚起步。如果跳出一个个具体事件，站在历史的高度去看，我们会发现人类是向着美好的方向发展的。对于人类遇到的问题，最终我们会发现答案比问题更多。
2024-03-08 17:53:25
978
2
原创 从宏观上对人工智能（AI）的一些理解
68年前，约翰·麦卡锡在“达特茅斯会议”正式提出人工智能概念。直到2023年，ChatGPT掀起全球AI大模型浪潮，英伟达市值一年飙涨2.4倍，真正意义上的“人工智能元年”到来了。提到人工智能（artificial intelligence，AI）大家可能感到熟悉又陌生。熟悉的是，近年来，随着信息科技的发展，人工智能这个概念早已深入人心、耳熟能详。陌生的是，人工智能是什么？只是科技展上的机器人吗？它为什么这么智能？这次我们不讲人工智能的具体算法，而是从宏观上去理解人工智能到底是什么？
2024-02-01 17:53:00
1039
3
原创 浅谈轻量级Kubernetes—K3s
K3s 是完全 CNCF（云原生计算基金会）认证的 Kubernetes产品。这意味着你可以编写你的 YAML 来对抗常规的“全脂”Kubernetes，它们也适用于 k3s 集群。由于其资源要求低，可以在 512MB 以上的 RAM 计算机上运行集群。这意味着我们可以允许 Pod 在主节点和节点上运行。
2024-01-12 17:11:09
456
3
原创 浅谈MySQL之索引
索引是一种数据结构，用于提高数据库的查询性能。它类似于书籍的目录，通过预先排序和存储一定列（或多列）的值，使数据库引擎能够更快速地定位和访问特定行的数据。索引的作用是加速数据检索的速度，降低查询的成本。
2024-01-06 23:18:08
1032
原创 Mysql中RTRIM、LTRIM、TRIM函数的区别
在MySQL中，LTRIM、RTRIM和TRIM是用于去除字符串两端空格或指定字符的函数，它们的区别如下：
2023-12-05 16:19:11
401
原创 浅谈Mysql中的窗口函数
MySQL中的窗口函数（Window Functions）是一种强大的数据处理工具，它允许您在查询结果中执行聚合、分析等操作，同时保留原始数据的行级别信息。这就是题目中所用到的函数，在计算排序时，若存在相同位次，不会跳过之后的位次。例如，有3条排在第1位时，排序为：1，1，1，4······例如，有3条排在第1位时，排序为：1，1，1，2······例如，有3条排在第1位时，排序为：1，2，3，4······在计算排序时，若存在相同位次，会跳过之后的位次。ORDER BY 子句用于指定分区内的排序规则。
2023-11-10 09:32:09
125
原创 容器核心技术之Namespace与Cgroup
Namespace（命名空间）技术是一种内核级别的特性，它允许将全局系统资源隔离成独立的视图，使得在不同 Namespace 中运行的进程看到的资源是不同的。这为容器化技术提供了基础，使得多个进程或容器可以在同一台主机上独立运行而不会相互干扰。容器中的命名空间（Namespace）是一种用于隔离和分割不同容器之间和容器与主机操作系统之间资源的技术。命名空间是Linux内核提供的一种特性，容器技术（如Docker和Kubernetes）利用这些命名空间来实现容器的隔离和资源管理。
2023-09-18 20:47:47
1030
原创 Docker网络-探索容器网络如何相互通信
这就是理解 Docker 网络所需的所有理论。现在，让我继续向您展示网络是如何创建的以及容器如何相互通信。要了解 Docker，您需要了解以前如何部署应用程序的历史以及现在如何使用容器部署应用程序。正如您在上图中看到的，旧方式在主机上有应用程序。因此，n 个应用程序共享该操作系统中存在的库。但是，通过容器化，操作系统将拥有一个内核，这是所有应用程序之间唯一通用的东西。因此，应用程序无法访问彼此的库。因此，简单来说，Docker是一个用于开发、交付和运行应用程序的开放平台，使用户能够借助容器。
2023-08-27 17:52:38
204
原创 浅谈容器网络
容器网络是一种新兴的应用程序沙箱机制，用于家庭桌面和网络规模的解决方案，其概念与虚拟机类似。容器内部与主机和所有其他容器隔离的是一个功能齐全的 Linux 环境，具有自己的用户、文件系统、进程和网络堆栈。容器内的所有应用程序都只能访问或修改容器内可用的文件或资源。可以同时运行多个容器，每个容器都有自己的安装和依赖项。当应用程序的较新版本可能需要升级依赖项，这可能会导致与服务器上运行的其他应用程序依赖项发生冲突时，这特别有用。
2023-08-24 12:00:54
448
原创 浅谈机器人流程自动化（RPA）
RPA代表机器人流程自动化（Robotic Process Automation），是一种利用软件机器人或机器人工作流程来执行重复性、规范性和高度可预测性的业务流程的技术。这些流程通常涉及许多繁琐的、重复的任务，例如数据输入、数据处理、数据提取、表单填写等。RPA的目标是通过自动化这些流程来提高效率、减少错误，并释放员工的时间，使他们能够专注于更有价值的任务。RPA软件通常是基于规则的，它们被配置为模拟人类操作，例如点击鼠标、键盘输入和数据提取等。
2023-08-12 14:06:50
939
原创 读《格局》总结——世界永远不缺聪明人
格局》是吴军博士继《见识》《态度》后第三部人生进阶作品。对大多数人来讲，获得偶然的成功并不难，难的是逐渐让成功从偶然变成必然。有些人满足于自己某件事做得快、做得漂亮，而大格局的人追求的则是重复的成功和可叠加式的进步。在本书中，吴军博士为你总结了提升格局的五个维度:位置、方向、方法、步伐和节奏。任何人，不论起点高低，只要能认清自己的位置，找准方向，用正确的方法做事，提高进步的速度，同时把握好节奏，几年后就会看到一个格局比今天大很多的自己，一个让自己感到不枉此生的自己。
2023-08-05 23:11:50
133
2
原创 读《全球科技通史》总结——历史总在重演，科技永远向前
今天和大家分享一下吴军老师的《全球科技通史》。大部分人谈到历史的时候，关注的是国家的兴衰、王朝的更替，往往忽视了科技的力量。“文津图书奖”得主吴军博士，从科技视角串联历史，首次以能量和信息两条主线，系统阐述了自智人以来人类文明的演进。全书从远古科技、古代科技、近代科技和现代科技四个部分，详细描述了几万年来农业、工业、天文、地理、生物、数学等各个领域关键性的人物、事件及意义，绘制了一幅科技驱动历史的恢宏画卷。
2023-07-28 08:58:10
519
原创 在Linux系统下安装部署Singularity容器
我们分别介绍了Singularity容器以及Singularity容器的常用命令，相信大家对高性能计算容器Singularity并不陌生了。这次我们将重点描述如何安装部署Singularity容器。
2023-07-09 22:20:55
2429
3
原创 浅谈容器技术之Podman
Podman（Pod Manager）是一个由RedHat公司推出的容器管理工具，它的定位就是 Docker 的替代品，在使用上与Docker 的体验类似。Podman源于CRI-O项目，可以直接访问 OCI 的实现（如 runC），流程比 docker 要短。Podman 是一个开源的容器运行时项目，可在大多数 Linux 平台上使用。Podman 提供与 Docker 非常相似的功能。它不需要在系统上运行任何守护进程，并且它也可以在没有 root 权限的情况下运行。
2023-07-02 23:27:56
1150
原创 高性能容器之Apptainer
Apptainer是一个开源容器平台，旨在简单，快速， 和安全。有许多容器平台可用，但 Apptainer 的设计 便于在共享系统和高性能计算 （HPC） 中使用 环境。
2023-05-24 23:00:48
2382
3
原创 centos下如何安装部署slurm集群
前面在中我们对Slurm调度系统进行了简单的概述，在此，将重点介绍在centos下如何安装部署Slurm集群。
2023-04-19 16:36:08
1495
原创 Slurm中集群配置文件之slurm_node.conf
slurm_node.conf 是 Slurm 集群的节点配置文件，包含有关集群节点的信息和设置。每个节点都需要有一个 slurm_node.conf 文件来配置节点特定的信息。这个文件通常位于节点的 /etc目录下，但可以通过在 slurm.conf 文件中设置 NodeName 属性来指定节点配置文件的位置。slurm_node.conf 文件包含了节点的许多配置信息，例如节点的名称、IP地址、架构类型、CPU核心数量、内存容量、GPU类型和数量等等。
2023-03-31 16:22:57
827
原创 Slurm中集群配置文件之slurmdbd.conf
是一个ASCII文件，它描述了Slurm数据库 守护程序 （SlurmDBD） 配置信息,它包含了与数据库交互的相关参数，如数据库类型、连接信息、认证方式等。该文件将始终与slurm.conf位于同一目录中。文件的内容不区分大小写，但节点名称除外 和文件。将处理配置文件中“#”后面的任何文本 作为该行末尾的评论。对配置文件的更改在重新启动 除非另有说明，否则 SlurmDBD 或守护程序接收 SIGHUP 信号。
2023-03-29 15:14:31
773
原创 Slurm中集群配置文件之slurm.conf
slurm.conf是一个ASCII文件，它描述了一般的Slurm 配置信息、要管理的节点、有关如何将这些节点分组到分区中，以及各种调度与这些分区关联的参数。此文件应为在群集中的所有节点上保持一致。可以通过设置SLURM_CONF在执行时修改文件位置 环境变量。Slurm 守护进程还允许您覆盖 使用“-f”的内置位置和环境提供的位置 选项。文件的内容不区分大小写，但节点名称除外 和分区。将处理配置文件中“#”后面的任何文本 作为该行末尾的评论。
2023-01-14 12:30:22
3242
原创 Unable to allocate resources: Invalid account or account/partition combination specified
原因：设置了需要account，但是没有和用户关联。Slurm安装配置报错。
2023-01-14 11:53:17
1815
原创 Linux各种打包和压缩文件命令
tar -cvf archive.tar file1 file2 dir1 创建一个包含了 'file1', 'file2' 以及 'dir1'的档案文件。rar a file1.rar file1 file2 dir1 同时压缩 'file1', 'file2' 以及目录 'dir1'rar a file1.rar test_file 创建一个叫做 'file1.rar' 的包。gunzip file1.gz 解压一个叫做 'file1.gz'的文件。rar x file1.rar 解压rar包。
2022-12-29 15:42:57
1215
2
原创 读《信息传》总结——决定我们未来发展的方法论
利用信息消除不确定性，建立新时代的世界观和方法论。信息是不确定性的辨析度。———克劳德·香农70多年前,这个星球上极为聪明和智慧的头脑,时常聚集在细约比克曼酒店,讨论后工业时代层次的科学问题,其中包活冯·诺伊曼.图灵,维纳和香农等人。在一次讨论中,作为信息史上划时代的杰出人物番农指出,信息的意义就在于消除对未知世界的不确定性,建立新时代的世界观和方法论。从20世纪中期开始,信息成为衡量经济发展和科技进步简单而直接的指标,深刻影响和决定着我们的生活。
2022-11-26 17:37:23
869
原创 读《智能时代》总结——5G、loT构建超级智能新机遇
人工智能迅猛发展，对社会和商业的影响日益深刻。过去被我们认为非常难以解决的问题,由于大数据和机器智能的使用,现在都已迎刃而解，比如自动驾驶、语音识别甚至癌症的个性化治疗。同时,机器智能还会颠覆现有商业模式，很多传统的行业都将采用智能技术实现迭代升级。在《智能时代》(第一版)畅销百万册后，吴军博士对内容进行了超过60%篇幅的增改,尤其是对loT、5G通信的发展，以及区块链与机器智能的紧密结合进行了深度阐述,力图全景呈现机器智能的原理和发展历程,及其对未来产业和社会的影响。
2022-09-21 20:00:13
2096
原创 浅谈英特尔One API
如今，每种架构都需要单独的编程模型和工具链软件开发的复杂性限制了架构选择的自由。▪ 可与现有的编程模型和代码库 (C++、Fortran、Python、OpenMP 等）互操作，开发人员可放心。▪ 与现有的语言和编程模型兼容，包括 C++、Python、SYCL、OpenMP、Fortran 和 MPI。基于英特尔丰富的 CPU工具传承并扩展到 XPU 架构，一套完整的高级编译器、库以及移植、分析和调试器工具。协助开发人员 一次性将用 CUDA 编写的代码迁移至 DPC++，尽可能生成 人类可读的代码。
2022-09-20 10:12:31
1432
原创 Volcano v1.2版本后的资源预留实现原理
在Volcano v1.2版本之前，资源预留是通过Reserve action实现的。Volcano作业资源预留设计原理解读-云社区-华为云Reserve action完成资源预留。将选中的目标作业与节点进行绑定。Reserve action、elect action 以及Reservation plugin组成了资源预留机制。Reserve action必须配置在allocate action之后。Reserve action从v1.2开始已经被弃用，并且被SLA plugin替代。
2022-09-13 13:15:40
523
原创 浅谈Kube-OVN
Kube-OVN 是一款 CNCF 旗下的企业级云原生网络编排系统，将 SDN 的能力和云原生结合， 提供丰富的功能，极致的性能以及良好的可运维性。Kube-OVN可提供跨云网络管理、传统网络架构与基础设施的互联互通、边缘集群落地等复杂应用场景的能力支持，解除Kubernetes网络面临的性能和安全监控的掣肘，为基于Kubernetes架构原生设计的系统提供最为成熟的网络底座，提升用户对Kubernetes生态Runtime的稳定性和易用性。
2022-09-06 09:18:49
3278
原创 Linux系统下OFED下载安装（离线版）
在这里选择5.1-2.5.8.0的版本下载。检查端口的模式是否为 InfiniBand。选择合适的OFED版本下载安装包。进入对应目录执行安装。
2022-08-30 10:16:40
4368
原创 Fatal error in PMPI_Init: Other MPI error, error stack:MPIR_Init_thread(138)
使用onepai 2021.3的编译器，编译程序后，用slurm调度系统跑作业报错：
2022-08-13 12:11:51
4468
原创 sbatch: error: Batch job submission failed: Invalid user id
这是因为提交作业时用户名不对。切换到普通用户提交即可。
2022-08-13 11:54:44
5088
原创 iperf简介与下载安装
Iperf是一个网络性能测试工具。Iperf可以测试TCP和UDP带宽质量。Iperf可以测量最大TCP带宽，具有多种参数和UDP特性。Iperf可以报告带宽，延迟抖动和数据包丢失。利用Iperf这一特性，可以用来测试一些网络设备如路由器，防火墙，交换机等的性能。Iperf官方文档地址：https://iperf.fr/iperf-doc.php。...
2022-08-13 11:31:46
8787
原创 Docker里面ulimit永久修改
前段时间跑vasp应用报错forrtl: severe (174): SIGSEGV, segmentation fault occurred。ulimit -s unlimited 取消堆栈空间限制，可以让堆栈无限增长。然而这种方式是临时性的，在容器里如何使修改永久生效？查看当前的各种用户进程限制。...
2022-08-11 14:47:05
1426
原创 vasp计算任务报错：M_divide:can not subdivide 8 nodes by 6
1.这是因为设置的cpu核数（slurm脚本中小n参数）不能被6整除。修改小n参数为12，32等，6的倍数，即可。2.修改算例文件的INCAR中的NPAR参数，保证能被设置的核数整除。Vasp计算核数一定要能被INCAR中NPAR设定的数整除。打开算例文件的INCAR，可以看到我们设置的为6。这个是k点设置问题，把核数设置成6的倍数。...
2022-07-28 17:31:18
1986
原创 使用docker运行程序，报错：Read -1, expected 163520, errno = 1
在启动docker容器时加上--cap-add=SYS_PTRACE参数。官方文档说明这是因为权限问题，但可以忽略，不影响训练执行。
2022-07-26 16:15:51
590
原创 PMIX ERROR: ERROR in file gds_ds12_lock_pthread.c
使用OpenMPI运行程序的时候报这个错误。
2022-07-21 16:31:21
723
4
原创 浅谈sealos及使用sealos4.0部署Kubernetes（K8s）高可用集群
sealos 是以kubernetes为内核的云操作系统发行版早期单机操作系统也是分层架构，后来才演变成 linux windows这种内核架构，云操作系统从容器诞生之日起分层架构被击穿，未来也会朝着高内聚的"云内核"架构迁移。核心能力 kubernetes是手段不是目的对于大众用户来说kubernetes并不重要，重要的是kubernetes上面跑了什么东西，这些东西才是用户最终关心的，中间过程并不关心。 当然熟悉kubernetes的极客不用担心，你同样会有非常好的使用体验。化整为零，不同的应用，不同的
2022-06-30 16:47:42
8661
2
原创 Kubernetes CNI 插件之Fabric
CNI（Container Networking Interface）是容器运行时和网络实现之间的接口。它允许不同的项目，如 Tungsten Fabric，提供 CNI 插件的实现，并使用它们来管理 Kubernetes 集群中的网络。在这篇博文中，您将学习如何使用 Tungsten Fabric 作为 Kubernetes CNI 插件来确保容器和裸机之间的网络连接。您还将看到一个使用 TF CNI 插件将 Kubernetes 集群嵌套部署到 OpenStack VM 中的示例。CNI 接口本身非常简
2022-06-23 17:53:29
3094
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人