- 博客(25)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 实例名不规范导致mds创建失败
在部署ceph集群时，规划主机名、关闭防火墙、配置免密、关闭selinux，配置hosts文件这几步同样重要，都是初期部署一次麻烦，方便后续运维的动作。遇到过很多前期稀里糊涂部署，后续运维和配置时候各种坑。近期遇到问题时有反馈mds创建失败。
2024-04-15 18:50:20
174
原创 自建ceph存储集群方案之从零到一
依据笔者多年实际toB、toC、toG累积近百P规模级别项目的实际经验，本文尽可能详细描述如何零开始完成自建自己的大规模存储集群
2024-04-07 21:07:29
437
原创 对象存储分段残留导致空间占用问题
在使用对象存储时，为了方便大文件上传和提高上传效率、并发等等，经常会使用s3 multipart upload，也就是分段上传。我们知道分段上传一般分三个不分，init、upload part和complete。根据gc池原理，当在upload part调用abort multipart接口，取消分段上传，已经上传的分段会进入gc，慢慢回收释放空间。由于index-pool的异步结构，以及在分段上传过程中发生异常中断，都可能会导致分段对象残留在rados pool层中，从而占用很大空间。
2024-04-01 16:20:37
231
原创 ceph dashboard配置rgw监控（解决报错No RGW credentials found）
本文主要介绍一下如何是dashboard监控对象存储集群数据。
2024-03-30 17:01:39
184
原创 crushmap与osd tree
本文主要介绍crushmap相关概念，以及调整crush的几种不同方法。crush为ceph的核心之一，理解其中逻辑对pg规划，容量均衡，故障处理等非常有帮助。
2024-03-20 18:43:28
447
原创 使用chrome内核浏览器访问对象存储服务出现Block insecure private network requests
使用chrome 浏览器访问对象存储服务时（预签名url、public-read资源）时，报错Block insecure private network requests，而在浏览器控制台中提示CORS ERROR。
2024-03-04 20:31:49
541
原创 S3对象存储服务映射为本地磁盘使用（windows篇）
对象存储服务目前主流方式是通过aws sdk和restapi，以及预签名url等进行访问，也有使用s3cmd，s3browser等开源客户端进行访问。这些访问方式不仅支持数据的访问下载，同时也支持acl，policy，lifecycle，以及cors等配置管理。在部分应用和业务场景下，需要将S3服务作为类文件系统接口，映射到本地使用。目前linux下使用较多的是s3fs，该工具可直接将s3bucket挂载为本地文件系统（而本文主要演示如何windows下将s3bucket映射为本地磁盘。
2024-03-04 17:44:31
1196
原创 ceph osd pg upmap
在我们巡检ceph集群、处理故障或者进行迁移等操作时，pg往往是最需要关注项之一。一方面pg的健康状态会直接影响集群能否正常提供业务，另一方面，pg的分布会影响集群osd的容量与负载均衡。ceph根据crush rule，采用分布式哈希算法，也就是以计算代替查表的方式进行数据分布。由于伪随机性和众多因素（pgnum合理性，硬件规格统一性，后期结构调整，ceph），很多时候pg的分布往往达不到我们想要的效果，此时便需要我们手动进行pg的调整。
2023-08-28 14:36:07
335
原创 记一次数据恢复过程中，踩到osd由于快照数据不完整导致无法启动的bug
ceph osd反复启动，恢复过程中报错FAILED assert(clone_size.count(clone))
2022-05-31 20:02:58
300
原创 ceph从入门到放弃
概述 总结一个ceph从入门到放弃的过程，后续补充文章丰富各个模块，想学习的旁友也可以参考看看。初级了解目前进度与掌握程度当前已经完成的操作接触过但不知道作用很少接触ceph集群搭建功能组件的了解设计思想ceph的特性ceph组件深入核心CRUSH原理(crush自定义，obj，pg，osd，pool逻辑关系)存储类型之cephfs文件系统存储类型之RBD存储类型之RGW中级bluestore与filestorebluestore的意义与优越性slow
2020-12-07 10:43:26
322
原创 Ceph高版本对象存储服务修改参数导致无法写入
概述 对象存储服务中，有整体上传和分段上传，当应用对象大小小于分块大小时则用户上传的对象只对应一个RADOS对象，该对象以应用对象名命名，应用对象元数据也保存在该 rados对象的扩展属性中。 当应用对象大于分块上传时，如下图： 应用对象被分解成一个大小等于分块大小的首对象，多个大小等于条带大小的中间对象，和一个大小小于等于条带大小的尾对象。首对象以应用对象名称命名，在 RGW 中将该对象称为head_obj，该对象的数据部分保存了应用对象前 rgw_max_chunk_size 字节的数据，
2020-12-02 09:56:30
506
原创 ceph pg相关运维脚本工具（一）
概述 在生产环境中，经常需要对ceph集群进行一些调优，维护，设备替换等操作，为了简化和方便操作，陆续写过一些简单的小脚本工具，现整理出来。共同PG检测工具使用场景 在一个双副本环境中，已经有部分osd离线（down and in）的状态，此时集群部分pg处于单副本状态，此时有另外一些osd设备（硬盘原因，机器原因）需要替换或者离线，预估受影响的pg；或者想查询出某些osd共同承载了...
2019-11-05 22:12:28
709
原创 解决在ceph对象网关中使用s3fs报错“unable to access MOUNTPOINT /s3: Transport endpoint is not connected”
s3fs简介 简要来说，就是将s3的存储桶，文件，文件列表可以通过挂载到本地形成一个本地文件系统，方便浏览和查看目录结构，由于ceph rgw服务兼AWS S3，所以通过s3fs工具我们也能够将ceph radosgw集群的文件导出成本地文件系统。环境 原ceph环境搭建在ubuntu16.04，ceph版本为L版本。安装 可以直接通过apt-get install （如果没有...
2019-11-04 21:09:00
3345
6
原创 2019年11月计划flag
2019年11月flag 2019年已经接近尾声了，从开始学习ceph运维、研发也已经有几年了，很多遇到的坑，解决的方法，积累的经验都没有详细梳理记录。计划在年底前，每周整理提交2到3篇相关的技术经验文档。 另外，希望多和同行一起交流学习（个人邮箱/QQ:[email protected]/1171760336）。ceph rgw相关bluestore相关运维工具相关测试...
2019-11-04 20:29:16
141
原创 ceph更换磁盘不改变引起大量数据迁移
一、需求新更换后的磁盘，需满足如下要求(根本是为了保持pg分布情况不变，避免其他无关osd上的pg重新计算分布)：保持ID不变系统crushmap不变二、所用工具ceph-diskceph三、配置方法3.1 初始化配置文件[root@node0 ]$ cat /etc/ceph/init.conf[global] osd_journal_size = 30720 #...
2019-05-29 14:29:02
2023
原创 关于0.94版本ceph数据迁移的一次小测试
第一次调整操作：osd.23 使用率达到92%进行调整，将其reweight从1调整至0.9osdid迁移出去的pg迁移进来的pgosd.0-7.96 8.d2osd.1-0.13osd.28.267.3eosd.38.d2-osd.47.3e8.26osd.5-8.26aosd.6--osd.7...
2019-05-29 14:19:41
668
update kernel.zip
2020-04-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人