Ceph

由于之前实验创建了很多RBD存储池以及对应的镜像，并且在cephfs也有很多垃圾数据，后面不需要使用了，所以我这边介绍下如何删除RBD、CephFS、以及Pool存储池 [root@ceph-01 ~]# ceph osd pool ls .rgw.root default.rgw.control default.rgw.meta default.rgw.log default.rgw.bucke…

告警日志为如下: Ceph Object Storage Daemon takes too much time to resize. ceph集群监控异常 使用ceph osd命令查看osd状态 [root@ceph-01 ~]# ceph osd tree ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 0.27338 root defa…

ceph dashboard默认支持多用户，多权限管理，并且支持https认证，同时ceph不仅仅支持网页配置用户权限，并且还支持命令行创建。本次采用yum 安装的ceph进行展示用户权限的控制以及对应的管理

目前官方Ceph csi版本已经支持Kubernetes 1.23，但是如果我们直接使用最新的ceph csi。在创建cephfs的时候会出现storageclass 创建pvc pending的状态。并且错误日志会提示persistentvolume-controller waiting for a volume to be created, either by external provisi…

当我们安装完ceph集群后，集群外的机器想使用Ceph集群内创建的rbd文件。那么，就需要安装Ceph的客户端，也就是rbd客户端，以及一些RBD专用的内核模块。 步骤也相对简单，关于集群搭建，以及ceph原理可以看下面的文章，此处不过多介绍安装和原理部分 环境信息 Ceph集群信息 [root@ceph-01 ~]# ceph -s cluster: id: c8ae7537-8693-40df…

之前写过ceph的搭建，那么我们ceph同样也需要prometheus进行监控数据。我这里使用prometheus监控ceph并配置alertmanager告警

随着时间的更新，早期写过的Promethues监控k8s和grafana这一块文章已经有需要修改的地方。并且以前使用nfs为pod进行持久化，本地修改为使用ceph进行持久化，版本也进行更新迭代

在Kubernetes中经常需要持久化的地方，很早之前都是使用nfs。但是nfs不支持rbd格式，不支持块存储级别。ceph目前是在kubernetes属于比较流行的存储引擎，支持rbd、cephfs等。本次我使用最新版kubernetes 1.24以及N版ceph进行演示

RGW 简介 Ceph Object Gateway也称为对象网关 ，RGW支持S2协议和SWIFT协议对外提供对象存储，两者的对象访问方式均以HTTP方式访问。用户的对象经由RGW处理后，会最终存放在后端RADOS系统。 对象网关对外提供兼容S3和SWIFT的API 存储网关RGW负责客户端接入 RADOS协议实现数据存储(Libradio是Rados提供库，因为RADOS是协议很难直接访问，因…

在使用Ceph RBD中，我们需要了解RBD的分层、镜像制作以及如何为我们RBD文件进行全备增量备份。对RBD的回收站机制做一些了解

一、Ceph 集群服务维护 之前文章说了一下ceph的安装，安装其实比较简单，但是后续维护起来我们需要知道常用的维护命令 第一种，一次性重启所有服务 如果我们机器上osd、mon、rgw等服务都安装在一个节点，可以通过下面的命令直接管理所有服务 ceph target allowing to start/stop all ceph*@.service instances at once [root…

在企业生产环境中，随着时间的迁移数据会存在磁盘空间不足，或者机器节点故障等情况。OSD又是实际存储数据，所以扩容和缩容OSD就很有必要性

很多场景下，我们的ceph是不打算跑在容器内，而是单独找服务器做成ceph集群，往往只是跑ceph集群不运行其它应用。 本次就以ceph-deploy工具作为介绍，使用ceph-deploy快速构建ceph集群并创建块存储、文件系统、以及对象存储。

一、Ceph概述 这里简单的说一下相关的组件，只是简单介绍 组件 概念 Monitor 一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用来保存OSD的元数据 OSD OSD负责相应客户端请求返回具体数据的进程，一个Ceph集群一般都有很多个OSD MDS MDS 全称Cepg Metadata Service，是CephFs服务依赖的元数据服务 Object Ce…