ceph

完整报错如下 [root@ceph-01 ~]# ceph -s cluster: id: c8ae7537-8693-40df-8943-733f82049642 health: HEALTH_WARN 2 daemons have recently crashed services: mon: 3 daemons, quorum ceph-01,ceph-02,ceph-03 (age 24m…

元旦早上收到ceph告警，mgr发送告警并没有提示告警内容是什么问题。只是提示我ceph健康为error。告警截图如下 此时查看grafana告警也是异常的状态 接下来进入服务器排查问题 [root@ceph-01 ~]# ceph -s cluster: id: c8ae7537-8693-40df-8943-733f82049642 health: HEALTH_ERR 2 backfillf…

ceph dashboard默认支持多用户，多权限管理，并且支持https认证，同时ceph不仅仅支持网页配置用户权限，并且还支持命令行创建。本次采用yum 安装的ceph进行展示用户权限的控制以及对应的管理

具体ceph状态如下 [root@ceph-01 ~]# ceph -s cluster: id: c8ae7537-8693-40df-8943-733f82049642 health: HEALTH_WARN 1 daemons have recently crashed 告警内容如下 Dashboard告警如下 但是实际上mgr节点也已经恢复了，节点并没有解除 [root@ceph-01 ~…

[root@ceph-01 ~]# ceph health detail HEALTH_WARN insufficient standby MDS daemons available MDS_INSUFFICIENT_STANDBY insufficient standby MDS daemons available have 0; want 1 more 这个报错内容基本上是触发了我们ceph …

ceph集群健康检查出现问题，提示insufficient standby MDS daemons available 具体信息如下 [root@ceph-01 ~]# ceph -s cluster: id: c8ae7537-8693-40df-8943-733f82049642 health: HEALTH_WARN insufficient standby MDS daemons avai…

目前官方Ceph csi版本已经支持Kubernetes 1.23，但是如果我们直接使用最新的ceph csi。在创建cephfs的时候会出现storageclass 创建pvc pending的状态。并且错误日志会提示persistentvolume-controller waiting for a volume to be created, either by external provisi…

在ceph csi pod里面是没有可以sh的地方，如果我们需要看最新的版本号，可以在GitHub中查看 第一步: 打开https://github.com/ceph/ceph-csi 选择build.env文件 截至2022年7月25日，最新的ceph-csi查看版本号在build.env。默认ceph deploy安装的版本号为N版，稳定版；请一定要保证ceph-csi和ceph集群版本在同一…

PVC报错内容 [root@k8s-01 ceph]# kubectl describe pvc data Name: data Namespace: default StorageClass: csi-cephfs-sc Status: Pending Volume: Labels: <none> Annotations: volume.beta.kubernetes.io/stor…

在使用pod挂载cephfs挂载pod错误日志如下 Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 13m default-scheduler Successfully assigned default/nginx-pod1 to k8s-02 Warning FailedMou…

当我们安装完ceph集群后，集群外的机器想使用Ceph集群内创建的rbd文件。那么，就需要安装Ceph的客户端，也就是rbd客户端，以及一些RBD专用的内核模块。 步骤也相对简单，关于集群搭建，以及ceph原理可以看下面的文章，此处不过多介绍安装和原理部分 环境信息 Ceph集群信息 [root@ceph-01 ~]# ceph -s cluster: id: c8ae7537-8693-40df…

当使用yum install -y 安装ceph-common提示下面依赖的问题 Error: Package: 2:postfix-2.10.1-9.el7.x86_64 (base) 解决方法 #备份旧的源 mkdir /etc/yum.repos.d/old mv /etc/yum.repos.d/* /etc/yum.repos.d/old #配置centos、epeo、ceph源 cur…

之前写过ceph的搭建，那么我们ceph同样也需要prometheus进行监控数据。我这里使用prometheus监控ceph并配置alertmanager告警

ceph dashboard创建密码时提示如下 [root@ceph-03 ~]# ceph dashboard ac-user-create abcdocker admin administrator Error EINVAL: Please specify the file containing the password/secret with "-i" option. 最…

当我们开启mgr-dashboard提示如下报错时 [root@ceph-01 ~]# ceph mgr module enable dashboard Error ENOENT: all mgr daemons do not support module 'dashboard', pass --force to force enablement 需要在ceph-mgr mas…

随着时间的更新，早期写过的Promethues监控k8s和grafana这一块文章已经有需要修改的地方。并且以前使用nfs为pod进行持久化，本地修改为使用ceph进行持久化，版本也进行更新迭代

在Kubernetes中经常需要持久化的地方，很早之前都是使用nfs。但是nfs不支持rbd格式，不支持块存储级别。ceph目前是在kubernetes属于比较流行的存储引擎，支持rbd、cephfs等。本次我使用最新版kubernetes 1.24以及N版ceph进行演示

RGW 简介 Ceph Object Gateway也称为对象网关 ，RGW支持S2协议和SWIFT协议对外提供对象存储，两者的对象访问方式均以HTTP方式访问。用户的对象经由RGW处理后，会最终存放在后端RADOS系统。 对象网关对外提供兼容S3和SWIFT的API 存储网关RGW负责客户端接入 RADOS协议实现数据存储(Libradio是Rados提供库，因为RADOS是协议很难直接访问，因…

在使用Ceph RBD中，我们需要了解RBD的分层、镜像制作以及如何为我们RBD文件进行全备增量备份。对RBD的回收站机制做一些了解

一、Ceph 集群服务维护 之前文章说了一下ceph的安装，安装其实比较简单，但是后续维护起来我们需要知道常用的维护命令 第一种，一次性重启所有服务 如果我们机器上osd、mon、rgw等服务都安装在一个节点，可以通过下面的命令直接管理所有服务 ceph target allowing to start/stop all ceph*@.service instances at once [root…

一、Ceph概述 这里简单的说一下相关的组件，只是简单介绍 组件 概念 Monitor 一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用来保存OSD的元数据 OSD OSD负责相应客户端请求返回具体数据的进程，一个Ceph集群一般都有很多个OSD MDS MDS 全称Cepg Metadata Service，是CephFs服务依赖的元数据服务 Object Ce…