Virtualización

croit reescribe el OSD de Ceph en Rust: qué es FlashStore, qué prometen sus cifras y qué falta

Por Equipo Cloud Privado · · 12 min de lectura ·Actualizado noviembre de 2026
Pila de discos NVMe conectada a un engranaje rojo con líneas de datos hacia un clúster, sobre fondo grafito

Las claves en 30 segundos

  • croit ha publicado FlashStore OSD, un demonio OSD de Ceph escrito desde cero en Rust para discos NVMe, junto con librustyrados, librustyrbd y un transporte RDMA (RoCEv2). El código está en GitHub desde el 6 de noviembre de 2026.
  • Habla el protocolo de Ceph. Monitores, gestores, clientes y OSD clásicos no cambian, y un mismo pool puede mezclar OSD clásicos y FlashStore.
  • Sus cifras, frente a BlueStore en Ceph 21.2.0: un 50 % más de rendimiento de media en pools replicados, un 52 % menos de latencia p99 y un 36 % menos de CPU por operación. Las ha medido croit y cada prueba se ejecutó una sola vez.
  • Es una versión preliminar. El propio fabricante no la recomienda todavía para datos de producción. La disponibilidad general está prevista para el primer trimestre de 2027.
  • Requisitos estrictos: NVMe con protección ante cortes de luz y formato de sector de 4 KiB, Ceph Umbrella 21.2.0 o Tentacle 20.2.4/20.2.5, y no hay conversión en caliente: cada disco se redespliega.
  • El acceso directo a memoria de GPU (GPUDirect vía NIXL) aún no está en el repositorio. Llegará como versión preliminar en el primer trimestre de 2027.

Ceph lleva más de una década siendo la respuesta por defecto cuando alguien necesita almacenamiento distribuido sin depender de una cabina. Lo usa Proxmox para su almacenamiento hiperconvergente, lo usan los proveedores de OpenStack y lo usan miles de empresas para bloques, ficheros y objetos S3. Lo que no ha cambiado en todo ese tiempo es el lenguaje de su núcleo: C++.

Ahora una de las empresas que más conoce Ceph por dentro ha decidido reescribir la pieza que más trabaja. croit, una compañía alemana miembro fundador de la Ceph Foundation, ha publicado ceph-rust: un OSD nuevo, en Rust, pensado solo para flash. No es un fork ni un envoltorio. Es una implementación propia que habla el mismo protocolo y que puede convivir con tu clúster actual.

Conviene mirarlo con atención, y también con calma. Las cifras son buenas, el equipo tiene credenciales serias y el diseño es coherente. Pero es una versión preliminar, las pruebas las firma quien vende el producto y la parte que más titulares va a generar, la de las GPU, todavía no está publicada.

Qué ha publicado croit exactamente

El repositorio reúne cuatro componentes, cada uno pensado para sustituir una pieza concreta de Ceph:

ComponenteSustituye aQué es
croit FlashStore OSDceph-osd con BlueStoreOSD solo para NVMe, con motor de almacenamiento propio, para pools replicados y con erasure coding
librustyradoslibradosBiblioteca RADOS compatible (API de C y ABI de C++) más una API nativa en Rust, con RDMA opcional
librustyrbdlibrbdBiblioteca para dispositivos de bloque RBD, la que usa QEMU/KVM, con RDMA opcional
Transporte RDMA (RoCEv2)msgr2 sobre TCPCambio de la conexión a RDMA entre las bibliotecas en Rust y los OSD FlashStore

Los monitores (ceph-mon) y los gestores (ceph-mgr) siguen siendo los de siempre. croit no los toca.

La compatibilidad está declarada con bastante precisión: según el README, librustyrados exporta los 407 símbolos de función C++ de la librados original y el OSD implementa los 26 métodos de la clase cls-lock. Las aplicaciones, QEMU/KVM y las herramientas de Ceph cargan las nuevas bibliotecas sin recompilar, y las originales siguen instaladas para volver atrás.

Hay paquetes .deb para Debian 13 (trixie) y Ubuntu, y .rpm para EL9 y EL10, todos para x86_64. El volumen de código es considerable: unas 700.000 líneas de Rust según nuestro recuento con wc -l sobre los ficheros .rs del snapshot, pruebas incluidas.

Quién está detrás

El nombre que más pesa es el de Igor Fedotov. Fue uno de los desarrolladores principales de BlueStore, el motor que sustituyó a FileStore y que hoy es el estándar de Ceph. En el repositorio oficial de Ceph figura como autor de más de mil commits (1.072 en el buscador de GitHub a 10 de noviembre de 2026), y croit indica que forma parte del Ceph Steering Committee. Que la persona que diseñó buena parte del motor actual sea quien propone sustituirlo no es un dato menor.

Con él firman Md Mahamudur Rahaman Sajib, también contribuidor habitual de Ceph, y Martin Verges, consejero delegado de croit. El fichero de autores incluye además a Matthias Grandl.

croit cuenta algo que no todos los fabricantes explicarían: el equipo usa IA como herramienta de desarrollo para convertir su conocimiento de Ceph en código con rapidez. Añade que el diseño, la revisión y las pruebas siguen en manos de los ingenieros y que cada cambio se mide contra BlueStore. Es razonable que lo diga, y es razonable que quien vaya a guardar datos encima quiera ver cómo madura la base de pruebas antes de fiarse.

El código es de sala limpia: según croit, no reutiliza nada del C++ de Ceph y reimplementa el protocolo y el comportamiento a partir de especificaciones propias.

Por qué reescribir el OSD

El OSD es el demonio que guarda los datos en cada disco, los replica y responde a los clientes. En un clúster con discos mecánicos, el cuello de botella es el disco: el OSD tiene tiempo de sobra mientras el cabezal se mueve. Con NVMe la situación se da la vuelta. Un disco NVMe de centro de datos sirve cientos de miles de IOPS de 4K, y el límite pasa a ser el tiempo de CPU que el OSD gasta en cada operación.

croit enumera dónde se va ese tiempo en el OSD clásico: colas compartidas con bloqueos y despertares entre hilos, RocksDB y BlueFS debajo de los metadatos de cada objeto, y rutas de red con sus llamadas al sistema y sus copias de memoria. La respuesta habitual ha sido poner más núcleos, núcleos más rápidos o más red. croit propone recortar el trabajo por operación.

El proyecto oficial lleva años en la misma dirección con Crimson, un OSD nuevo basado en Seastar, y SeaStore, su motor de almacenamiento. Sigue marcado como tech preview en la documentación de Ceph. croit explica en su dosier de prensa que Igor Fedotov intentó varias veces medir Crimson con SeaStore en el mismo hardware y no consiguió completar una prueba, así que compara solo con BlueStore, que es lo que corre hoy en producción.

Qué cambia por dentro

Por fuera, FlashStore es un OSD normal: usa msgr2, la autenticación CephX, el mismo OSDMap y las mismas reglas CRUSH. Por dentro cambia casi todo:

  • Un hilo fijado por núcleo. Cada grupo de colocación (PG) pertenece a un único núcleo, así que nunca espera un bloqueo. Los núcleos se pasan trabajo por anillos sin bloqueos de un productor y un consumidor.
  • Motor de almacenamiento propio. Cada núcleo gestiona un trozo del disco con su propio registro de escritura anticipada, un árbol B+ de copia en escritura, su asignador y su cola de dispositivo. El árbol solo guarda metadatos. Los datos van a extensiones de 4K nuevas, nunca se sobrescriben en su sitio y se escriben en paralelo con su registro. Por defecto no hay RocksDB, ni BlueFS, ni compactación LSM.
  • Rutas de E/S cortas. El acceso al NVMe va por un anillo io_uring propio de cada núcleo, o por SPDK en espacio de usuario, con E/S directa y páginas grandes de 2 MiB. El OSD no usa la caché de páginas del sistema.
  • Una sola copia de los datos. Una escritura se copia una vez, al recibirla por red, y con RDMA ni eso. A partir de ahí viaja por referencia hasta el disco y las réplicas.
  • Confirmación solo cuando es duradera. El cliente recibe el «hecho» cuando datos, metadatos y registro están en el soporte en todas las réplicas. Por eso exige discos con protección ante cortes de luz (PLP).

La consecuencia práctica más interesante no es el rendimiento sino la memoria. BlueStore lee los metadatos de RocksDB a través de la caché de páginas del núcleo, que crece con el volumen de datos: croit midió hasta 26 GiB por OSD en algunas pruebas. FlashStore usa E/S directa, así que lo que ocupa es la memoria de su proceso, entre 2,2 y 4,8 GiB de mediana por OSD en todas las pruebas. En un nodo hiperconvergente, donde esa memoria compite con las máquinas virtuales, poder calcularla de antemano vale casi tanto como el rendimiento.

Las cifras y cómo leerlas

croit midió en un clúster de cinco servidores AMD EPYC 9455P con 30 OSD NVMe, 6 núcleos dedicados por OSD y 2 × 200 Gbit/s, por TCP del núcleo y sin RDMA. La referencia fue Ceph 21.2.0 con BlueStore en el mismo hardware, con clientes fio sobre librados sin modificar.

Frente a BlueStoreReplicado (3 copias)Erasure coding 2+2
Rendimiento+50 % de media, hasta +123 %+54 % de media, hasta +187 %
Latencia p99−52 % de media, hasta −94 %−57 %
CPU del OSD por operación−36 % de media, hasta −59 %−37 %

Las mayores ganancias están en las operaciones pequeñas, justo donde el OSD clásico gasta más CPU: +123 % en lecturas secuenciales de 4K en el pool replicado y +187 % en escrituras aleatorias de 4K con erasure coding. FlashStore igualó o superó a BlueStore en 27 de 28 pruebas. La excepción, lecturas aleatorias de 64K replicadas, quedó en 0,99x.

Las bibliotecas cliente se midieron aparte, con un solo cliente: librustyrbd escribe bloques de 4 MiB 2,1 veces más rápido que librbd (17,9 frente a 8,5 GB/s) y las lecturas aleatorias de 4K de un objeto con profundidad de cola 32 van 1,56 veces más rápido. En el laboratorio de croit, el transporte RDMA dio un 46 % más de rendimiento en escrituras de 4 MiB que TCP con un 44 % menos de CPU en el cliente.

Ahora, la letra pequeña, que croit publica sin esconderla:

  • Cada prueba se ejecutó una vez por motor. No hay repeticiones ni intervalos de confianza. Los datos brutos de fio se pueden descargar.
  • Se mide RADOS, no tu carga. Las cifras de clúster miden el camino de datos del OSD. Si tu cuello de botella está en el gateway S3 (RGW) o en el servidor de metadatos de CephFS, no vas a notar diferencia. RGW y CephFS no se midieron de extremo a extremo.
  • Hay pruebas que pierden. En metadatos clave-valor (OMAP, donde viven el índice de buckets de S3 y los metadatos de CephFS) la media es un 22 % mejor, pero cuatro de 27 pruebas quedan más de un 10 % por debajo de BlueStore, con mínimos de 0,70x.
  • Es una versión preliminar. croit avisa de que las cifras cambiarán con cada compilación.

croit añade que todas las pruebas de FlashStore arrancaron en frío, con la caché vaciada, y las de BlueStore no, lo que en todo caso favorecería a BlueStore. Es un dato a su favor, pero sigue siendo una prueba del fabricante. Hasta que alguien ajeno reproduzca los números en otro hardware, lo prudente es tomarlos como una indicación del techo y no como lo que vas a obtener.

RDMA y GPU: lo que ya está y lo que no

El transporte RDMA sobre RoCEv2 forma parte de la versión preliminar de hoy, entre las bibliotecas cliente en Rust y los OSD FlashStore. Es interesante para clústeres con redes de 100 Gbit/s o más, donde la pila TCP empieza a pesar en la CPU del cliente.

La parte de GPU es la que más expectación ha despertado, y conviene situarla bien. El plugin KVBM/NIXL, que permitiría mover datos por GPUDirect RDMA directamente a la memoria de la GPU, por ejemplo para descargar la caché KV de un modelo de lenguaje, no está en el repositorio. NIXL es la biblioteca de transferencia de datos de NVIDIA para inferencia distribuida, y el plugin de croit tiene versión preliminar prevista para el primer trimestre de 2027 y disponibilidad general para el segundo. En el fichero de licencias ya figura con licencia Apache 2.0, la misma de NIXL, para poder enviarlo al proyecto original.

Tampoco están todavía la deduplicación (diciembre de 2026), un sistema de ficheros nuevo basado en transacciones y compatible con libcephfs, ni un RGW reescrito en Rust. Todas las fechas, avisa croit, son orientativas.

Si te interesa Ceph como capa de datos para servidores GPU, esto es una hoja de ruta que vigilar, no algo que se pueda probar esta semana.

Código abierto, con matices

El OSD se publica con licencia LGPL-3.0, las bibliotecas cliente con MPL-2.0 y la documentación con CC-BY-SA-4.0. Son licencias libres de verdad, y la MPL de las bibliotecas permite enlazarlas sin arrastrar obligaciones al resto de tu código.

Dicho eso, el repositorio es una instantánea de solo lectura de un desarrollo privado. No tiene gestor de incidencias ni flujo de contribuciones, y las actualizaciones llegan como un commit nuevo por instantánea. Puedes leer, compilar, auditar y modificar el código, pero hoy no es un proyecto comunitario en el sentido habitual. Tampoco se incluyen los documentos de diseño, las herramientas de benchmark ni los componentes que aún no han salido.

croit dice que ofrecerá su trabajo al proyecto Ceph y que la decisión de integrarlo es de la comunidad. Es la parte que más va a importar a largo plazo: un OSD alternativo mantenido por un solo fabricante y uno integrado en Ceph son cosas muy distintas para quien tenga que operarlo diez años.

¿Y en un clúster Proxmox?

Proxmox VE 9 se basa en Debian 13, y croit publica paquetes para trixie, así que sobre el papel encaja. Pero hay que cumplir varias condiciones:

  1. Versión de Ceph. FlashStore exige Umbrella 21.2.0 o Tentacle 20.2.4/20.2.5. Proxmox tiene Tentacle 20.2.5 y Umbrella 21.2.0, pero esta última, a 10 de noviembre de 2026, solo en los repositorios no-subscription y test, no en el enterprise. Un clúster en Squid 19.2 no sirve sin actualizar antes.
  2. Discos. Solo NVMe, con PLP y formato de sector de 4 KiB, usando el namespace completo, sin particiones ni sistema de ficheros. Si tus discos vienen en 512 bytes, hay que reformatearlos. Explicamos qué significan esos formatos en el post sobre discos 512e y 4Kn.
  3. Sin conversión en caliente. El formato en disco es distinto, así que cada OSD se destruye y se vuelve a crear como FlashStore. Ceph lo rellena desde las otras copias como cuando se cambia un disco. Para volver a BlueStore, el mismo camino al revés.
  4. Fuera de las herramientas de Proxmox. FlashStore se prepara con su propia herramienta (croit-flashstore-tool) y su unidad de systemd. La interfaz y pveceph no lo conocen, y Proxmox no le da soporte.

No lo hemos probado en nuestro laboratorio todavía. Si lo hacemos, contaremos aquí lo que salga.

Qué haríamos nosotros

Para un clúster en producción, nada todavía. Es una versión preliminar y el propio fabricante lo dice.

Para quien tenga un laboratorio con NVMe y quiera adelantarse, el plan razonable es este:

  1. Montar un clúster de prueba en Umbrella o Tentacle con los mismos discos y la misma red que producción.
  2. Crear un pool de prueba y medir con BlueStore la carga que te importa: RBD de tus máquinas virtuales, no solo RADOS sintético.
  3. Redesplegar un servidor entero como FlashStore y repetir. El pool mixto permite comparar en el mismo clúster.
  4. Mirar tres cosas: CPU por operación, latencia p99 y memoria por OSD. En hiperconvergencia, la CPU y la memoria que libera el almacenamiento son las que ganan las máquinas virtuales.
  5. Provocar fallos: apagar un nodo, quitar un disco, cortar la red. Un OSD nuevo se juzga por cómo se recupera, no por cómo corre.

Y vigilar dos cosas en los próximos meses: si aparecen mediciones independientes y qué dice el proyecto Ceph sobre integrarlo.

La conclusión

FlashStore OSD es la propuesta más seria que hemos visto para quitarle a Ceph el peaje de CPU en flash. Tiene detrás a uno de los arquitectos de BlueStore, convive con los clústeres actuales y se publica con licencias libres y con sus puntos débiles a la vista. Es justo lo que se le pide a un anuncio así.

Pero hoy es una versión preliminar de un solo fabricante, con pruebas propias, publicada como instantánea de solo lectura y con lo más llamativo, GPUDirect, todavía en la hoja de ruta. Merece un sitio en el laboratorio y una revisión en el primer trimestre de 2027, no en el almacenamiento donde viven tus datos.

Preguntas frecuentes

¿FlashStore OSD sustituye a todo Ceph? No. Sustituye al OSD con BlueStore y, en el cliente, a librados y librbd. Los monitores y gestores siguen siendo los de Ceph.

¿Puedo mezclar OSD clásicos y FlashStore en el mismo pool? Sí. Hablan el mismo protocolo, y croit plantea la migración disco a disco o servidor a servidor dentro del mismo pool.

¿Funciona con discos mecánicos o SSD SATA? No. Solo NVMe con protección ante cortes de luz y sector de 4 KiB. croit no tiene previsto ningún camino para discos mecánicos.

¿Está listo para producción? No. Es una versión preliminar para pruebas y evaluación. La disponibilidad general está prevista para el primer trimestre de 2027, y croit dice que la lanzará cuando sus ingenieros la consideren lista, no en una fecha fija.

¿Ya permite usar GPUDirect con Ceph? Todavía no. El plugin de NIXL para GPUDirect RDMA tiene versión preliminar prevista para el primer trimestre de 2027. Lo que sí está es RDMA sobre RoCEv2 entre clientes y OSD.

¿Puedo usarlo con Proxmox VE? Técnicamente hay paquetes para Debian 13, base de Proxmox VE 9, pero necesitas Ceph Tentacle 20.2.4/20.2.5 o Umbrella 21.2.0, y Proxmox no lo integra ni lo soporta. Solo para laboratorio.

Fuentes


¿Tu clúster Ceph se queda corto de CPU con NVMe, o estás dimensionando uno nuevo sobre Proxmox? En Cloud Privado te ayudamos a medir dónde está de verdad el cuello de botella y a diseñar el almacenamiento con Ceph y Proxmox en infraestructura dedicada.

¿Proxmox en producción sin llevarlo tú?

Si prefieres no cargar con la operación, dinos qué tienes y qué te falta. Te contamos qué opciones hay para llevarlo gestionado.

Respuesta en 24–48 h laborables · Sin compromiso

¿Prefieres el correo? Escríbenos a comercialcloudprivado.com