Saltearse al contenido

Object stores

En un object store, el bucket es la base de datos: mata el proceso, inicia otro en otra máquina con el mismo URI, y el grafo está ahí.

Requisito: PUT-if-absent

NamiDB necesita una capacidad de escritura condicional del store: create-if-absent (If-None-Match: * en S3). Es el compare-and-swap detrás de cada puntero del manifest y de cada commit del WAL. La sobrescritura condicional (If-Match) no se requiere para escribir, y se tolera un LIST con consistencia eventual.

AWS S3, Google Cloud Storage, Azure Blob Storage, Cloudflare R2, Tigris y las versiones actuales de MinIO lo soportan. Un servicio “compatible con S3” que ignora If-None-Match: * no puede alojar NamiDB de forma segura: dos writers podrían creer que ambos confirmaron. Verifica un servicio nuevo antes de confiar en él:

import boto3
s3 = boto3.client("s3", endpoint_url="https://<endpoint>")
s3.put_object(Bucket="my-bucket", Key="probe", Body=b"1", IfNoneMatch="*")
try:
s3.put_object(Bucket="my-bucket", Key="probe", Body=b"2", IfNoneMatch="*")
print("UNSAFE: the second create succeeded")
except s3.exceptions.ClientError as e:
print("ok:", e.response["Error"]["Code"]) # ok: PreconditionFailed
s3.delete_object(Bucket="my-bucket", Key="probe")

AWS S3

db = namidb.Client("s3://my-bucket/graphs?ns=prod&region=us-west-2")
Ventana de terminal
export AWS_ACCESS_KEY_ID=… AWS_SECRET_ACCESS_KEY=… # or use an instance/task/pod role
namidb-server --store "s3://my-bucket/graphs?ns=prod&region=us-west-2" \
--auth-token "$NAMIDB_AUTH_TOKEN"

Sin un /prefix, los objetos van bajo tenants/<ns>/ en el bucket.

Cloudflare R2

db = namidb.Client(
"s3://my-bucket?ns=prod"
"&endpoint=https://<ACCOUNT_ID>.r2.cloudflarestorage.com&region=auto"
)

AWS_ACCESS_KEY_ID / AWS_SECRET_ACCESS_KEY contienen el key id y el secreto del API token de R2.

Tigris y otros servicios compatibles con S3

Apunta endpoint= al servicio y pasa sus claves en las variables de AWS:

s3://my-bucket?ns=prod&endpoint=https://<service-endpoint>&region=auto

Agrega allow_http=true solo para endpoints con HTTP plano en una red de confianza (LocalStack, un MinIO en el mismo proyecto de Compose).

Google Cloud Storage

Ventana de terminal
export GOOGLE_APPLICATION_CREDENTIALS=/etc/namidb/gcs-key.json
db = namidb.Client("gs://my-bucket/graphs?ns=prod")
# or name the key file in the URI:
db = namidb.Client("gs://my-bucket?ns=prod&service_account=/etc/namidb/gcs-key.json")

Azure Blob Storage

Ventana de terminal
export AZURE_STORAGE_ACCOUNT_NAME=myaccount
export AZURE_STORAGE_ACCOUNT_KEY=…
db = namidb.Client("az://myaccount/mycontainer?ns=prod")
# Azurite emulator:
db = namidb.Client("az://devstoreaccount1/mycontainer?ns=dev&use_emulator=true")

LocalStack

Ventana de terminal
docker run --rm -p 127.0.0.1:4566:4566 -e SERVICES=s3 localstack/localstack
aws --endpoint-url=http://localhost:4566 s3 mb s3://namidb-dev
export AWS_ACCESS_KEY_ID=test AWS_SECRET_ACCESS_KEY=test
db = namidb.Client(
"s3://namidb-dev?ns=local&endpoint=http://localhost:4566&allow_http=true&region=us-east-1"
)

Configuración del bucket

  • Aborta las cargas multipart incompletas. Agrega una regla de ciclo de vida que aborte las cargas multipart incompletas después de un período corto (un día es lo habitual). NamiDB aborta las cargas que puede, pero un proceso que se mata en medio de una carga deja partes que el bucket sigue cobrando.
  • No hagas expirar ni muevas de clase los objetos de NamiDB con reglas de ciclo de vida. El motor borra lo que ya no necesita (consulta Mantenimiento); una regla externa que elimina o archiva objetos vivos corrompe el namespace.
  • El versionado es opcional. NamiDB nunca sobrescribe sus archivos de datos; el versionado del bucket solo agrega una red de seguridad (y costo) para los borrados.
  • Usa un bucket o prefijo separado para los backups, con sus propias credenciales si es posible. Consulta Backup y restore.
  • Mantén el servidor cerca del bucket (misma región). Cada commit son algunas idas y vueltas al store, así que la latencia de commit sigue a la latencia del store; el group commit la amortiza con escrituras concurrentes.

Caché de lectura

En un object store, las lecturas obtienen rangos de bytes de archivos inmutables y los guardan en una caché de RAM acotada, opcionalmente respaldada por una caché NVMe local persistente que sobrevive a los reinicios. Ambas son solo cachés; consulta Memoria y cachés.

Timeouts y reintentos

El cliente de object store reintenta los errores transitorios. Ajústalo con NAMIDB_STORE_REQUEST_TIMEOUT, NAMIDB_STORE_RETRY_TIMEOUT y NAMIDB_STORE_MAX_RETRIES; consulta URIs de almacenamiento.