Object stores
En un object store, el bucket es la base de datos: mata el proceso, inicia otro en otra máquina con el mismo URI, y el grafo está ahí.
Requisito: PUT-if-absent
NamiDB necesita una capacidad de escritura condicional del store:
create-if-absent (If-None-Match: * en S3). Es el compare-and-swap
detrás de cada puntero del manifest y de cada commit del WAL. La
sobrescritura condicional (If-Match) no se requiere para escribir, y se
tolera un LIST con consistencia eventual.
AWS S3, Google Cloud Storage, Azure Blob Storage, Cloudflare R2, Tigris y
las versiones actuales de MinIO lo soportan. Un servicio “compatible con
S3” que ignora If-None-Match: * no puede alojar NamiDB de forma segura:
dos writers podrían creer que ambos confirmaron. Verifica un servicio nuevo
antes de confiar en él:
import boto3
s3 = boto3.client("s3", endpoint_url="https://<endpoint>")s3.put_object(Bucket="my-bucket", Key="probe", Body=b"1", IfNoneMatch="*")try: s3.put_object(Bucket="my-bucket", Key="probe", Body=b"2", IfNoneMatch="*") print("UNSAFE: the second create succeeded")except s3.exceptions.ClientError as e: print("ok:", e.response["Error"]["Code"]) # ok: PreconditionFaileds3.delete_object(Bucket="my-bucket", Key="probe")AWS S3
db = namidb.Client("s3://my-bucket/graphs?ns=prod®ion=us-west-2")export AWS_ACCESS_KEY_ID=… AWS_SECRET_ACCESS_KEY=… # or use an instance/task/pod rolenamidb-server --store "s3://my-bucket/graphs?ns=prod®ion=us-west-2" \ --auth-token "$NAMIDB_AUTH_TOKEN"Sin un /prefix, los objetos van bajo tenants/<ns>/ en el bucket.
Cloudflare R2
db = namidb.Client( "s3://my-bucket?ns=prod" "&endpoint=https://<ACCOUNT_ID>.r2.cloudflarestorage.com®ion=auto")AWS_ACCESS_KEY_ID / AWS_SECRET_ACCESS_KEY contienen el key id y el
secreto del API token de R2.
Tigris y otros servicios compatibles con S3
Apunta endpoint= al servicio y pasa sus claves en las variables de AWS:
s3://my-bucket?ns=prod&endpoint=https://<service-endpoint>®ion=autoAgrega allow_http=true solo para endpoints con HTTP plano en una red de
confianza (LocalStack, un MinIO en el mismo proyecto de Compose).
Google Cloud Storage
export GOOGLE_APPLICATION_CREDENTIALS=/etc/namidb/gcs-key.jsondb = namidb.Client("gs://my-bucket/graphs?ns=prod")# or name the key file in the URI:db = namidb.Client("gs://my-bucket?ns=prod&service_account=/etc/namidb/gcs-key.json")Azure Blob Storage
export AZURE_STORAGE_ACCOUNT_NAME=myaccountexport AZURE_STORAGE_ACCOUNT_KEY=…db = namidb.Client("az://myaccount/mycontainer?ns=prod")# Azurite emulator:db = namidb.Client("az://devstoreaccount1/mycontainer?ns=dev&use_emulator=true")LocalStack
docker run --rm -p 127.0.0.1:4566:4566 -e SERVICES=s3 localstack/localstackaws --endpoint-url=http://localhost:4566 s3 mb s3://namidb-devexport AWS_ACCESS_KEY_ID=test AWS_SECRET_ACCESS_KEY=testdb = namidb.Client( "s3://namidb-dev?ns=local&endpoint=http://localhost:4566&allow_http=true®ion=us-east-1")Configuración del bucket
- Aborta las cargas multipart incompletas. Agrega una regla de ciclo de vida que aborte las cargas multipart incompletas después de un período corto (un día es lo habitual). NamiDB aborta las cargas que puede, pero un proceso que se mata en medio de una carga deja partes que el bucket sigue cobrando.
- No hagas expirar ni muevas de clase los objetos de NamiDB con reglas de ciclo de vida. El motor borra lo que ya no necesita (consulta Mantenimiento); una regla externa que elimina o archiva objetos vivos corrompe el namespace.
- El versionado es opcional. NamiDB nunca sobrescribe sus archivos de datos; el versionado del bucket solo agrega una red de seguridad (y costo) para los borrados.
- Usa un bucket o prefijo separado para los backups, con sus propias credenciales si es posible. Consulta Backup y restore.
- Mantén el servidor cerca del bucket (misma región). Cada commit son algunas idas y vueltas al store, así que la latencia de commit sigue a la latencia del store; el group commit la amortiza con escrituras concurrentes.
Caché de lectura
En un object store, las lecturas obtienen rangos de bytes de archivos inmutables y los guardan en una caché de RAM acotada, opcionalmente respaldada por una caché NVMe local persistente que sobrevive a los reinicios. Ambas son solo cachés; consulta Memoria y cachés.
Timeouts y reintentos
El cliente de object store reintenta los errores transitorios. Ajústalo con
NAMIDB_STORE_REQUEST_TIMEOUT, NAMIDB_STORE_RETRY_TIMEOUT y
NAMIDB_STORE_MAX_RETRIES; consulta
URIs de almacenamiento.