Scalarea subsistemului Data Platform

Pe măsură ce cresc numărul de utilizatori, volumul de date și numărul de dispozitive, subsistemul Data Platform trebuie scalat. Arhitectura pe care se bazează și potențialul de scalare inerent acesteia sunt descrise în Scalabilitatea sistemului; această pagină prezintă strategiile practice de scalare a unei instalări de producție.

Strategii de scalare a platformei

flowchart LR
subgraph subGraph0["Strategii de scalare a subsistemului Data Platform"]
F["Scalare verticală"]
A["Servere de aplicații (Ruby on Rails)"]
G["Scalare orizontală"]
B["Servere de colectare a datelor (GO)"]
C["Baza de date PostgreSQL"]
H["Optimizarea bazei de date"]
D["Docker/Kubernetes"]
E["Scalarea părții de client"]
end
A --> F & G
B --> F & G
C --> F & G & H
D --> B & A
E -- Efficient_Distribution --> D

Scalarea verticală și orizontală

Platforma permite două abordări complementare ale scalării: scalarea verticală adaugă resurse serverelor existente, iar scalarea orizontală adaugă servere suplimentare.

Scalarea verticală

• Creșterea resurselor de server:

  • Adăugați resurse CPU, RAM și spațiu de stocare SSD pe serverele de aplicații (Ruby on Rails) și pe serverele de colectare a datelor (Go).
  • Creșteți performanța bazei de date PostgreSQL folosind matrice de discuri mai puternice și optimizând indexurile.

• Avantaje: implementare simplă, cu modificări minime ale arhitecturii.

• Limitări: limitele fizice ale fiecărui server și costul ridicat.

Scalarea orizontală

• Adăugarea de servere noi:
  • Ruby on Rails: lansați instanțe suplimentare ale aplicației în spatele unui sistem de echilibrare a încărcării (load balancer), de exemplu Nginx sau HAProxy.
  • Serverele Go: se scalează ușor datorită procesării pe mai multe fire de execuție și mecanismelor integrate de scalare orizontală.
  • PostgreSQL: replicați datele și partiționați-le orizontal pentru a echilibra încărcarea.
• Avantaje: toleranță ridicată la defecte și scalabilitate practic nelimitată.
• Limitări: complexitatea suplimentară a gestionării unui sistem distribuit.

Utilizarea Kubernetes/Docker Compose pentru orchestrarea containerelor

Migrarea la Kubernetes/Docker Compose

• Containerizarea aplicațiilor:
  • Serverele Ruby on Rails și Go se împachetează în containere Docker.
  • Kubernetes/Docker Compose gestionează lansarea, scalarea și monitorizarea acestor containere.
• Scalare automată:
  • Horizontal Pod Autoscaler (HPA) mărește automat numărul de poduri Kubernetes în funcție de încărcare.
  • Cluster Autoscaler adaugă noduri noi în cluster atunci când resursele devin insuficiente.
• Avantaje: flexibilitate ridicată, automatizare și toleranță la defecte.

Exemplu de arhitectură în Kubernetes

• Ingress Controller: direcționează cererile către serverele Ruby on Rails și Go.
• StatefulSets: gestionează replicile PostgreSQL cu stare.
• Service Mesh: folosește Istio sau Linkerd pentru a gestiona traficul și a îmbunătăți securitatea.

Optimizarea bazei de date

Nivelul bazei de date se scalează printr-o combinație de replicare, partiționare orizontală (sharding) și memorare în cache.

Replicarea și partiționarea orizontală în PostgreSQL

• Replicare:
  • Configurați replicarea primar-secundar (master-slave) pentru a distribui încărcarea la citire.
  • Folosiți instrumente precum Patroni pentru a gestiona automat replicarea.
• Partiționare orizontală (sharding):
  • Împărțiți datele între mai multe clustere PostgreSQL pentru a distribui încărcarea la scriere.
  • Folosiți Citus pentru a scala orizontal baza de date PostgreSQL.

Memorarea în cache

• Redis sau Memcached:
  • Memorați în cache datele solicitate frecvent pentru a reduce încărcarea bazei de date.
  • Integrați memoria cache cu Ruby on Rails prin ActiveSupport::Cache.

Scalarea părții de client

• Memorarea în cache pe partea de client:

  • Folosiți Service Workers și Cache API pentru a memora în cache resursele statice.

• Rețea de livrare a conținutului (CDN):

  • Distribuiți fișierele statice prin CDN pentru a reduce încărcarea serverelor.

Avantajele soluției propuse

• Toleranță ridicată la defecte: datorită Kubernetes/Docker Compose și replicării bazei de date PostgreSQL.
• Flexibilitate: serverele noi și microserviciile se adaugă ușor.
• Automatizare: scalarea necesită o intervenție umană minimă.
• Eficiență economică: utilizarea resurselor se optimizează prin scalarea automată.

Scenariul de scalare descris mai sus permite sistemului de telemetrie să facă față eficient încărcărilor în creștere și asigură performanță ridicată, toleranță la defecte și flexibilitate. Prin adoptarea acestor tehnologii moderne, platforma este pregătită pentru provocările viitoare.