gcp compute engine(load balancer, auto scaling, high availability)

goolge compute engine's

• Load balancer(LB)
• Auto scaling
• high availability

 

Load balancer provides

• scale application
• react heavy traffic
• route traffic to the closest vm
• automatically remove unhealthy vm, automatically re-add re-healthy vm

 

Load balancer types

• global
  • HHTP(S), SSL Proxy, TCP Proxy

클라이언트와 Web서버의 중간에 위치하고 있어, 대신 통신을 받아 주는 것이 프록시 서버.
특히 내부 네트워크에서 인터넷 접속을 할 때에, 빠른 액세스나 안전한 통신등을 확보하기 위한 중계서버

• Regional
  • Network, Internal

 

HHTP(S) Load

 

HHTP(S) Load balancer distribution algorithm

• Requests per second (RPS)
• CPU utilization

HHTP(S) Load balancer Session Affinity

• Client IP affinity
• generated cookie affinity

HHTP(S) Load balancer : WebSocket Proxy Support

• support for websocket protocol

WebSocket은 연결이 유지되는 동안 상태를 유지하므로 (stateful), 연속적인 통신이 필요한 실시간 애플리케이션(예: 채팅 애플리케이션, 실시간 게임, 금융 거래 플랫폼)에 적합

 

 

HTTP(S) Traffic: 웹 브라우저와 웹 서버 간의 통신. 예: 웹 페이지 요청, API 호출 등.

Non-HTTP(S) Traffic
TCP Traffic: 일반적인 TCP 프로토콜을 사용하는 통신. 예: 데이터베이스 연결, FTP, SSH 등.
UDP Traffic: 주로 스트리밍, VOIP, 온라인 게임에 사용되는 프로토콜.
ICMP Traffic: 네트워크 진단에 사용되는 프로토콜. 예: ping 명령어.

 

SSL Load balancer

 

Client              -            SSL Load balancer              -            Backend Server

           (SSL offloading)                                  (SSL reloading)

 

 

Global External LB

• http(s) LB
• SSL proxy LB
• TCP/UDP LB

전세계 어디에서나 사용자의 요청을 가능한 한 가장 가까운 데이터 센터로 라우팅

 

Regional LB

• Internal LB
  • 특정 지역 내의 사용자의 요청을 해당 지역의 백엔드 인스턴스로 라우팅
• External LB
  • 특정 지역 내의 VPC에서의 내부 트래픽을 백엔드 인스턴스로 라우팅

 

Load balancer connection draining

백엔더 서비스에서 인스턴스를 제거할 때(health condition, auto scaling, etc..) 사용자 중단을 최소화 하기 위한 기능

 

 

Auto scaling

• add or remove vm from MIG
• handle increases in traffic
• reduces cost
• Policy

 

Auto scaling Policies

• CPU utilization
• LB serving capacity : 로드 밸런스의 처리 용량 기반으로, 넘치면 add, 남으면 rm
• Stackdriver monitoring metrics
• GC Pub/Sub queuing workload(Alpha) : Pub/Sub 큐의 작업량(대기중인 메시지 수)를 기반으로 스케일링
  • 이 기능은 Alpha 단계로 아직 초기 테스트 중에 있음.

Auto scaling specifications

• only with managed instance group(MIG)
• kubernetes engine -> cluster auto scaling