참도다리

목차 1. 소개 2. 설치 3. Demo1:Trino-Taxi-Data 4.Getting Started Stackable Data Platform (SDP) : 오픈소스 데이터 관련 다양한 애플리케이션(Apache Spark, Apache Superset, Apache HBase, Apache Airflow 등) 을 손쉽게 쿠버네티스 환경에 배포할 수 있으며 관리할 수 있다. 데이터 관련 제공 오퍼레이터 - Link Airflow, Druid, HBase, Hadoop HDFS, Hive, Kafka, NiFi, Spark, Superset, Trino, ZooKeeper EKS 원클릭 배포 v1.26 - CloudFormation_Link myesk-bastion-EC2 를 기존 AL2 대신 → Ubu..

목차 1. 카프카 소개 2. Strimzi 소개 3. Strimzi 설치 & 카프카 클러스터 생성 4. 토픽 생성 및 메시지 주고 받기 5. 장애발생 1. 카프카 소개 Apache Kafka 빠르고 확장 가능한 작업을 위해 데이터 피드의 분산 스트리밍, 파이프 라이닝 및 재생을 위한 실시간 스트리밍 데이터를 처리하기 위한 목적으로 설계된 오픈 소스 분산형 게시-구독 메시징 플랫폼. Kafka는 서버 클러스터 내에서 데이터 스트림을 레코드로 유지하는 방식으로 작동하는 브로커 기반 솔루션입니다. Kafka 서버는 여러 데이터 센터에 분산되어 있을 수 있으며 여러 서버 인스턴스에 걸쳐 레코드 스트림(메시지)을 토픽으로 저장하여 데이터 지속성을 제공할 수 있습니다. 토픽은 레코드 또는 메시지를 키, 값 및 타임..

목차 1. Percona Operator for MongoDB 2. 복제 3. 장애 발생 4. 샤딩 NoSQL (Not Only SQL) RDBMS(MySQL,PostgreSQL)처럼 고정된 스키마가 존재하지 않기 때문에 자유롭게 내용을 넣을 수 있다. 대표적으로 mongoDB를 많이사용함 (join기능 제공되지 않다가 추가되었다) NoSQL 종류 : Key-Value Store(Redis), Wide Column Store(HBase, Cassandra), Document Store(mongoDB, CouchDB), Graph Store(Neo4j) mongoDB document db : JSON 기반의 Document 기반 데이터 관리이다. (키-값) 예시) JSON document = {"id":"..

목차 1. PostgreSQL 소개 2. CloudNativePG 소개 및 설치 3. CloudNativePG 기본 사용 4. CloudNativePG 장애 테스트 5. CloudNativePG Scale & 롤링 업데이트 6. CloudNativePG 기타 1. PostgreSQL 소개 PostgreSQL이란? Global Development Group에서 개발하는 오픈 소스 ORDBMS이다. PostgreSQL은 일반적으로 "Post-GRES"로 발음하며 뛰어난 안정성, 유연성, 개방형 기술 표준 지원으로 잘 알려져 있는 오픈 소스 데이터베이스이다.PostgreSQL는 다른 RDMBS(관계형 데이터베이스 관리 시스템)와는 달리 비관계형 및 관계형 데이터 유형을 모두 지원한다. 2. CloudNati..

-목차- 1. Kubernetes Operator 소개 2. MySQL 8.0 3. InnoDB Cluster 4. MySQL Operator for Kubernetes 5. MySQL Operator for Kubernetes 설치 6. 워드프레스 7. 장애테스트 8. 스케일 테스트 1. Kubernetes Operator 쿠버네티스 오퍼레이터란? 오퍼레이터의 동작원리를 이해하기 위해 기존 쿠버네티스의 동작 흐름과 오퍼레이터의 동작흐름을 비교해보자 쿠버네티스의 동작 흐름을 보면 yaml파일을 통해 배포할 리소스를 선언시 중간에 위치한 컨트롤러가 선언한 대로 배포되어있는지에 대해 루프를 돌며 끊임없이 모니터링하고 관리하는데, 이러한 동작 흐름을 오퍼레이터에서 도입한다. 기존 쿠버네티스에서 정의되어있는 오..

1. Kubernetes Architecture 2. Amazon EKS(Elastic Kubernetes Service) 3. Kubernetes Storage 4. AWS EBS Controller 5. Kubetnetes Network 1. Kubernetes Cluster Architecture 쿠버네티스란? 컨테이너화된 애플리케이션을 배포, 관리, 확장할 때 수반되는 다수의 수동 프로세스를 자동화하는 오픈소스 컨테이너 오케스트레이션 플랫폼 2. Kubernetes Components Kubernetes Cluster는 Controle Plane(Master Node)과 DataPlane(Worker Node)로 구성된다. Kubernetes 공식 가이드 문서 링크 Control Plane Wor..