개요 Apache Spark는 분산 컴퓨팅을 위한 인메모리 데이터 프레임워크이다. 어떤 크기의 데이터라도 클러스터로 서로 연결된 n대의 노드에 인메모리 데이터 처리를 통해 분석 및 가공이 가능하다. 현재 관련 기술에서는 적수가 없을 정도로 명성을 얻고 있다. Apache Parquet은 컬럼 기반의 구조체의 특화된 데이터 파일 형식이다. 적절하게 파티셔닝되고 압축 처리된 Apache Parquet 파일은 대용량에서도 좋은 조회 성능을 보여준다. 이번 글에서는 Apache Spark 프레임워크를 이용하여 원격지에 위치한 다양한 데이터 소스로부터 가공과 Apache Parquet으로의 변환, 적재하는 방법을 설명하고자 한다. (잠재적으로 Amazon EMR에서 제출 가능한 작업을 만드는 것을 고려했다.) W..
Amazon Glue Amazon Glue는 아마존이 제공하는 데이터 ETL 서비스 상품이다. Amazon S3에 업로드한 데이터를 데이터 소스로 하여, Amazon Athena에서 질의 가능한 데이터 카탈로그를 자동 생성하거나, 또는 가공하여 새로운 데이터 파일을 생성할 수 있다.Amazon Glue의 가장 일반적인 사용 예는 크롤러를 생성하여 S3에 업로드한 데이터 파일에 대한 메타 데이터를 자동 생성하는 것이다. Amazon Athena에서 직접 테이블을 생성하는 쿼리를 작성해도 되지만, 크롤러가 자동 생성해주는 편리함을 누릴 수 있어 추천한다.데이터 파일 형식 중에 가장 질의 성능이 좋은 것은 Apache Parquet이다. Glue를 이용하면 잡을 생성하여 일반 데이터 파일을 Apache Par..
개요 이번 글에서는 CentOS 7에서 docker, docker-compose를 설치하는 방법을 소개하고자 한다. Docker 설치 docker를 사용하면 운영체제와 독립적인 이미지를 인스턴스로 올려 컨테이너로 작동시킬 수 있다. 아키텍쳐의 구성 및 확정, 배포 방법이 비약적으로 간소화된다. CentOS 7에서의 설치 및 실행 방법은 아래와 같다. # Docker 저장소 설치 $ curl -fsSL https://get.docker.com/ | sh # Docker 서비스 시작 $ sudo systemctl start docker # Docker 서비스 작동 상태 확인 $ sudo systemctl status docker # Docker 서비스를 운영체제 부팅시 자동 시작하도록 설정 $ sudo sy..
PES 2021 출시! PES 2021은 축구 게임의 명가 코나미의 25번째 시리즈 작품이다. 2020-09-15 스팀에 출시되었다. (나는 할인된 가격인 28,000원에 구매하였다.) 전작들과 다른 점은 게임 엔진의 업데이트 없이 PES 2020의 기본 골격에 자잘한 게임성 보강과 최신 로스터를 반영하여 출시했다는 것이다. [스팀 구매 링크] PES 2021은 폭스 엔진(크로스 플랫폼과 최적화로 유명)을 사용한 마지막 작품이 될 전망이다. 제작진은 PES 2022부터 언리얼 엔진을 적용할 예정이라고 밝혔다. 라이센스와 통합 패치 PES 2021 또한 라이센스 문제로 통합 패치 없이는 제대로 된 게임을 즐길 수 없다. 다양한 옵션 파일 및 통합 패치가 공개되고 있다. 옵션 파일을 적용한 패치의 장점은 온..
- Total
- Today
- Yesterday
- JHipster
- node.js
- graylog
- Kendo UI Web Grid
- jsp
- 평속
- Docker
- Spring MVC 3
- Tomcat
- jpa
- kotlin
- CentOS
- DynamoDB
- Spring Boot
- 태그를 입력해 주세요.
- 알뜰폰
- jstl
- Kendo UI
- spring
- bootstrap
- Eclipse
- 로드바이크
- MySQL
- maven
- 구동계
- chrome
- JavaScript
- 로드 바이크
- java
- 자전거
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |