Amazon S3, Glue, Athena, QuickSight 개념 정리
Amazon Glue Amazon Glue는 아마존이 제공하는 데이터 ETL 서비스 상품이다. Amazon S3에 업로드한 데이터를 데이터 소스로 하여, Amazon Athena에서 질의 가능한 데이터 카탈로그를 자동 생성하거나, 또는 가공하여 새로운 데이터 파일을 생성할 수 있다.Amazon Glue의 가장 일반적인 사용 예는 크롤러를 생성하여 S3에 업로드한 데이터 파일에 대한 메타 데이터를 자동 생성하는 것이다. Amazon Athena에서 직접 테이블을 생성하는 쿼리를 작성해도 되지만, 크롤러가 자동 생성해주는 편리함을 누릴 수 있어 추천한다.데이터 파일 형식 중에 가장 질의 성능이 좋은 것은 Apache Parquet이다. Glue를 이용하면 잡을 생성하여 일반 데이터 파일을 Apache Par..
SW 개발
2020. 10. 27. 18:32
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 로드바이크
- Spring Boot
- node.js
- jpa
- 평속
- JHipster
- jstl
- Docker
- 로드 바이크
- 자전거
- 구동계
- graylog
- chrome
- JavaScript
- Eclipse
- jsp
- Tomcat
- 알뜰폰
- Kendo UI
- Spring MVC 3
- DynamoDB
- MySQL
- java
- kotlin
- Kendo UI Web Grid
- CentOS
- maven
- bootstrap
- spring
- 태그를 입력해 주세요.
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함