목록hive (4)

Sherry IT Blog

hive sql add_months, last_day, date_format 함수를 이용한 전월말일자 구하기

쉘스크립트로만 전월말일자를 구하려했다니!!! 배치실행일자(odate)를 기준으로 하면 수시실행을 못하는 선후행 연결작업 특성상 자동화 작업주기를 계속 바꿔줘야하는 단점이 있었다. 바보 똥멍충이... 다시 생각해보니 current_date기준으로 구할 수 있는 방법을 생각해보니 hadoop beeline 명령어를 이용해서 결과값을 뽑아내는거였다. 차근차근 해보기! 1. 현재 일자를 구해본다. SELECT current_date; 결과 : 2021-10-08 2. add_months 함수를 이용해서 전월을 구한다. SELECT add_months(trunc(current_date,'MM'),-1); 결과 : 2021-09-01 >>이때 trunc 함수는 오라클함수이기도한데, TRUNC("값","옵션") = ..
BIgData 2021. 10. 8. 00:28
하둡의 질의표준 hive 하이브 정의 및 역할정리

- 하이브는 하둡(오픈소스 프로젝트 중 하나였던)의 페타바이트 데이터를 다루는 SQL 질의의 표준 - 하둡을 웨어하우스 구조와 비슷하게 사용할 수 있도록 하둡분산파일 시스템인 HDFS(Hadoop Distributed File System) 의 데이터를 SQL로 접근할 수 있도록한 질의 -하이브의 질의언어는 HQL(Hive Query Language)라고 한다. 관계형 데이터 베이스의 표준 SQL과 문법이 비슷하다 - HQL은 더 좋은 성능을 얻기위해 맵리듀스,스파크,테즈 등 여러 컴퓨팅 프레임워크에서 동작할 수 있다 - 하이브의 데이터구조 : 테이블(table),파티션(partition),버킷(bucket) -하이브 데이터포맷 : timestamp, string, float, boolean, decim..
BIgData 2021. 2. 8. 15:25
hive insert문 셋팅값 & insert into 와 insert overwrite 차이

-하이브는 기본적으로 동적 파티션만 이용하는 것을 권장하지는 않음 -동적 파티션만을 이용하여 데이터를 입력하기 위한 설정, 기본값은 strict set hive.exec.dynamic.partition.mode=nonstrict; -동적 파티션은 기본적으로 활성회되어 있지않음 동적 파티션 활성화하려면 아래와 같이 해야함 set hive.exec.dynamic.partition=true; -동적 파티션 갯수 설정 > 동적 파티션을 사용하면 속도가 느려지기 떄문에 동적 파티션의 생성 갯수에 제한이 있음. 기본설정보다 많은 파티션을 생성할 때는 아래와 같이 설정해줘야함. set hive.exec.max.dynamic.partitions=3000; -노드별 동적 파티션 생성 갯수 set hive.exec.max..
BIgData 2021. 2. 5. 16:45
알아두면 유용한 Hive alter문

-- 1.컬럼변경 alter table 테이블명 change [old_column] [new_column] new_column_type -- 2.컬럼추가 alter table 테이블명 add columns([new_column] [new_column_type] comment [comment_name]) --(comment 생략가능) -- 3. 컬럼삭제 alter table 컬럼명 replace colums(남겨둘컬럼 컬럼타입,남겨둘컬럼2 컬럼타입2 .......) (컬럼갯수가 많다면 create 가 더 효율적일 수 있음) -- 4.테이블명 변경 alter table 테이블명 rename to 새테이블명 -- 5.테이블 코멘트 추가하기 alter table 테이블명 set tblproperties('com..
BIgData 2021. 2. 2. 16:39
Prev 1 Next