Sherry IT Blog

OAuth(Open Authorization)는 사용자가 자격 증명을 응용 프로그램과 직접 공유하지 않고도 타사 응용 프로그램이 사용자 데이터에 액세스할 수 있도록 하는 권한 부여 및 인증을 위한 개방형 표준 프로토콜입니다. OAuth를 사용하면 사용자가 안전하고 제어된 방식으로 데이터에 대한 액세스 권한을 부여할 수 있습니다. OAuth는 사용자가 Google 또는 Facebook과 같은 타사 ID 공급자로 인증할 수 있도록 하여 작동합니다. 그런 다음 자격 증명 공급자는 사용자에게 액세스 토큰을 발급합니다. 그러면 사용자가 이를 사용하여 타사 애플리케이션을 인증할 수 있습니다. 사용자가 OAuth를 사용하여 타사 애플리케이션에 로그인하면 ID 공급자의 로그인 페이지로 리디렉션됩니다. 사용자가 ID 공..

*tensorflow GPU사용을 위한 CUDA,CUDNN버전 메트릭 Version Python version Compiler Build tools cuDNN CUDA tensorflow_gpu-2.11.0 3.7-3.10 MSVC 2019 Bazel 5.3.0 8.1 11.2 tensorflow_gpu-2.10.0 3.7-3.10 MSVC 2019 Bazel 5.1.1 8.1 11.2 tensorflow_gpu-2.9.0 3.7-3.10 MSVC 2019 Bazel 5.0.0 8.1 11.2 tensorflow_gpu-2.8.0 3.7-3.10 MSVC 2019 Bazel 4.2.1 8.1 11.2 tensorflow_gpu-2.7.0 3.7-3.9 MSVC 2019 Bazel 3.7.2 8.1 11...

https://wikidocs.net/book/2203 빅데이터 - 하둡, 하이브로 시작하기 이 책은 하둡을 처음 시작하는 사람들을 대상으로 작성하였습니다. **하둡**은 빅데이터 기술의 시작점입니다. 하둡이 맵리듀스와 HDFS 기술을 소개하면서 빅데이터를 ... wikidocs.net

쉘스크립트로만 전월말일자를 구하려했다니!!! 배치실행일자(odate)를 기준으로 하면 수시실행을 못하는 선후행 연결작업 특성상 자동화 작업주기를 계속 바꿔줘야하는 단점이 있었다. 바보 똥멍충이... 다시 생각해보니 current_date기준으로 구할 수 있는 방법을 생각해보니 hadoop beeline 명령어를 이용해서 결과값을 뽑아내는거였다. 차근차근 해보기! 1. 현재 일자를 구해본다. SELECT current_date; 결과 : 2021-10-08 2. add_months 함수를 이용해서 전월을 구한다. SELECT add_months(trunc(current_date,'MM'),-1); 결과 : 2021-09-01 >>이때 trunc 함수는 오라클함수이기도한데, TRUNC("값","옵션") = ..

배치 실행 중 버그로 오류났던 메세지 (현재 CDH 5.14.4 / impala 2.11 버전 사용중) using service name 'Impala' Invalidating Metadata ERROR : AnalysisException : Could not resolve table reference : 'tablename' Cloud not execute command : SELECT COUNT(1) FROM tablename 원인 => impala 실행시 메타테이블을 못찾는 현상으로 인한 버그(하이브로 테이블 데이터가 갱신되면 자동으로 임팔라에서도 업데이트가 되어야하는데 자동으로 안될때가 가끔 있는 현상) 해결책 => 1) hive 에서 명령어로 갱신해주기 Invalidate metadata [ta..

*빅데이터(Big Data)의 개념 - 빅데이터는 믹대한 양(수십 테라바이트 이상)의 정형 및 비정형 데이터이다. - 데이터로부터 가치를 추출하고 결과를 분석하는 기술의 의미 - 데이터에서부터 가치를 추출하는 것은 통찰, 지혜를 얻는 과정으로 DIKW피라미드로 표현할 수 있다 *DIKW 피라미드 지혜(wisdom) - 근본원리에 대한 깊은 이해를 바탕으로 도출되는 창의적인 아이디어 ex) A사이트의 다른 상품들도 B사이트보다 저렴할 것으로 판단 지식(Knowledge) - 유의미한 정보로 분류하고 일반화시킨 결과물, 정보에 기반해 찾아진 규칙 ex) A사이트가 더 싸게 팔기 떄문에 X책을 구입할 계획 정보(Information) - 가공처리해서 데이터간의 연관관계와 함께 의미가 도출된 데이터 ex) X책..

- 하이브는 하둡(오픈소스 프로젝트 중 하나였던)의 페타바이트 데이터를 다루는 SQL 질의의 표준 - 하둡을 웨어하우스 구조와 비슷하게 사용할 수 있도록 하둡분산파일 시스템인 HDFS(Hadoop Distributed File System) 의 데이터를 SQL로 접근할 수 있도록한 질의 -하이브의 질의언어는 HQL(Hive Query Language)라고 한다. 관계형 데이터 베이스의 표준 SQL과 문법이 비슷하다 - HQL은 더 좋은 성능을 얻기위해 맵리듀스,스파크,테즈 등 여러 컴퓨팅 프레임워크에서 동작할 수 있다 - 하이브의 데이터구조 : 테이블(table),파티션(partition),버킷(bucket) -하이브 데이터포맷 : timestamp, string, float, boolean, decim..

-하이브는 기본적으로 동적 파티션만 이용하는 것을 권장하지는 않음 -동적 파티션만을 이용하여 데이터를 입력하기 위한 설정, 기본값은 strict set hive.exec.dynamic.partition.mode=nonstrict; -동적 파티션은 기본적으로 활성회되어 있지않음 동적 파티션 활성화하려면 아래와 같이 해야함 set hive.exec.dynamic.partition=true; -동적 파티션 갯수 설정 > 동적 파티션을 사용하면 속도가 느려지기 떄문에 동적 파티션의 생성 갯수에 제한이 있음. 기본설정보다 많은 파티션을 생성할 때는 아래와 같이 설정해줘야함. set hive.exec.max.dynamic.partitions=3000; -노드별 동적 파티션 생성 갯수 set hive.exec.max..

-- 1.컬럼변경 alter table 테이블명 change [old_column] [new_column] new_column_type -- 2.컬럼추가 alter table 테이블명 add columns([new_column] [new_column_type] comment [comment_name]) --(comment 생략가능) -- 3. 컬럼삭제 alter table 컬럼명 replace colums(남겨둘컬럼 컬럼타입,남겨둘컬럼2 컬럼타입2 .......) (컬럼갯수가 많다면 create 가 더 효율적일 수 있음) -- 4.테이블명 변경 alter table 테이블명 rename to 새테이블명 -- 5.테이블 코멘트 추가하기 alter table 테이블명 set tblproperties('com..

업무중에 개인정보 컬럼이 간혹 들어간 테이블들이 있어서 데이터 백업 후 테이블재성성 하고 move하면 hive에서 데이터 조회가 안되는 경우가 있다 이때 테이블을 갱신해줘야 데이터 조회가 가능함 set hive.msck.path.validation=ignore; msck repair table db명.테이블명;