Sherry IT Blog

배치 실행 중 버그로 오류났던 메세지 (현재 CDH 5.14.4 / impala 2.11 버전 사용중) using service name 'Impala' Invalidating Metadata ERROR : AnalysisException : Could not resolve table reference : 'tablename' Cloud not execute command : SELECT COUNT(1) FROM tablename 원인 => impala 실행시 메타테이블을 못찾는 현상으로 인한 버그(하이브로 테이블 데이터가 갱신되면 자동으로 임팔라에서도 업데이트가 되어야하는데 자동으로 안될때가 가끔 있는 현상) 해결책 => 1) hive 에서 명령어로 갱신해주기 Invalidate metadata [ta..

*빅데이터(Big Data)의 개념 - 빅데이터는 믹대한 양(수십 테라바이트 이상)의 정형 및 비정형 데이터이다. - 데이터로부터 가치를 추출하고 결과를 분석하는 기술의 의미 - 데이터에서부터 가치를 추출하는 것은 통찰, 지혜를 얻는 과정으로 DIKW피라미드로 표현할 수 있다 *DIKW 피라미드 지혜(wisdom) - 근본원리에 대한 깊은 이해를 바탕으로 도출되는 창의적인 아이디어 ex) A사이트의 다른 상품들도 B사이트보다 저렴할 것으로 판단 지식(Knowledge) - 유의미한 정보로 분류하고 일반화시킨 결과물, 정보에 기반해 찾아진 규칙 ex) A사이트가 더 싸게 팔기 떄문에 X책을 구입할 계획 정보(Information) - 가공처리해서 데이터간의 연관관계와 함께 의미가 도출된 데이터 ex) X책..

- 하이브는 하둡(오픈소스 프로젝트 중 하나였던)의 페타바이트 데이터를 다루는 SQL 질의의 표준 - 하둡을 웨어하우스 구조와 비슷하게 사용할 수 있도록 하둡분산파일 시스템인 HDFS(Hadoop Distributed File System) 의 데이터를 SQL로 접근할 수 있도록한 질의 -하이브의 질의언어는 HQL(Hive Query Language)라고 한다. 관계형 데이터 베이스의 표준 SQL과 문법이 비슷하다 - HQL은 더 좋은 성능을 얻기위해 맵리듀스,스파크,테즈 등 여러 컴퓨팅 프레임워크에서 동작할 수 있다 - 하이브의 데이터구조 : 테이블(table),파티션(partition),버킷(bucket) -하이브 데이터포맷 : timestamp, string, float, boolean, decim..

2021.01.28 시험본지 약 이틀만에 합격메일이 왔다 재택하면서 혹시나 메일함을 보니 뙇!!! 5일안에 자격증 번호를 준다고한다! 9번문제가 헷갈려서 좀 고민을 많이 했었는데 그래도 풀어갖고 맞았다고 생각했건만 결국 틀렸닼ㅋㅋㅋㅋ 그래도 70%이상이면 합격인데 하나 틀리고 합격했으니 넘 기분이가 좋타 크크 붙었으니 이제 회사에 자격증 시험비 청구해야지! 자격은 요렇게 pdf 파일로 준다! 하필 자격증 메일만 스팸으로 와서 2주일만에 자격증 온거 확인했다...후후 첨부파일 있어서 구글이 스팸으로 걸렀나 보당ㅠ

2021.01.26 회사에 반반차를 내고 스터디룸에서 시험을 봤다 아직 코로나2.5단계로 대부분의 스터디룸이 저녁 9시 까지고..회사는 금융권이라 노트북 반입이 안되고 유선랜도 안되서 결국 반반차를 내고 스터디룸을 빌렸다 회사근처로 갈까하다가 지역특성상 학생들이 많은곳은 시끄러울것같아서 집가는길 건대입구쪽에 아담하고 와이파이 빵빵터지는 "열공다방 스터디카페" 여기루! *시험공부 회사에서 틈틈히 연습을 하고 주말엔 맥북 터미널에 상상 명령어(?) 연습을 했다 전반적인 하둡시스템에 대한 이해와 실무적인 내용이 주인 시험이라 회사 개발,운영시스템을 보면서 익혔다 *시험환경 이거 매우 중요... 우선 웹캠이 가능한 노트북과 인터넷연결(유선이면 더 좋음), 여권이 필요하다 여권은 시험전에 신원증명으로 웹캠을 통해..

*맵리듀스 : 선형적으로 확장할 수 있는 프로그래밍 모델, 맵과 리듀스 함수 각각 하나의 키-값 쌍(key-value pairs)을 또 다른 것으로 매핑하는 방식을 정의 항목 전통적인 RDBMS 맵리듀스 데이터크기 기가바이트 페타바이트 액세스 대화형과 일괄처리 일괄처리 업데이트 여러 번 읽고 쓰기 한 번 쓰면 여러 번 읽기 구조 고정 스키마 동적 스키마 무결성 높음 낮음 확장성 비선형 선형