VivaButton

* gRPC란? gRPC는 Google에서 처음 개발한 공개 소스 원격 프로시저 호출(RPC) 시스템이다. 전송을 위해 HTTP/2 프로토콜을 사용하고 인터페이스 설명 언어로 프로토콜 버퍼를 사용하며 인증, 양방향 스트리밍 및 흐름 제어, 바인딩 차단 또는 차단 해제 및 취소 및 시간 초과 기능을 제공한다. 그것은 많은 언어에 대한 크로스 플랫폼 클라이언트 및 서버 바인딩을 생성한다. gRPC에서 클라이언트 응용 프로그램을 로컬 객체인 것처럼 다른 컴퓨터의 서버 응용 프로그램에서 메서드를 직접 호출 할 수 있으므로 분산 응용 프로그램 및 서비스를 보다 쉽게 만들 수 있습니다. 많은 RPC 시스템에서처럼 gRPC는 서비스를 정의하고 매개 변수와 리턴 유형을 사용하여 원격으로 호출 할 수 있는 메소드를 지정..

레디스(redis)란?Salvatore Sanfilippo가 개발한 오픈소스 소프트웨어이며, 초고속 읽기 쓰기를 제공하는 인메모리 기반 NoSQL이다.휘발성이면서 영속성을 가진 key-value형 스토어 http://www.redis.io 레디스의 장점1. 리스트, 배열 형식의 데이터 처리에 특화.1) value 값으로 문자열, 리스트, set, sorted set, hash 형 등 여러 데이터 형식을 지원함.2) 리스트형 데이터의 입력과 삭제가 mysql에 비하여 10배정도 빠르다. 2. 여러 프로세스에서 동시에 같은 key에 대한 갱신을 요청할 경우 Atomic한 처리로 데이터 부정합 방지 Atomic 처리 함수를 제공. 3. 메모리를 활용하면서 영속적인 데이터 보존1) 명령어로 명시적으로 삭제하거나..

아파치 하이브는 하둡에서 동작하는 데이터 웨어하우스(Data Warehouse , DW) 인프라 구조로서 데이터 요약, 질의 및 분석 기능을 제공한다. 초기에는 페이스북에서 개발되었지만 넷플릭스 등과 같은 회사에서 사용되고 있다. 아파치 하이브는 아파치 HDFS이나 아파치 HBase와 같은 데이터 자장 시스템에 저장되어 있는 대용량 데이터 집합들을 분석한다.HiveQL이라고 불리는 SQL같은 언어를 제공하며 맵리듀스의 모든 기능을 지원한다.쿼리를 빠르게 하기위해 비트맵 인덱스를 포함하여 인덱스 기능을 제공한다. 기본적으로 하이브는 메타데이터를 내장된 아파치 더비(Derby) 데이터 베이스안에 저장한다. 그렇지만 MySQL과 같은 다른 서버/클라이언트 데이터베이스를 사용할 수 있는 선택권을 제공한다.현재 ..

요약 : 빅데이터 처리를 위한 비관계형 데이터베이스 관리 시스템(DBMS) 전통적인 관계형 데이터베이스 관리 시스템(RDBMS)과는 다르게 설계된 비관계형(non-relational) DBMS로, 대규모의 데이터를 유연하게처리할 수 있는 것이 강점이다. 노에스큐엘(NoSQL)은 테이블-컬럼과 같은 스키마가 없이, 분산 환경에서 단순 검색 및 추가 작업을 위한 키값을 최적화 하고, 지연(latency)과 처리율(throughput)이 우수하다. 그리고 대규모 확대가 가능한 수평적인 확장성의 특징을 가지고 있다. NoSQL에 기반을 둔 시스템의 대표적인 예로는 카산드라(Apache Cassandra), 하둡(Hadoop), 몽고디비(Mongo DB) 등이 있다. NoSQL이 무엇의 약자인지는 사람에 따라 N..

Python + Tensorflow 머신러닝 환경을 구축해보자.OS 환경은 window7 64bit 이다.윈도우7 기준으로 진행해보겠다. 개요아나콘다는 Python의 수치 계산 환경을 위한 여러 패키지를 모아놓은 플랫폼이다.해당 문서에서는 아나콘다5.2버전을 설치하고, Python3.5 + Tensorflow1.8 환경을 구축해보겠다.아나콘다 윈도우 버전 설치아래의 url에 접속해서 다운로드 링크를 클릭하여 윈도우용 설치 파일을 다운로드 한다.https://www.anaconda.com/download/아나콘다 홈에서 홈화면에서 Python 3.6 version ,64bit용으로 다운로드.https://repo.anaconda.com/archive/Anaconda3-5.2.0-Windows-x86_64...

구글 빅쿼리는 REST API도 제공한다. BigQuery REST API 사용하기 위한 준비선행으로 “BigQuery API Client 가이드” 에서 Maven Dependency 설정 부분까지 진행이 필요하다.Run as > Maven Install 까지 문제없이 진행되었을 때를 기준으로 한다.아래 이미지와 같은 구성이 되어 있어야 한다.REST API TestEclipse에서 /welcomBQ/src/test/java/kr/co/bq/test/BigQueryRESTTest.java 파일을 연다.listDataset() 를 선택 후 JUnit Test로 실행한다. (마우스 우클릭 > Run As > JUnit Test) 정상적으로 실행되면 아래와 같이 결과가 나온다. Response Code가 20..

이번 포스팅은 구글 빅쿼리를 처음 사용하는 사용자를 위한 가이드이다. 구글 빅쿼리는 테라바이트 이상의 빅한 데이터를 다루기 위한 데이터웨어 하우스이다.DW이지만 WEB상에서 통합관리가 되고, WEB 콘솔에서 직접 쿼리하고 데이터셋,테이블 관리 기능도 제공한다.SQL도 물론 사용할 수 있고, Legacy SQL과 Standard SQL 두가지 SQL모드를 제공한다. 무료 평가판을 기준으로 작성하였으며, 구글에서 제공한 샘플 데이터를 기준으로 작성되었다.사실 제공받은 데이터셋을 공유해도 되는지는 잘 모르겠다. 그래서 파일은 첨부하지 않겠다.GCP의 권장 브라우저인 크롬 브라우저를 사용하면 된다. 구글 클라우드 가입먼저 GCP 클라우드를 사용하기 위해서는 구글 계정에 가입한다. 기존에 gmail 계정이 있으면..

통계언어 R에서 BigQuery에 Connection하여 직접 쿼리를 해보고자 한다.Google BigQuery도 다른 DBMS처럼 R에 패키지를 설치하여 접속 할 수 있다. R과 R스튜디오의 설치 버전은 아래와 같다. 통계언어R : R-3.4.2 윈도우 버전분석 툴 : RStudio-1.1.447 R BigQuery 연동bigrquery 및 devtools 라이브러리 설치R스튜디오에서 ‘bigrquery’ 및 ‘devtools’ 라이브러리를 설치하고, devtools를 사용하여 github의 rstats-db/bigrquery를 설치 한다.Yes를 클릭하면, 설치를 시작한다.install.packages("bigrquery") #1install.packages("devtools") #2 devtools..

이번 포스팅은 구글 빅쿼리 API 라이브러리를 사용하여 클라이언트를 다루어 보겠다. 구글 빅쿼리는 Legacy SQL과 Standard SQL 두가지를 제공한다.이중 Standard SQL을 사용하였다. BigQuery API Client를 다루기 위한 설정0.32.0-beta 버전을 기준으로 작성하였다.사용자 인증 설정클라이언트 라이브러리를 실행하려면 먼저 서비스 계정을 만들고 서비스계정키 환경변수를 설정해야 한다.일단, GCP 콘솔로 이동하여 아래의 절차를 따른다.좌측 메뉴의 “API 및 서비스” 메뉴를 클릭 후 “사용자 인증 정보”를 선택한다.API에 엑세스하려면 사용자 인증 정보가 필요하다니, 일단 사용자 인증 정보를 만들어 보자.“사용자 인증 정보 만들기” 버튼 클릭 후 “서비스 계정 키” 클릭..

지도학습(Supervised Learning)1. 의사 결정 트리(Decision Trees) : 의사 결정 트리는 의사 결정 지원 도구로, 우연한 이벤트 결과, 리소스 비용 및 유틸리티를 포함하여 트리와 같은 그래프 또는 의사 결정 모델 및 가능한 결과를 사용합니다. 비즈니스 의사 결정의 관점에서, 의사 결정 트리는 대부분의 시간에 올바른 결정을 내릴 확률을 평가하기 위해 질문해야 하는 예/아니오 질문의 최소 수입니다. 방법으로 논리적인 결론에 도달하기 위해 구조화되고 체계적인 방식으로 문제에 접근 할 수 있습니다.2. 나이브베이즈 분류(Naive Bayes Classification) : 나이브베이즈 분류자(Naive Bayes classifier)는 특징들 사이에 강력한(순진한) 독립 가정을 가진 ..