VivaButton

* BigQuery ML이란?빅쿼리 상에서 머신러닝 모델을 직접 작성하고 학습, 모델 평가, 예측이 가능한 기능으로 2018년 7월 25일부터 기능이 추가되었으며,현재 베타버전이다. * 개요BigQuery ML을 사용하면 Standard SQL쿼리를 사용하여 BigQuery에서 머신러닝 모델을 만들고 실행 할 수 있다. BigQuery ML은 SQL 실무자가 기존 SQL 도구 및 기술을 사용하여 모델을 구축 할 수 있게 하여 머신러닝을 쉽게 한다. BigQuery ML은 데이터를 이동시킬 필요가 없어머신러닝 모델 개발 속도를 향상시킨다. * BigQuery ML이 지원하는 머신러닝 모델선형 회귀 : 이 모델은 수치를 예측하는 데 사용할 수 있습니다.이진 로지스틱 회귀 -이 모델은 두 클래스 중 하나를 예..

* gRPC란? gRPC는 Google에서 처음 개발한 공개 소스 원격 프로시저 호출(RPC) 시스템이다. 전송을 위해 HTTP/2 프로토콜을 사용하고 인터페이스 설명 언어로 프로토콜 버퍼를 사용하며 인증, 양방향 스트리밍 및 흐름 제어, 바인딩 차단 또는 차단 해제 및 취소 및 시간 초과 기능을 제공한다. 그것은 많은 언어에 대한 크로스 플랫폼 클라이언트 및 서버 바인딩을 생성한다. gRPC에서 클라이언트 응용 프로그램을 로컬 객체인 것처럼 다른 컴퓨터의 서버 응용 프로그램에서 메서드를 직접 호출 할 수 있으므로 분산 응용 프로그램 및 서비스를 보다 쉽게 만들 수 있습니다. 많은 RPC 시스템에서처럼 gRPC는 서비스를 정의하고 매개 변수와 리턴 유형을 사용하여 원격으로 호출 할 수 있는 메소드를 지정..

구글 빅쿼리는 REST API도 제공한다. BigQuery REST API 사용하기 위한 준비선행으로 “BigQuery API Client 가이드” 에서 Maven Dependency 설정 부분까지 진행이 필요하다.Run as > Maven Install 까지 문제없이 진행되었을 때를 기준으로 한다.아래 이미지와 같은 구성이 되어 있어야 한다.REST API TestEclipse에서 /welcomBQ/src/test/java/kr/co/bq/test/BigQueryRESTTest.java 파일을 연다.listDataset() 를 선택 후 JUnit Test로 실행한다. (마우스 우클릭 > Run As > JUnit Test) 정상적으로 실행되면 아래와 같이 결과가 나온다. Response Code가 20..

이번 포스팅은 구글 빅쿼리를 처음 사용하는 사용자를 위한 가이드이다. 구글 빅쿼리는 테라바이트 이상의 빅한 데이터를 다루기 위한 데이터웨어 하우스이다.DW이지만 WEB상에서 통합관리가 되고, WEB 콘솔에서 직접 쿼리하고 데이터셋,테이블 관리 기능도 제공한다.SQL도 물론 사용할 수 있고, Legacy SQL과 Standard SQL 두가지 SQL모드를 제공한다. 무료 평가판을 기준으로 작성하였으며, 구글에서 제공한 샘플 데이터를 기준으로 작성되었다.사실 제공받은 데이터셋을 공유해도 되는지는 잘 모르겠다. 그래서 파일은 첨부하지 않겠다.GCP의 권장 브라우저인 크롬 브라우저를 사용하면 된다. 구글 클라우드 가입먼저 GCP 클라우드를 사용하기 위해서는 구글 계정에 가입한다. 기존에 gmail 계정이 있으면..

BigQuery Web UI에 접근GCP 홈 화면에서 프로젝트(hello-bigquery)를 선택하고, 좌측 상단의 Ξ아이콘을 클릭하여 좌측메뉴 네비게이터를 펼쳐서 스크롤을 아래로 내리다 보면 빅데이터 하위에 BigQuery 메뉴가 보일 것이다. BigQuery를 선택하여 BigQuery Web UI에 접속해 보자.BigQuery Web UI 초기화면BigQuery Web UI 초기화면을 살펴보자. Welcome to BigQuery! 라는 환영 메세지를 볼 수 있다. 역시 구글의 서비스 UI는 아주 Simple하다. 우리나라 서비스라면 칭찬받지 못할 UI이다. 좌측 상단의 COMPOSE QUERY를 클릭해보자.BigQuery Web UI 살펴보기Navigation bar COMPOSE QUERY : 쿼..