VivaButton

요약 : 빅데이터 처리를 위한 비관계형 데이터베이스 관리 시스템(DBMS) 전통적인 관계형 데이터베이스 관리 시스템(RDBMS)과는 다르게 설계된 비관계형(non-relational) DBMS로, 대규모의 데이터를 유연하게처리할 수 있는 것이 강점이다. 노에스큐엘(NoSQL)은 테이블-컬럼과 같은 스키마가 없이, 분산 환경에서 단순 검색 및 추가 작업을 위한 키값을 최적화 하고, 지연(latency)과 처리율(throughput)이 우수하다. 그리고 대규모 확대가 가능한 수평적인 확장성의 특징을 가지고 있다. NoSQL에 기반을 둔 시스템의 대표적인 예로는 카산드라(Apache Cassandra), 하둡(Hadoop), 몽고디비(Mongo DB) 등이 있다. NoSQL이 무엇의 약자인지는 사람에 따라 N..

Python + Tensorflow 머신러닝 환경을 구축해보자.OS 환경은 window7 64bit 이다.윈도우7 기준으로 진행해보겠다. 개요아나콘다는 Python의 수치 계산 환경을 위한 여러 패키지를 모아놓은 플랫폼이다.해당 문서에서는 아나콘다5.2버전을 설치하고, Python3.5 + Tensorflow1.8 환경을 구축해보겠다.아나콘다 윈도우 버전 설치아래의 url에 접속해서 다운로드 링크를 클릭하여 윈도우용 설치 파일을 다운로드 한다.https://www.anaconda.com/download/아나콘다 홈에서 홈화면에서 Python 3.6 version ,64bit용으로 다운로드.https://repo.anaconda.com/archive/Anaconda3-5.2.0-Windows-x86_64...

구글 빅쿼리는 REST API도 제공한다. BigQuery REST API 사용하기 위한 준비선행으로 “BigQuery API Client 가이드” 에서 Maven Dependency 설정 부분까지 진행이 필요하다.Run as > Maven Install 까지 문제없이 진행되었을 때를 기준으로 한다.아래 이미지와 같은 구성이 되어 있어야 한다.REST API TestEclipse에서 /welcomBQ/src/test/java/kr/co/bq/test/BigQueryRESTTest.java 파일을 연다.listDataset() 를 선택 후 JUnit Test로 실행한다. (마우스 우클릭 > Run As > JUnit Test) 정상적으로 실행되면 아래와 같이 결과가 나온다. Response Code가 20..

이번 포스팅은 구글 빅쿼리를 처음 사용하는 사용자를 위한 가이드이다. 구글 빅쿼리는 테라바이트 이상의 빅한 데이터를 다루기 위한 데이터웨어 하우스이다.DW이지만 WEB상에서 통합관리가 되고, WEB 콘솔에서 직접 쿼리하고 데이터셋,테이블 관리 기능도 제공한다.SQL도 물론 사용할 수 있고, Legacy SQL과 Standard SQL 두가지 SQL모드를 제공한다. 무료 평가판을 기준으로 작성하였으며, 구글에서 제공한 샘플 데이터를 기준으로 작성되었다.사실 제공받은 데이터셋을 공유해도 되는지는 잘 모르겠다. 그래서 파일은 첨부하지 않겠다.GCP의 권장 브라우저인 크롬 브라우저를 사용하면 된다. 구글 클라우드 가입먼저 GCP 클라우드를 사용하기 위해서는 구글 계정에 가입한다. 기존에 gmail 계정이 있으면..

지도학습(Supervised Learning)1. 의사 결정 트리(Decision Trees) : 의사 결정 트리는 의사 결정 지원 도구로, 우연한 이벤트 결과, 리소스 비용 및 유틸리티를 포함하여 트리와 같은 그래프 또는 의사 결정 모델 및 가능한 결과를 사용합니다. 비즈니스 의사 결정의 관점에서, 의사 결정 트리는 대부분의 시간에 올바른 결정을 내릴 확률을 평가하기 위해 질문해야 하는 예/아니오 질문의 최소 수입니다. 방법으로 논리적인 결론에 도달하기 위해 구조화되고 체계적인 방식으로 문제에 접근 할 수 있습니다.2. 나이브베이즈 분류(Naive Bayes Classification) : 나이브베이즈 분류자(Naive Bayes classifier)는 특징들 사이에 강력한(순진한) 독립 가정을 가진 ..

금융위원회 보도자료에 의하면 , 금융 분야에서도 클라우드를 폭넓게 이용할 수 있게 하기위해 ,클라우드 규제를 개선하여 핀테크 혁신 성장을 촉진 한다고 밝혔다. 우리나라는 개인정보나 금융거래 정보에 대한 규제가 타 국가에 비해 매우 심한 편이여서,아직까진 퍼블릭 클라우드 서비스를 사용하기에 제약이 많았지만..드디어 규제가 완화될 움직임이 생겼다. 앞으로는 금융분야에서도 클라우드를 적극 활용 할 수 있기를 기대해본다.아래 출처의 url은 금융위원회의 보도자료 원문이다. 금융분야에서 클라우드를 보다 폭넓게 이용할 수 있게 됩니다. - 「금융분야 클라우드 이용 확대방안」 추진 출처 : https://www.fsc.go.kr/downManager?bbsid=BBS0030&no=127827관련 뉴스 : http:/..

STT(Speech To Text) 란? 음성을 텍스트로 변환 하는 기술을 통틀어서 Speech To Text(STT) 또는 음성인식라 한다. 회사에서 STT API 도입을 위한 국내외 STT API 중 대표적인 몇개의 API POC를 계획중에 있다.일단 간략한 요구사항은 다음과 같다. * 대략의 요구사항1. STT API 제공 업체별 차이 확인.2. STT API별 장단점.3. STT API별 특화된 기능 확인4. 비용확인. 대략 국내 업체와 국외 업체의 STT API를 비교해보려 한다.제일 중요한건 얼마나 음성 데이터를 한국어 텍스트로 정확하게 변환하는가 일것이다.2017년 자료를 찾아보면 구글이나 AWS의 한국어 인식률이 많이 좋지는 않았다는것을 알 수 있으나,1년이라는 시간이 지난 현재는 얼마나 ..

BigQuery Web UI에 접근GCP 홈 화면에서 프로젝트(hello-bigquery)를 선택하고, 좌측 상단의 Ξ아이콘을 클릭하여 좌측메뉴 네비게이터를 펼쳐서 스크롤을 아래로 내리다 보면 빅데이터 하위에 BigQuery 메뉴가 보일 것이다. BigQuery를 선택하여 BigQuery Web UI에 접속해 보자.BigQuery Web UI 초기화면BigQuery Web UI 초기화면을 살펴보자. Welcome to BigQuery! 라는 환영 메세지를 볼 수 있다. 역시 구글의 서비스 UI는 아주 Simple하다. 우리나라 서비스라면 칭찬받지 못할 UI이다. 좌측 상단의 COMPOSE QUERY를 클릭해보자.BigQuery Web UI 살펴보기Navigation bar COMPOSE QUERY : 쿼..

git ssl 설정 git config –global http.sslVerify false이름 지정 git config –global user.name “이름” git config user.email “email 주소”깃 상태확인 git status깃 로컬 레파지토리 추가 git add *깃 로컬레파지토리 커밋 git commit -m “코멘트”깃허브 푸쉬 git push변경분 update(fetch + merge) git pull origin master

- Broadcasting operation : 텐서 인자의 구조(shape)와의 호환을 위해 numpy-style-broadcasting을 사용하는 연산. - Device : 계산을 실행할 수 있으며 자체 주소 공간을 갖는 GPU나 CPU와 같은 하드웨어의 일부입니다. - eval : 값을 결정하는데 필요한 그래프 계산을 트리거링하며 Tensor의 값을 반환하는 Tensor의 메서드입니다. 세션에서 시작된 그래프에서 Tensor의 eval()을 호출하기만 하면됩니다. - Feed : 세션에서 시작된 그래프에 있는 노드로 직접 텐서를 패치하는 TensorFlow의 메커니즘입니다. 그래프를 생성하는 때가 아닌 그래프의 실행을 트리거링할 때 피드를 적용합니다. 피드는 임시로 노드를 텐서값으로 바꿉니다. 계산..