Machine Learning on Google Cloud Platform (Cloud Next ’18)

[음악 재생] 안녕, 여러분 모두들 안녕

관객 : 안녕하세요 크리스 클리브런 : 좋아요 제 이름은 크리스 클레 ​​반입니다 Justin Lawyer와 함께 우리는 제품 관리자입니다 Google 클라우드에서 우리는 당신과 대화 할 것입니다

GCP에서 기계 학습에 관한 정보 그래서 저는 매우 투명한 사람입니다 나는 그것을 무엇보다 명확하게 할 것입니다 나는 당신의 테이크 아웃이이 이야기에서 나온 것이기를 바랍니다 하나, 당신이 정말로 흥분하기를 바랍니다

기계 학습으로 할 수 있습니다 둘, 자신감을 갖기를 바래 조직에서 기계를 성공적으로 구현할 수 있는지 확인하십시오 Google Cloud로 학습하십시오 셋째, Google AI의 관심사를 통해이를 신뢰하십시오

우리는 당신의 ML을위한 올바른 플랫폼이자 파트너입니다 워크로드 세 번의 테이크 아웃 이요 우리는 당신이 그 테이크 아웃을 얻으려고 이야기 할 것입니다 우리가 그것을 파고 들기 전에, 나는 단지 당신에게 감사의 말을 전하고 싶다

우리 모두는 바쁜 삶을 사는 데 제한된 시간을 가지고 있습니다 Google Cloud, 다음 컨퍼런스, 이 세션 고마워 ML이 당신을 위해 무엇을 할 수 있습니까? 그것은 놀라운 것들을 많이 할 수 있습니다 조직에 경쟁이있는 경우, 그들이 ML을보고 있다고 보장합니다

자, ML은 반드시 정신병자를 발명하는 것이 아닙니다 교통 수단을 이용하는 경우 순간 이동을 어떻게 만들지가 아닙니다 기존 비즈니스 및 프로세스를 이용하는 것입니다 다시 상상하고 재발견 할 수있는 능력 너 오늘하고있는 일 ML에는 세 가지 종류의 큰 영역이 있습니다

통찰력을 얻는 데 도움이 될 수있는 도움이 될 수 있습니다 또는 고객이 제품 혁신에 도움을 줄 수 있습니다 자동화에 도움이됩니다 진짜 자동화를 빨리 봅시다 자가 운전 트럭과 자동차 – 모두가하는 사업 교통과 택시로 오늘하고있다

그것을 더 빠르고, 저렴하게, 더 쉽고, 더 안전하게 만들어줍니다 혁신을 살펴 보겠습니다 우리 고객 중 한 명이, 디즈니, 우리의 제품 AutoML을 사용하여 혁신 그들의 소매 서비스 사용자 경험을 원했습니다 그들이 찾고있는 제품을 정말 빨리 찾을 수 있습니다

그래서 그들은 웹 인터페이스를 사용하여 커스텀 모델을 만들었습니다 전문 지식이 필요하지 않습니다 그리고 지금 그들의 수색 경험에서, 당신은 "해변에 미키 마우스"를 입력 할 수 있습니다 해변과 관련된 모든 제품을 찾습니다 그리고 미키 마우스 – 정말로 멋지다, 정말로 쉽다

그리고 통찰력 – 당신이 비행기라고 가정 해 봅시다 제조사, 항공기, 그리고 당신은 정말로 안전에 관심이 있습니다 IoT 덕분에 엄청난 양의 데이터가 있습니다 이 악기들이하고있는 것 그리고 그 데이터를 수집한다면 어떻게 처리할까요? 그리고 아마 당신이 그걸 예측할 수 있다면 어떨까요? 비행기 정비 전에 필요한 정비 부품 정기적으로? 안전에 대한 통찰력, 그래서 무엇에 대해 흥분을 느끼는지 귀하의 조직이 할 수 있습니다

그래서 손을 보여줍니다 누가 여기에, 그들의 조직, 찾고 있습니다 오늘 기계 학습으로? 큰 손을 한 번 더 보여줍니다 여기 누가 기계 학습이 무엇인지 이해한다고 생각합니까? 네가 반 정도는 마지막 질문 – 누가 기계 학습 모델인지 알 수 있습니까? 네, 대부분

그래서 이것에 대해서 간단히 만질 것입니다 기계 학습은 데이터에 관한 것이며 데이터를 가져 오는 것입니다 통찰력과 행동 거기에는 모든 종류의 데이터가 있습니다 이미지, 구조화되지 않은 텍스트, 관계형 데이터베이스, 시퀀스 정보

그리고 기계 학습은 그 데이터를 취하는 것입니다 다양한 종류의 ML 알고리즘을 취하고, 그 알고리즘을 통해 그 데이터를 통과 거대한 인프라 세트가 필요합니다 그리고 그 데이터를 통과하면, 기계 학습 모델이 생성됩니다 그리고이 모델은 점점 좋아집니다 더 많은 데이터, 더 나은 알고리즘, 더 많은 인프라

그리고이 모델을 사용하여 통찰력, 자동화, 혁신 그래서 우리 모두는이 서비스, 웹 검색을 알고 있습니다 Google은 AI 회사이자 데이터 회사입니다 18 년 동안 세계 데이터 수집, 모든 사람이 접근 가능하고 사용 가능하게 만듭니다 우리는이 분야에서 많은 전문 지식을 보유하고 있습니다

대규모 데이터 센터, 인공 지능 전문가, 데이터 전문가 Google Cloud가 제공하는 전문 기술은 ML에 너에게 이것은 우리가 내부적으로 가지고있는 것에 대한 멋진 작은 이야기입니다 ML을 성공적으로 구현했습니다 Brein이라는 내부 AI 팀은 ML 모델을 만듭니다

알고리즘을 통해 수많은 데이터를 가져와 대규모 인프라 스트럭처를 통과시켜야합니다 ML 모델을 만들 수 있습니다 하지만 Google의 모든 소프트웨어 개발자는 아닙니다 ML 전문가입니다 우리가 한 일은 우리의 소프트웨어를 둘러 보았습니다

개발자를 교육하고 기존 모델로 ML을 구현하는 방법 그래서이 그래프가 보여주는 것은 소스 코드의 개수입니다 개발자가 Brain의 ML 모델을 사용하는 저장소 AI를 내부 서비스에 성공적으로 구현하기 위해, 외부 제품 Google은 이러한 유형의 개념을 Google Cloud에 도입합니다 오른쪽에는 여러 제품이 있습니다

ML과 AI를 통합했습니다 나는 그들 모두에 대해 이야기하지 않을 것이다 나는 두 가지에 대해서 이야기 할 것이다 내 즐겨 찾기 그래서 저는 아빠입니다, 저는 세 명의 아이들이 있습니다

그리고 저는 아이들의 디지털 사진을 많이 찍었습니다 어리석은 금액, 아마도 총 10 만개 그리고 저는이 Mac을 가지고 있었고 하드 드라이브가 몇 개 있었는데, 저장 용량이 걱정되어 Google 포토가 생겼습니다 무료 무제한 저장 글쎄, 잘됐다

값이 싸고 확장 가능하며 물건을 뒷받침하는 것에 대해 걱정해야합니다 그러나 실제로, 혁신은 검색 기능이었습니다 얼굴 인식 기능이 있으며 우리 애들이 누군지 알고 있습니다 내 얼굴 사진을 클릭 할 수 있습니다 내 전화에서 해변이나 보트 같은 단어를 입력하고, 이제 10 만 장의 사진을 찍습니다

내가 찾고있는 정확한 사진을 찾습니다 과거에는 20 분이 걸렸을 것입니다 ML은 혁신적이며 그렇게 할 수도 있습니다 조직의 규모에 관계없이 기술 직원 유형에는 ML을 구현하는 여러 가지 방법이 있습니다 그리고 우리는 두 가지 방법에 대해 이야기 할 것입니다

첫 번째 방법은 ML 모델을 사용하는 것입니다 ML 전문가가 될 필요는 없습니다 소프트웨어 개발자 일 필요가 있습니다 또는 귀하의 조직이 REST API를 사용하는 프로그래밍 언어 사용하기 쉽다

CXO 나 결정을 내리는 경영자라면, 프로젝트에 자금을 지원합니까? 높은 품질의 모델을 만드는 것은 매우 위험합니다 소프트웨어 개발자에게 API를 사용하게한다 그것을 구현하고, 정말로 빨리 시작하십시오 그리고 다른 길은 커스텀 모델을 만드는 것입니다 어쩌면 당신은 당신의 공간에서 도메인 전문가입니다

또는 데이터에 액세스 할 수 있고 원하는 자신 만의 ML 모델을 만들 수 있습니다 그래서 우리는 전문가들을위한 많은 도구들을 가지고 있습니다 빠르고 저렴한 ML 처리를 위해 그리고 여기가 저스틴에게 넘겨 줄 것입니다 그리고 그는 이것들에 대해 조금 이야기 할 것입니다

자세한 세부 사항 크리스틴 고마워 고마워, 크리스 그래서와 주셔서 대단히 감사합니다 오늘, 우리는 이야기 할 것입니다

당신의 직업에 맞는 도구를 어떻게 찾을 수 있습니까? 당신의 분야에서 전문가로서? 그래서 우선, 크리스가 언급 한 것처럼, Google은 많은 기계 학습 모델을 만들었습니다 특정 애플리케이션이 Google 애플리케이션을 강화할 수 있습니다 그래서 우리는 당신 주위에 REST API를 포장했습니다 소비하기 위해 우리는 이것을 지각 API라고 부릅니다

그들은 일반적으로 인간의 인식 주위에 있기 때문에 사용자가 애플리케이션과 상호 작용하는 방식 이렇게 빨리 다음 슬라이드로 이동하면, 이 API에는 크게 세 가지 범주가 있습니다 하나는 사이트에 관한 것이고 다른 하나는 대화에 관한 것입니다 세 번째 것은 언어에 관한 것입니다 아마 이들 각각을 걸을 것이 중요하다고 생각합니다 정말 신속하게 당신이 일종의 즉석에서 이해할 수 있습니다

코딩 없이도 얻을 수있는 기능 REST API를 사용하는 것 외에는 귀하의 응용 프로그램에 그래서 우선, 시력을 위해, 당신이 이미지를 가지고 있다고 말하면서, 그 이미지의 내용을 이해하고 싶습니다 자동으로 이미지를 Vision API에 전달하면 그 이미지 안에있는 물체가 무엇인지를 이해할 수 있습니다 자동으로, 그리고 당신은 얼굴이 어디 있는지 알아낼 수 있습니다, 다른 사람들에게 알릴 수 있습니다 동영상 이해 API의 경우 동영상, 장면 전환, 다른 대상을 알려줄 수 있습니다

해당 비디오 내에서 기본적으로 검색하고 찾을 수 있습니다 동영상 내 또는 동영상 전체에서 원하는 내용 여러 동영상을 전달하는 경우 OCR – 종종 사람들은 스캔 한 문서를 가지고 있습니다 그리고 무엇을 이해해야합니까? 도크는 그 문서에 있습니다 어쩌면 그것은 PDF 파일 일 수도 있고 GIF 파일 일 수도 있습니다

너는 할 수 있어야한다 GIF, JPEG가 아닙니다 API에 전달할 수 있습니다 그런 다음 자동으로 감지합니다 그 문서의 단어들은 무엇입니까? 그 원시 텍스트를 나중에 줄 수 있습니다

또는 장면의 이미지를 가지고 있거나, 벽에 징후가있다 그것은 당신에게 그 사인에 관한 텍스트를 줄 것입니다 따라서 OCR은 일상적인 응용 프로그램에서 정말 편리합니다 성인용 콘텐츠는 사실 실제로 하나입니다 정말로 중요합니다

사용자가 제출 한 콘텐츠를 얻으십시오 당신은 그 이미지에 무엇이 있는지 모릅니다 당신은 당신이 아닌지 확인해야합니다 사용자에게 부적절한 이미지를 제공합니다 따라서 성인용 콘텐츠 검색은 정말 쉬운 방법입니다

그 이미지에서 무슨 일이 일어나고 있는지 감지 할 수있게 당신이 걸러 내야 만하는 것이죠 귀하의 사용자에게? Conversation 클래스의 API의 경우 – 오디오를 텍스트로 – 스트리밍 오디오가있을 수 있습니다 그 다음 파일은 당신이 무엇을 말하고 있는지 알아 내야합니다 그런 다음 그 사건을 베끼고 그것을 당신에게줍니다 그것은 비디오, 사람들과의 실제 대화, 텔레비젼 쇼를 위해 무엇이든간에

그 반대도 가능합니다 텍스트 문자열이있을 수 있습니다 당신의 사용자에게 읽어 줄 필요가있다 자, 문자열을 응용 프로그램에 전달합니다 그러면 합성 음성을 만듭니다

그런 다음 사용자에게 알릴 수 있습니다 채팅 봇은 사용자와 소통 할 수있는 방법입니다 채팅에서 직접 원하는 상호 작용을 프로그래밍 할 수 있습니다 사용자와 대화하고 특정 종류의 대화를 프로그래밍 할 수 있습니다 계속해서 고객 서비스 전화로 도움을 받으십시오

또는 그런 것들 언어 API에서, 자유 형식의 텍스트를 가지고 있다면 정말 어렵습니다 정말 도대체 무슨 소리 야? 우리는 밖으로지도하고 무엇의 맥락을 알아낼 것입니다 말하자면, 문장의 데이터 구조를 찾아 내고, 당신이 알아낼 수 있도록 말의 부분을주세요 좋아, 명사 란 무엇인가? 동사는 무엇인가? 이것들의 관계는 무엇입니까? 그리고 나서, 당신은 지능적인 것을 할 수 있습니다

그 구조와 감정 분석은 함께 전송되는 분위기는 무엇인가요? 그 단어들로? 우리가 가진 것은 우리는 많은 좋은 성공을 시도했습니다

예를 들어 고객 서비스의 정서를 모니터하는 것 이메일이나 채팅, 물건 나가기 관리자에게 에스컬레이션 할 수 있음 그래서 물건들이 나선형으로 나오지 않도록 할 수 있습니다 제어 또는 무엇인가가 공격적인지 이해할 필요가 있다면, 또는 평온한, 또는 행복한, 당신은 어떻게 분류하고 있는지 확인합니까 고객이 평점을 매기는 것이 적절하다면 서비스 콜, 그런 것들? 번역에서는 자동으로 번역하는 좋은 방법입니다 한 언어에서 다른 언어로 예를 들어 다음에 대해 조금 이야기하겠습니다

예를 들어, 당신이 게임 개발자라고 말하면, 당신은 온라인 커뮤니티를 가지고 있습니다 하지만 그들은 전세계에서 온다 다른 언어로 말하기 당신은 그들이 서로 이야기 할 수 있기를 원합니다 실시간 채팅에서 기본적으로 할 수 있습니다

다른 언어로 번역 할 수있는 능력이 있어야합니다 따라서 Translate API를 사용하면 정말 쉽습니다 또는 인바운드 고객 서비스를받을 수 있습니다 이메일을 보내고 언어로 번역 할 수 있습니다 고객 서비스 담당자가 고객이 이해할 수 있도록 그러면 고객에게 응답 할 수있는 적절한 문서를 찾을 수 있습니다

이 API에 대한 좋은 점은 기본적으로 REST API 만 있으면됩니다 기본적으로 코드 스 니펫을 제공합니다 당신은 그것을 당신의 앱으로 팝니다 당신이 정말로 바꾸어야 할 유일한 것 데이터를 가리키는 키와 URI입니다 그리고 짜잔, 떨어져

그것보다 더 간단해질 수는 없습니다 다음 질문은 성능이 어떻습니까? 실제로 얼마나 효과가 있습니까? 그들은 일반적인 사용 사례에 정말 좋습니다 경우에 따라 문제가있을 수 있습니다 Google이 결코 다루지 않았던 또는 상황을 처리해야 할 수도 있습니다 Google이 다루어야 할 것보다 훨씬 더 자세하게 설명합니다

예를 들어 Google은 볼트와 못의 차이를 쉽게 알 수 있습니다 하지만 당신이 제조업 자라고 가정 해 봅시다 생산 라인에 2,000 개의 볼트가 있습니다 귀하의 부품에 대한 차이점을 어떻게 알 수 있습니까? 글쎄, 우리가 가능하게 한 것은 Cloud AutoML 그래서 당신은 라벨이 붙은 모든 부품의 이미지를 제공 할 수 있습니다 그리고 우리는 그들을 구별하지 못할 수도 있습니다

라벨을주지 않으면 그런 다음 모델을 교육합니다 그런 다음 REST API 엔드 포인트를 얻을 수 있습니다 귀하의 응용 프로그램에서 사용하십시오 그래서 좋은 점은 사용하기가 정말 쉽다는 것입니다

그리고 당신은 기계 학습을 알 필요가 없습니다 우리는 당신을 위해 그것을한다 그런 다음 응용 프로그램에서 사용할 수 있습니다 그래서 다음 질문은, 음, 이것이 얼마나 효과가 있습니까? 실제로 모든 오픈 소스보다 효과적입니다 밖에있는 모델

따라서 훌륭한 실적을 올릴 수 있습니다 그리고 사용하기가 정말 쉽습니다 그래서 정말 도움이되었습니다 그래서 실제로 ML을 사용하는 방법 중 하나입니다 또 다른 방법은 데이터 과학자가 있다고 가정 해 봅시다

내 자신의 데이터를 가지고 있기 때문에 내 모델을 만들고 싶습니다 그리고 그것은 내가 다룰 필요가있는 커스텀 문제입니다 음,이 작업에는 두 가지 다른 방법이 있습니다 하나는 클라우드 관리 서비스를 사용하고 있습니다 그리고 이것들은 당신이하지 않는 서비스입니다

인프라를 다루고 싶다 우리는 당신을 위해 그것을 다룰 것입니다 그렇게하면 컴퓨터 학습 프로세스에 집중할 수 있습니다 그래서 우리는 Dataproc과 Dataflow를 가지고 있습니다 그래서 당신은 당신의 전처리를 다룰 수 있습니다

Dataproc은 본질적으로 Hadoop 및 Spark이지만 관리, 또는 Dataflow가 백엔드에서 Beam을 사용하고 있습니다 프로세싱을 처리하는 관점에서 머신은, ML 엔진 또는 기계 학습 엔진, 인프라 스트럭처를 자동으로 가동시킬 수 있습니다 그리고 우리는 그걸 좀 알아볼 것입니다 당신이 끝나면 그것을 찢어 버려라 따라서 인프라 스트럭처가 사라집니다

데이터 과학자들로부터 모든 최상위 프레임 워크를 지원합니다 그리고 우리는 Datalab을 가지고 있습니다 데이터 탐색을 쉽게 할 수 있습니다 먼저 Datalab에 대해서, 얼마나 많은 사람들이 실제로 Jupyter Notebook을 사용했습니다 주피터 노트북에 대해 알고 있습니까? 약 3 분의 1 정도가 될 것입니다

나머지 사람들은 그렇게 이해합니다 주피터 노트는 근본적으로 데이터를 가리킬 수있는 앱 귀하의 데이터를 분석 할 수있는 코드를 제공하십시오

데이터를 시각화하고, 반환하고, 즉시보고, 얻을 수 있습니다 몇 가지 피드백을받은 다음 반복하여 반복하고, 그것을 계속 추가하십시오 전체 노트북을 재생할 수 있으며, 당신은 그저 특정 스 니펫을 연주 할 수 있습니다 직장 동료와 공유 할 수 있습니다 그래서 그것은 정말로 탐험하고 시각화하는 훌륭한 방법입니다

및 프로토 타입 그래서 환상적인 도구입니다 Datalab에 대한 좋은 점은 모든 다른 클라우드 서비스에 연결하도록 미리 구성 BigQuery와 ML 엔진 등이 있습니다 따라서 클라우드에서 벗어나기 만하면됩니다 랩톱에서 로컬로 사용할 수도 있습니다

기계 학습 엔진은 정말 좋은 방법입니다 임의의 데이터 사이트에서 분산 학습 수행 모든 상위 프레임 워크를 사용하여 데이터를 처리 할 수 ​​있습니다 그리고 다시, 그것은 관리 서비스입니다 따라서 모델과 데이터를 가리키고, 그리고 당신은 단지 그것을 회전시킵니다 그것은 당신을위한 모든 분산 훈련을 담당합니다

당신은 그것에 대해 걱정할 필요가 없으며 종료됩니다 모든 것을 찢어서 사용하는 것에 대해서만 비용을 지불합니다 그래서 이것을하는 것이 정말 효율적인 방법입니다 실수로 해당 VM을 켜두는 것에 대해 걱정할 필요가 없습니다 한달 전에 고지를 청구하고 청구서를받을 때

이것에 대한 또 다른 좋은 점은 배치 예측 및 온라인 예측도 수행합니다 기본적으로 이러한 일괄 예측 작업을 실행할 수 있습니다 정말 효율적입니다 또는 온라인 예측을 위해 REST API 끝점을 만듭니다 당신의 모델을 위해 당신을 위해 그리고 어떤 양으로도 봉사하십시오

당신은 당신이 가지고있는 많은 수의 앱을 필요로합니다 정말 쉬운 방법으로 앱을 관리 할 수있는 좋은 방법입니다 다른 하나는 데이터 과학자들이 종종 모델 최적화를하지 않는다 그것은 일종의 고통이기 때문에 모든 다른 매개 변수를 변경해야합니다

데이터 세트에 적합한 구성을 찾으십시오 글쎄, 우리는 그것을 ML 엔진에 내장했다 그래서 그것은 실제로 그것을 당신을 위해 간단하게 만듭니다 매개 변수 만 입력하면됩니다 최적의 모델을 찾으십시오

그래서 좋은 모델을 찾기보다는, 실제로 데이터 세트에 가장 적합한 것을 찾는 것입니다 따라서 모델 실적을 향상시킬 수 있습니다 관리 관점에서 모든 것을 하나로 모으는 것은, 우리는 전체 ML의 모든 단계에 대해 다른 서비스를 가지고 있습니다 애플리케이션에 대해 처리해야하는 라이프 사이클 우리는 섭취 측, 전처리 측, 저장 및 탐색 및 실험, 시각화 측면, 모델 교육 및 제공, Data Studio를 사용하여 보고서를 만들 수 있습니다

그것 모두는 우리의 관리 서비스에, 당신은 인프라를 다룰 필요가 없습니다 모든 호출기를 관리하는 SRE를 보유 할 필요는 없습니다 이렇게하는 다른 방법은 직접 해보는 것입니다 자신 만의 솔루션을 선보일 수 있습니다 사실 몇 가지 매우 유효한 이유가 있습니다

왜 일부 고객은 이것을 원할 것입니다 당신은 연구자 일 수도 있고 당신 일 수도 있습니다 스택의 모든 부분을 변경할 수 있기를 원한다 원한다면, 당신은 매우 맞춤화 된 파이프 라인을 가지고 있을지도 모릅니다 또는 당신이 최첨단을 원할 수 있습니다

오픈 소스 소프트웨어는 당신이 원하는 시점에 펑크 난다 여러 가지 이유가 있습니다 너는 그걸 원할지도 모른다 그게 전부입니다 우리는 그런 사용자를 좋아합니다

하이브리드 구현도 가능합니다 어떤 것들은 클라우드에 있고 어떤 것들은 온 – 프레미엄입니다 매우 일반적인 사용 사례입니다 우리는 그것을지지하고자합니다 그래서 직접 해보고 그것을 배포 할 방법이 있습니다

정말 중요합니다 따라서 우리와 똑같은 인프라 이전에 관리되고 있던 동일한 종류의 오픈 소스 플랫폼을 자동으로 롤백 할 수 있습니다 자신의 인프라에서 너는 그것을 관리한다 그리고 당신은 똑같은 하드웨어를 갖게됩니다

다른 솔루션에 전력을 공급합니다 그래서 우리는 얻는 것이 정말 쉽습니다 깊은 학습으로 시작되었습니다 깊은 학습은 정말 이륙하고 있습니다 복잡한 데이터에서 통찰력을 찾는 정말 좋은 방법입니다

세트 또한 인증 및 최적화 된 VM 이미지를 제공합니다 GCE에서 일하기 상자에서 꺼내면 Jupyter Notebook을 얻을 수 있습니다 모든 하드웨어에 액세스 할 수 있습니다

크리스가 잠시 후에 얘기 할 것입니다 그리고 가능한 최상의 결과를 얻을 수 있도록 구성되었습니다 따라서 클릭 한 번으로이 항목을 배포 할 수 있습니다 원하는 기계에 접근하여 접근하기 당신이 원하는 모든 액셀레이터에게 즉각적으로 갈 준비가되었습니다

우리는 약속에 대해 언급했다 Google이 오픈 소스 커뮤니티에 미친 영향 Kubeflow는 제가 좋아하는 오픈 소스 프로젝트입니다 지난 가을에 Kubernetes에서 시작되었습니다 특정 ML 작업을위한 마이크로 서비스를 만들 수 있어야한다

분산 형 교육 또는 분산 형 당신이 원하는 곳마다 다른 종류의 모델을 제공하고, 그것이 GCP에 있든 또는 온 – 프레스에 있든 상관 없습니다 따라서이 컨테이너를 배포하는 데 매우 휴대 가능한 방법입니다 당신이 원하는 곳이라면 그런 식으로 배포 할 수 있습니다 일관된 GCP 또는 온 – 리소스 일치에 대해 걱정할 필요가 없습니다

Kubernetes가 그것을 처리하기 때문에 이 모든 것을 다룰 수있는 쿠버 넷 고유의 방식입니다 그리고 다시 CPU, GPU 및 TPU에서 작동하도록 구성되었습니다 GCE에 온 – 프레미스 (On-prem), 내부적으로 가지고있는 모든 것에 액세스 할 수 있습니다 그렇다면 GCE에 배포하면 어떻게 될지 모르겠습니다

GKE 클러스터를 생성하고, 그것은 GCP의 관리 Kuvernnetes 클러스터입니다 그러면 JupyterHub 노트북을 스핀 업할 수 있습니다 TensorFlow 교육 서비스 또는 기타 프레임 워크를 시작하십시오 너는 넣고 싶었고 똑같은 일을했다 당신의 TensorFlow 서빙을 위해

모든 사용자가 공유 저장소에 액세스 할 수 있습니다 GCP에서 Kubernetes에게 자연스럽게 따라서 실제로 할 수있는 좋은 방법입니다 이것은 매우 휴대용 방식으로 그런 다음 전체 컨테이너를 원하는 위치에 배치 할 수 있습니다 그리고 그것은 환상적인 해결책입니다

그래서 지금, 나는 시간을 보낼 것입니다 Chris에게 하드웨어에 대해 이야기 할 것입니다 크리스 클리브 : 감사합니다, 저스틴 테이크 어웨이로 돌아가서, ML에 흥미를 느끼고, Google 클라우드에 ML을 구현할 수 있다고 확신하면서 Google의 인공 지능 (AI) 포커스는 우리를 귀하의 ML에 적합한 파트너로 만들어줍니다 워크로드

정말 빨리 이야기 해 봅시다 단지 이러한 것들을 되풀이하기 위해서입니다 개발자이고 ML을 구현하려는 경우, ML 전문가가 될 필요는 없습니다 API 모델을 사용하십시오 위험을 낮추십시오

사전 훈련 된 ML 모델이 마음에 들지 않는 경우 또는 사용자 정의 무언가를해야합니다 AutoML과 함께 웹 브라우저를 사용하여 사용자 정의 ML 모델을 작성하십시오 놀라운, 슈퍼 간단합니다 그리고 데이터 전문가 또는 기계 학습 과학자 인 경우, 또는 도메인 전문가가 작업 부하에 적합한 도구를 제공합니다 게다가

Google 클라우드에 ML을 성공적으로 구현할 수 있습니다 그러나 컴퓨팅 및 인프라에 대해 간단히 이야기 해 봅시다 ML과의 관계 최근 AI 개선 및 발전의 80 % 더 많은 이용 가능한 컴퓨팅 성능에 기인 한 것입니다 그러나 최근의 TensorFlow 이벤트에서, 설문 조사에 따르면 사람들이 접근 할 수 없다는 것을 인정합니다 ML 연구를 위해 충분히 계산할 수 있습니다

그것은 분명한 문제입니다 이제 수십 년 전으로 돌아 가자 왜냐하면 우리 모두 우리가 서있는 ML에서 일하는이 방에서 거인의 어깨에 신경망과 ML의 작동 방식에 대한 개념, 수십 년이 지났습니다 인간의 두뇌를보고, 어떻게 뉴런이 서로 연결되어 있는지, 그들이 정보를 전달하는 방법 한 뉴런에서 다른 뉴런으로, 그것은 오래된 개념입니다

하지만 최근의 구현입니다 대규모 데이터 센터 및 하드웨어 가속기 우리가이 큰 신경 네트워크를 만들 수있게 해줬습니다 ML의 발전 인프라가 중요합니다 그리고 그것이 중요한 이유는, 당신이 어떤 길로 가든 상관없이 – Google ML 모델을 사용하여 맞춤 모델 만들기 – 그것을 지탱하고있는 인프라입니다

우리 모델에서는 이미 데이터를 가져 왔습니다 훌륭한 알고리즘을 통과 시켰습니다 이 인프라, 대규모, 축구 규모의 현장 데이터 센터 이 모델들을 더 좋고 더 좋게 만드십시오 그리고 우리는 계속 그렇게 할 것입니다 Google Cloud를 사용하면 그 같은 규모로, 너와 그것을 할 수있는 것과 똑같은 힘 알맞게

GCP에 관한 새로운 ML 고객 중 한 명 OpenAI이고 대규모에 대해 이야기합니다 그들은 관리되지 않는 길로 갔다 그들은 도메인 전문가이고, 그들은 AI 사고 리더입니다 그들은 비영리 단체입니다 AI로 혁신하고 개방적이고 안전하게 만들기 위해 노력하고 있습니다

그들은 10 만개 이상의 프로세서를 사용합니다 보강 학습을 할 수 있습니다 수천 개의 GPU를 사용하여 기계 학습을하고 있습니다 혁신을 가능하게하는 것은 규모에 대한 접근입니다 그 (것)들을 위해 그것을 제공하고있는 Google Cloud입니다

하드웨어 가속기는 매우 중요합니다 하드웨어 혁신뿐입니다 CPU가 있으면 Skylake를 사용할 수 있습니다 그러나 ML 작업 부하의 경우 분산 된 교육의 경우 커다란 교육 일자리가 생기면 마비 된 계산 능력이 필요합니다 따라서 우리는 역사적으로 2017 년 2 월 이후로, 우리는 세 개의 NVIDIA GPU 모델 인 K80, P100, V100, 고성능, 패스 스루 PCI입니다

V100을 사용하면 NVLink 상호 연결이 가능하며, ML 워크로드에 아주 좋습니다 우리가 조금 다른 것보다 우리의 경쟁 업체는 맞춤 VM을 제공하는 방식을 사용합니다 CPU 사용량, 메모리 사용량, 기타 GPU 유형, 보유하고있는 GPU 수, 원하는 VM 수, 네트워크 연결 스토리지를 사용하거나 고속 디스크를 원할 경우 특정 작업 부하에 대한 I / O, 서버 내 SSD 연결, 그리고 당신이 원하는 것을 지불하십시오 또는 병목 현상이있는 경우 그 중 하나를 조정하십시오 우리의 다른 경쟁 업체 중 일부는 유연성을 제공하지 않습니다

그래서 돈을 저축하려고합니다 ML 작업이 더 빨리 진행될 것입니다 사실은 이번 주에는 새로운 P4 GPU를 출시했습니다 일주일 후에 나올거야 ML 추론 워크로드에 유용합니다

따라서 우리는 파트너 인 NVIDIA와 계속 협력 할 것입니다 새로운 GPU를 시작하십시오 그래서 우리는 거기서 멈추지 않습니다 AI에 초점을 맞추면 TPU가 생깁니다 우리는 Cloud v2 TPU를 작년에 만들었습니다

이것은 기계 학습을 위해 의도적으로 제작 된 ASIC입니다 그리고 오늘, 우리는 몇 가지 새로운 발표를했습니다 v3이 나오고, 빠르고 저렴한 ML 작업 부하 TPU 포드가 있습니다 TPU 포드는 일련의 TPU입니다

빠른 네트워크로 연결됩니다 다시 한번, 구글의 AI는 인프라를 구축하는 데 중점을두고 있습니다 우리는이 ML 모델을 더 빨리 교육하고 있습니다 우리는 또한 당신에게 그것을 제공하고 있습니다 우리는 당신의 ML을위한 올바른 파트너라고 믿어야합니다

워크로드 저축은 많은 돈입니다 많은 회사에 크고 큰 거래 스탠포드에 예산이있는 조교수가 있습니다 ML에서 몇 가지 연구를 수행합니다

그리고 그는 고정되어 있습니다 – 그가 할 수있는 일은 너무 많아 따라서 관리되지 않는 경로의 윈 – 윈 제품 – 선점 형 VM, 선점 형 GPU 및 TPU가 있습니다 때로는 여분의 용량이 있습니다 또한 교육 및 추론과 같은 ML 배치 워크로드, 우리는 GPU와 TPUs의 70 % 할인을 제공하고 오늘 아침에 발표했습니다 TPUs의 가격을 인하했습니다

그래서 지금,이 연구원은 우리의 여분의 수용력을 사용할 수 있습니다, 약간의 비용 절감, 배치 워크로드 실행 모든 사용 사례에 해당하는 것은 아닙니다 보장되지 않습니다 항상 거기있는 것은 아닙니다 하지만 연구를하고 있다면 필요한 일이나 큰 조직을해라 배치 작업 부하가 한 번씩 적은 비용으로 더 많은 혁신을 할 수있는 좋은 방법입니다

ML에서는 데이터가 정말로 중요합니다 Google은 훌륭한 광섬유 네트워크, 훌륭한 인터넷 서비스를 제공합니다 사이 따라서 데이터를 큰 단위로 이동하는 경우, 우리는 그것을 처리했습니다 실시간으로 들어오는 대규모 데이터 흐름이 다양한 출처 – 우리는 전 세계에 구름 위치를 가지고 있습니다

일부 데이터를 우리에게 발송해야하는 경우, 우리는 당신이 대량으로 출하 할 수있는 가전기구를 가지고 있습니다 그것은 단순한 계산이 아니라 훌륭한 인공 지능 서비스입니다 그것은 네트워크입니다 보안입니다 그것은 거기에 내장 된 모든 것입니다

그래서 우리는 많은 인공 지능 서비스에 대해 이야기했습니다 우리는 당신에게 개요와 소개를주었습니다 우리는 ML이 불가능 발명에 관한 것이 아니라는 것에 대해 이야기했습니다 그것은 재상영과 재발생에 관한 것입니다 너 오늘하고있는 일

현재 14,000 명이 넘는 고객이 GCP에서 ML을하고 있습니다 오픈과 하이브리드에 중점을두고, 및 멀티 클라우드 작업 부하, 하드웨어에 중점을 둠, 우리가 발표하는 우리의 새로운 서비스, 그리고 언급 한 기조 연설, 새로운 AutoML 서비스, 고품질 API – 네가 어떻게하고 싶은지 상관 없다 당신이 할 수 있다는 것에 흥분을 느껴야합니다 당신은 당신이 성공적으로 그것을 할 수 있다고 확신해야합니다 Google은 귀하에게 적합한 파트너입니다

더 배우고, 시작하고, 얻을 수있는 여러 가지 방법이 있습니다 세워짐 내가 특별히 말하고자하는 것은 내가 개인적으로 Kaggle이 사용되었습니다 Kaggle은 ML 대회 서비스 및 커뮤니티입니다 나는 ML을 배울 때, 내가 뭘하는지 몰랐다

그리고 이미지 인식 경쟁이있었습니다 운전자가 도로에주의를 기울이거나 또는 산만 한 느낌 그래서 커뮤니티에 가입하여 ML 도전에 합류했습니다 TensorFlow를 사용하는 방법에 대한 많은 리소스가있었습니다 및 데이터를 사전 처리하는 방법

그리고 Google은 Kaggle을 사용하여 전 세계 사람들을 돕고 있습니다 ML을 배우십시오 그리고 너도 그걸 쓸 수있어 또는 데이터 세트가 많은 조직의 경우, 당신은 경쟁을 시작할 수 있고 세계의 ML 전문가를 가질 수 있습니다 너를 위해 ML을해라

방법에 대한 자료가 많이 있습니다 이러한 서비스에 대해 알아보십시오 Google Cloud 고객이 아닌 경우 무료 크레딧이 제공됩니다 이미 그래서 그 점에 대해 감사 드리고 싶습니다

우리 시간은 거의 다됐다 우리는 몇 가지 질의 응답을 할 것입니다 양쪽에 2 개의 마이크 그리고 몇 가지 질문을하십시오 고마워요

[박수 갈채] [음악 재생]

How Ocado Leveraged AI on Google Cloud to Transform their Retail Platform (Cloud Next ’18)

[음악 재생] 닉 마틴 : 안녕하세요 나는 닉 마틴이다

저는 영국의 소매업을위한 Google의 클라우드 비즈니스 팀장입니다 그것을 만들기 위해 잘하게 여기에 오전 9시 Google NEXT 컨퍼런스의 마지막 날에 우리는 경쟁이 치열하다는 것을 알고 있습니다 어제 밤 파티에서 그리고 또한 기조 연설에서 그 순간에 자리를 잡았고, 그렇게 잘되었습니다 이 세션을 선택해 주셔서 감사합니다 오늘 아침 우리 랑 시간을 보내고 싶어

통찰력으로 세션을 시작하고 싶습니다 소매업 자의 가장 중요한 자산으로 – 쇼핑객 오늘날 쇼핑객은 호기심 많고 까다 롭고 참을성이 없습니다 구매자는 귀하의 비즈니스에 더 많은 접점을 가지고 있습니다 그 어느 때보다도

그들은 귀하의 웹 사이트를 방문합니다 그들은 당신의 앱을 사용합니다 그들은 당신의 육체적 인 상점에옵니다 고객 서비스 라인에 전화하십시오 포인트 제도에 가입하고 YouTube 동영상을보고, Facebook 페이지에 들러 전자 메일, 목록, 그리고 더

또한 광고를 보게됩니다 검색, 사회, 비디오, TV, 라디오, 인쇄 및 집 밖에서 따라서 이러한 상호 작용은 부를 창출합니다 고객 정보 그리고 그들이 당신의 사업에서 원하는 것 비즈니스에 좋은 소식이 있습니까? 음, 그 정보가 효과적으로 사용되지 않습니다

실제로 Google이 실시한 공동 연구에 따르면 그린버그와 함께, 최소한 62 %의 사람들 브랜드가 구매 내역을 사용할 것으로 기대한다 그들에게 개인화 된 경험을 제공합니다 그러나 현재 42 %만이 대부분의 브랜드가 현재하고 있다고 생각합니다 왜 그런가요? 전달하는 것이 불가능한 일입니까? 모든 접촉에서 관련성 있고 개인화 된 경험 포인트? 이것을 막을 수있는 이유는 무엇입니까? 일반적으로 조직의 데이터 많은 곳곳에 퍼져있다 광고 캠페인, CRM 시스템, 고객 서비스 블로그, 웹 사이트 / 앱 분석, 충성도 프로그램, 그리고 더 많은, 더 많은합니다

따라서 이것은 매우 어렵거나 매우 어려울 수 있음을 의미합니다 각 고객의 단일보기 따라서 거의 60 %의 마케팅 담당자가, Forrester에 따르면, 그것이 남아 있다고 다양한 비즈니스 기능에 이해 관계자를 부여하기 어렵다 데이터 및 필요한 통찰력에 대한 액세스 그리고 그것 없이는 어떻게 진정으로 개인화 된 경험담? 그러나 그러한 경험을 제공하기 위해 고객이 지금 기대하는 조직, 조직 매우 다른 접근 방식을 취할 필요가있다 핵심은 모든 데이터를 보유해야한다는 것입니다

일부 데이터 만이 아닙니다 한 곳에서, 구조화되고 구조화되지 않은, 모든 다른 유형 한 곳에서 나면 잠금 해제 할 수있는 위치에 있습니다 그것이 제공하는 가장 가치있는 통찰력 클라우드 솔루션을 사용하면 데이터 저장소를 무너 뜨릴 수 있습니다

당신이 더 잘할 수 있도록 당신의 데이터를 조직하십시오 더 나은 통찰력을 얻기 위해 그것을 분석하고 활성화하라 그리고 더 나은 예측 결과를 이끌어냅니다 적극적으로 활동하는 많은 조직과 이야기합니다 인공 지능 통합 작업 데이터 분석 전략에 대한 기계 학습 등이 포함됩니다

그러나 대다수의 조직 AI 이니셔티브의 가장 초기 단계에 있습니다 Gartner 조사에 따르면 CIO 조사 작년에 CIO 중 단 4 %만이 현재 조직 내 AI가 진행 중입니다 그러나 이것은 빠르게 변화 할 것으로 보인다 향후 2 ~ 3 년 동안 실제로, 그것은 2020 년까지 고려되었으며, 조직의 85 % 이상이 파일럿 프로그램에서 인공 지능 프로그램을 갖게됩니다 또는 동작 모드 일 수있다

왜 그런가요? 글쎄, AI를 채택하기 위해 고객은 많은 도전에 직면 해 있습니다 기술 – 인공 지능을 처리하는 데 필요한 규모는 엄청납니다 운영 관점에서 보면 적절한 전문 지식을 갖춘 인재가 필요합니다 그러나 그 사람들이있는 단체는 거의 없습니다 그들은 희소 한 품종입니다

현재까지 용어로는 매우 좁은 공구 및 도구 제공하고 필요한 옵션 중 많은 전문성 현실적으로 AI는 매우 소수의 사람들의 손에, 아주 소수의 조직 지난 수십 년 동안 그리고 그것들은 심층적 인 계산 능력을 가진 사람들입니다 자원, 훈련 및 전문 지식 기계 학습에서 조직 기술 지향적입니다 따라서 새로운 접근 방식을 채택해야합니다 인공 지능과 같은 기술을 채택하고, 하지만 그렇게하는 것은 운영상의 큰 도전입니다

Google Cloud가 제공되는 곳입니다 Google 클라우드는 Google의 공개 클라우드 컴퓨팅 비즈니스입니다 다양한 제품과 서비스를 제공합니다 AI를 대규모로 제공합니다 그렇다면 왜 AI 용 Google을 선택해야합니까? 우리는 엄청난 규모와 동일한 컴퓨팅 성능을 제공합니다

Google 검색, Gmail,지도, Android 및 기타 10 억 명이 넘는 사용자 오늘 우리는 고성능, 글로벌 인프라를 제공합니다 Google 기술을 활용 한 서비스로서 및 서버, 프로세스 및 사설 광섬유 네트워크, 혁신의 범위와 기술의 품질 Google 데이터 관리, 분석, 인공 지능 클라우드 AI에 대한 맞춤 설정 해결책을 취하기 위해 우리가 취할 수있는 해결책 우리가 혁신을 개발할 실험실 우리 전문 서비스 기능 및 광범위한 비즈니스 파트너 Google이 가지고있는 정보는 조직에 AI 기능 제공 생산성을 향상시킬 수 있습니다 우리는 AI 기계 학습 도구의 스펙트럼을 제공합니다

그리고 당신은 이들 중 일부가 더 발표 된 것을 들었을 것입니다 이 회의 도중 그리고이를 통해 귀사는 귀사의 기능 및 기술 세트, 그리고 고객의 큰 자산에 대한 정보를 제공합니다 한쪽 끝에서 미리 훈련 된 out-of-the-box 모델 사내 전문 기술을 실제로 갖고 있지 않은 회사의 경우 그리고 사전 훈련 된 모델을 사용할 수 있습니다 비전 API, 비디오 API, 비디오 분석, 자연 특정 경험을 제공하는 언어 API 또는 번역 API 귀하의 고객에게

규모의 다른 쪽에서는 구글의 시장을 선도하는 오픈 소스 머신을 가지고있다 학습 엔진 TensorFlow 데이터 과학자가 자신의 모델을 만들어 해결할 수있게합니다 비즈니스 내에서 고객이 직면 한 문제 중간에 서비스 관리를 제공합니다 두 세계의 장점을 제공하는 클라우드 ML과 같은 함께 사용하면 특정 용도로 모델을 사용자 정의 할 수 있습니다

우리의 관리 서비스를 사용하여 테스트, 클라우드에서 모델을 만들고, 훈련하고, 확장 할 수 있습니다 자, 충분 해 당신이 정말로 여기에있는 것은 고객이 누구인지를 듣는 것입니다 해왔다 모든 것을 삶으로 가져 오기 위해서, 나는 절대적으로 소개하고 무대에 오신 것을 기쁘게 생각합니다

Ocado Technology의 책임자 인 Jonty Angel Google Cloud의 좋은 친구입니다 Jonty [박수 갈채] JONTY ANGEL : 고마워 여보세요 니콜 마틴 : 그러니, 존티, JONTY ANGEL : 네

닉 마틴 : – 오카도 사업에 대해 설명해 줄 수 있어요 우리를 위해 Ocado에 관한 모델과 조금? JONTY ANGEL : 물론입니다 그래서 내가 받아 들여야 하나? 고맙습니다 시원한 그래서 첫째로, 여기에서 나를 보내 주셔서 감사합니다

San Fran에 머무르는 것은 언제나 좋습니다 날씨가 믿을만하지 않습니다 나는 그것이 약 36의 정도와 열인 런던에서 들어왔다 파도 그러나 여기에 있으면서 모두와 함께하는 것이 좋다

오늘 아침에와 주셔서 감사합니다 어제 밤 파티 후에 알았어 깨어나서 오전 9시 세션에 오는 것은 쉽지 않을 것입니다 그리고 그 소개에 대해 고마워, 닉 질문에 대답하기 위해 Ocado는 무엇입니까? Ocado의 비즈니스는 무엇입니까? 오카도에 대해 들어 본 손으로 또는 Ocado와 상호 작용 했습니까? 그래 좋아

그래서 그것은 말하고있는 동료들도 의미합니다 다른 세션에서 좋은 일을 해냈습니다 손이 좀있어 누가 전에 Ocado를 사용 했습니까? 그래서 손이 거의 없습니다 그래서 기본적으로 Ocado는 높은 수준에서, 정말 두 사업체의 융합입니다

한편으로는 소매업이 있으며, 당신이 영국에 살았다면, 또는 실제로 그 서비스를 사용했거나 런던으로 왔습니다 밴의 일부를 보았을 때, 당신은 온라인 식료품 슈퍼마켓을 운영한다는 것을 알고 있습니다 우리는 주문을받습니다 그리고 일련의 공급망 활동을 통해, 우리는 사람들의 집에 명령을 내린다 사실, 우리는 그 이상으로 나아갑니다

우리는 부엌에 들어가서 부엌으로 배달합니다 따라서 완벽한 엔드 투 엔드 서비스입니다 식료품 점을 배달 할 수있는 곳 1 시간 단위로 그것이 소매점의 비즈니스입니다 그리고 우리에게는 기술 사업이 있습니다 실제로 실제로 켜기 만하면됩니다

지난 몇 년 동안 공공의 눈으로, 기술 사업은 플랫폼 구축에 중점을 둡니다 소매업에 도움이됩니다 중요한 것은 모두 일어나고있는 학습의 소매 사업에서 모든 특정 고객 요구 사항 및이 실시간 피드백 루프 소매 고객이 상호 작용할 때 얻을 수있는 이점 Ocado 브랜드 여기 당신이 가진 것은이 독특한 융합입니다 놀라운 의견을 가진 두 비즈니스 루프는 실시간입니다

그래서 한쪽 편에서 우리는 배우고 있습니다 우리는 온라인 슈퍼마켓을 가지고 있기 때문에 고객으로부터 그리고 다른면에서 우리는 기술을 구축하고 있습니다 해당 서비스를 지원합니다 그러면 Ocado는 누구입니까? 따라서 Ocado는 세계 최대의 전용 온라인 식료품 점입니다 소매업 자

우리는 600,000 명이 넘는 적극적인 쇼핑객을 보유하고 있습니다 우리는 50,000 이상의 SKU 범위를 가지고 있습니다 자동화 된 4 개의 창고에 걸쳐 그리고 우리는 일주일에 약 25 만 건의 주문을받습니다 따라서 상점이없는 온라인 전용 비즈니스의 경우, 그건 꽤 큰거야 당신에게 이해를주기 위해서 주문 수의, 이것은 그림이다

Sony의 광고를 통해 실제로 샌프란시스코에서 촬영되었습니다 브라비아 그들은 거리로 튀는 공을 많이 내 놓았습니다 그리고 실제로, 그들은 250,000 구슬을 풀었습니다 그래서 당신에게 종류의 종류에 대한 관점을주기 위해서입니다

자동 주문을 통해 일주일 내 주문을 처리합니다 시설 그러고 나서 렌즈를 가져와보고 우리의 기술인 두 번째 비즈니스를 통해 비즈니스, 질문, Ocado Smart Platform이란 무엇입니까? 따라서 이것은 모듈화되고 확장 가능한 소프트웨어 및 하드웨어입니다 플랫폼, 세계 최대의 소매 업체 배치 온라인 그래서 우리는 현재 일부 파트너가 있습니다

당신은 언론에서 보았을 것입니다 지난 1 년 정도에 걸쳐 출시됩니다 누가이 플랫폼에 종사했는지 플랫폼 도움이하는 일은 완벽한 엔드 – 투 – 엔드 서비스 제공 귀하의 소매업을 위해 여기에는 세 가지 주요 활동이 있습니다 우리는 엔드 – 투 – 엔드 플랫폼에 초점을 맞추고 있습니다

첫 번째 활동은 쇼핑 활동입니다 그래서 우리는 고객이 웹 사이트에 올 수 있고 사이트에 참여할 수 있습니다 상점, 즐겨 찾기 추가, 기타 등등, 바구니를 만들어라 완료되면 우리는 그 명령을 이행해야합니다 그래서 우리는 그것을 골라야합니다

우리에게는 자동화 된 시설이 있습니다 또한 매장 내 피킹 시스템도 있습니다 그리고 나서 그 명령이 뽑히고 성취되면, 우리는 고객에게 전달해야합니다 그래서 세 번째 부분은 배달입니다 그리고 그것이 우리가 밴을로드하는 곳입니다

독점 라우팅 시스템과 알고리즘을 사용하면, 우리는 사용자들에게 식료품을 배달합니다 클릭 및 수집 형식의 포털을 통해 제품 이미지에서 볼 때, 플랫폼이 무엇인지 주위를 둘러 보는 것이 훨씬 쉽습니다 이 삼각형으로 나눠보십시오 내가 말했듯이, 당신은 쇼핑을했습니다 삼각형의 상단 절반에서 경험

전자 상거래 활동을 담당합니다 그런 다음 당신은 우리의 성취 삼각형을 효과적으로 가지고 있습니다 또는 그 명령을 수행 할 책임이있는 모듈 그리고 당신은 우리 배달 모듈을 가지고 있습니다, 고객에게 보낼 책임이 있습니다 그리고 그들은 모두 핵심과 함께 개최됩니다

바구니 같은 것들을 책임지고있다 가격 결정 엔진 또는 특정 주문 관리 시스템, 등등, 등등 따라서 플랫폼은 실제로 모듈화되고 확장 가능합니다 또한이 슬라이드가 강조하는 부분은 나는 그들의 현재 능력을 나열했습니다 당신이 전통적으로하는 것들을 둘러싼 이러한 인터넷 공급 체인 시스템 중 하나에서 찾으십시오

또한 앞으로의 기회 사례를 강조했습니다 그래서 플랫폼은 우리는 혁신 할 수 있고 실제로 최첨단에 머무를 수 있습니다 예를 들어, IoT, 로봇 공학, 자율 주행 차량, 그것들은 우리가 관심이있는 모든 영역입니다 우리 플랫폼이 쉽게 참여할 수 있기를 원합니다 Jonty, 기술 플랫폼에 대해 언급하셨습니다

해당 플랫폼에 대한 통찰력을 공유 할 수 있습니까? 부서 및 일부 기계 학습 혁신 고객을 지원하기 위해 Ocado에서 구현 한 기능입니까? JONTY ANGEL : 가능합니다 그래서 그 질문에 대답하기 위해, 먼저, 너에게 줄께 기술 부문이 무엇인지에 대한 아주 높은 수준의 개요 Ocado에서 제가 말씀 드렸듯이, 우리는이 두 사업의 이야기입니다 소매 및 기술

그리고 우리가 설립 한 것은 그것이 단지 하나의 부문 이상이라는 것입니다 사실은 거의 자신의 회사와 같습니다 자체 사업 우리는 Ocado Technology를 보유하고 있습니다

그리고 그것은 소프트웨어 구축에 대한 책임이 있습니다 그게 Ocado의 힘 이네 그래서 우리는 Ocado Technology에서 일하는 1,000 명이 넘는 사람들이 있습니다 그리고 그 사람들의 절반 이상 컴퓨터 과학자, 엔지니어, 데이터 전문가, 기계 학습 전문가 그래서 우리는 이러한 기술을 가진 사람들에게 투자했습니다

우리 사업의 측면을 구축 할 수 있습니다 우리는 또한 유럽 사무소가 있습니다 우리는 폴란드에 개발자가 있습니다 우리는 실제로 거기에 두 개의 사무실을 가지고 있습니다 크라코프와 브로츠와프

바르셀로나에 사무소가 있습니다 그리고 불가리아에 소피아에 사무소가 있습니다 따라서이 사무실은 최초의 기술 사무소이며, 플랫폼 구축 그리고 우리 개발의 대부분은 영국의 하트 필드에서 일어납니다 Ocado Technology의 뒤편에는 정말 3 가지 핵심 원칙 원활한 경험을 쌓을 수있는 우리 고객을위한 플랫폼입니다 그것은 직관적이고, 효율적이며, 편리합니다

그래서 내가 직관적으로 말하고자하는 것은 우리의 웹 쇼핑 경험 또는 쇼핑 경험 매우 사용하기 쉽습니다 그래서 우리가 만드는 모든 것이 사용하기 쉬워야합니다 고객이 즉시 액세스 할 수 있어야합니다 실력 있는 우리가 일을 빨리하고 많은 일을해야하기 때문에 주문을 따기, 포장하기, 배달하기, 분류, 모든 종류의 이러한 운영 프로세스, 전반적으로 우리는 효율적이어야합니다

그래서 우리는 효율적으로 규모면에서 효율적이어야합니다 그리고 실제로 비디오가 있습니다 최신 창고 중 하나를 보여 드리겠습니다 우리가 우리를 도울 수있는 로봇을 어떻게 만들고 있는지 보다 자동화되고 효율적입니다 그리고 편리합니다

글쎄, 나는 배달 드라이버 중 하나에 대한 사진을 가지고있다 그리고 이것이 실제로 의미하는 바는 우리가 필요로하는 것입니다 그렇지 않은 소프트웨어 및 응용 프로그램을 빌드하는 그냥 위대하고 빠르며 시장에 나와 있습니다 신속하게 고객의 손에, 그리고 혁신적인 그들은 편리하고, 사용하기 쉬우 며, 편리해야합니다

직원들이 이해할 수 있도록 그래서 배달 드라이버가 문에 도착하면, 그들이 생각하고있는 첫 번째 일 사용자에게 훌륭한 경험을 제공하는 것입니다 기술에 매달리지 않아야합니다 따라서 기술은 그들에게 도움이 될 필요가 있습니다 그들이 일을 할 수 있도록 이것이 우리의 원칙 중 하나입니다

우리는 사람들이 쉽게 사용할 수 있도록 권한을 부여해야합니다 기술 자, 이러한 원칙을 달성하기 위해, 당신은 많은 백엔드에 투자해야합니다 기술, 많은 역량 그리고 Ocado가 수년 동안 해왔 던 것 – 실제로, 시작부터 – 이 부서들에 투자했습니다

우리는 일하고있는 많은 사람들이 있습니다 자동화 및 로봇 공학 분야 Google은 기계 학습, 모바일 앱 전문가를 보유하고 있습니다 개발, 라우팅 시스템, 데이터 과학, 클라우드, 비전 시스템, 시뮬레이션 내 창고 한 곳을 걸 으면, 당신은이 모든 것들이 서로 상호 작용하는 것을 보게 될 것입니다

이것이 기술 사업이라는 통찰력을 제공합니다 너는 그게 핵심이야 Nick의 요점과 이야기하기 위해, 우리를 위해, 우리는 기계 학습과 같은 기술에 막대한 투자를해야합니다 기본적으로 클라우드 기술을 사용하는 방법에 대해 설명합니다 우리는 Google, 그 투자가 우리에게 중요하기 때문에 혁신을 유지하고있는 다음 단계는 최첨단을 유지하고 새로운 시스템을 제공하며, 그 지능적인 개인화 된 경험을 구축하십시오

그리고 그것이 우리가되고 싶은 곳입니다 따라서 비즈니스로서 우리는 우리의 문화에서 이것이 우리가 앞으로 나아갈 수있는 방법입니다 여기에 비디오를 보여 드리고자합니다 플랫폼의 영역 중 하나 인 매우 인상적이라고 생각합니다

기본적으로 주문이 배달 될 준비가되면, 우리는 우리의 라우팅 시스템을 인계받습니다 주문을 내려야 할 곳을 파악하는 그리고 어떤 순서로 그리고 특별한 밴으로 그걸 거기로 데려 갈거야 여기서 실제 데이터를 기반으로 한 시뮬레이션을 볼 수 있습니다 사실은 그리고 그것은 하루 종일 지속되고 있습니다

당신이 볼 수있는 것은 모든 작은 핀 방울입니다 실제로 완료된 주문입니다 따라서 주문이 전달되면 작은 방울처럼 불이 붙는 것을 볼 수 있습니다 우리는 아마도 시뮬레이션에서 정오 경에있을 것입니다 또는 1:00 PM 런던이 약간의 핵을 얻는 곳, 저기서 활동을 볼 수 있습니다

그리고 다른 활동의 큰 패치 우리의 자동화 된 서비스 센터, 당신은 실제로 Dawdon을 볼 수 있습니다 우리는 거기에 큰 센터가 있습니다 Andover, 우리에게는 또 다른 것이있다 그러기 위해서, 우리는 투자해야합니다 기본적으로 우리에게 줄 수있는 알고리즘으로 지리 정보를 통한 가장 효율적인 라우팅 그 명령을 전달합니다

저쪽에있는 링크로 갈 수 있습니다 특정 라우팅 시스템에 대해 자세히 알아보십시오 내가 보여주고 싶은 두 번째 비디오 우리의 창고에서 우리의 최신 기술입니다 죄송합니다 내가 다시 가게 해줘

나는 그것을 클릭해야한다고 생각한다 오 [음악 재생] Andover Performance Center입니다 Oop Andover는 런던 남서쪽에 있습니다

그리고 여기서 볼 수 있듯이, 이것은보기입니다 그리드 또는 하이브 구조의 맨 위에서, 고밀도 스토리지 시스템입니다 그리고 당신이하는 일은 당신이 그리드를 바라 보는 것입니다 그리고 축구 경기장의 크기를보고 상상해보십시오 말 그대로 당신은 1,000 대가 넘는 로봇을 가지고 있습니다

이 그리드 위에서 다른 활동을하고 있습니다 그래서 로봇이하는 몇 가지 활동 제품이 공급 업체로부터 하이브로 가져온 경우, 기본적으로 포장을 풀고 배치하는 로봇 활동이 있습니다 그리드에 다른 활동들이 제품을 가져오고 있습니다 우리는 따기 통로가있는 그리드 영역으로 그리드 내에서 실제로 터널을 골라야합니다

제품을 배치하는 사람들이 있습니다 다른 바구니와 다른 종류로 그리고 로봇의 또 다른 기능은 그것은 실제로 내가 가장 지적이라고 생각하는 것입니다 모든 교대가 끝날 때 봇이 돌아갑니다 특정 알고리즘 또는 알고리즘 집합 그 (것)들은 그들이 가사를 할 수있게 해주고, 다음 주문 세트를 위해 그리드를 준비합니다

그래서 효과적으로 일어나는 것은 우리입니다 그리드에 항상 재고가 있는지 확인할 수 있습니다 올바른 장소에서 명령을 내린다 다음 배달 세트를 효율적으로 수행 할 수 있습니다 크기에 대한 아이디어를 얻을 수 있기를 바랍니다

그리고 그들은 뒤에서 충전소입니다 기본적으로, 봇이로 이동합니다 닉 마틴 : 꽤 인상적입니다 나는 그 DC를 방문하는 즐거움을 실제로 누 렸습니다 그리고 네가 말한다면 나는 말할 필요가있다

가서 방문 할 수있는 기회를 얻으십시오 가장 인상적인 설정과 많은 재미입니다 그럼, 존티, 우리를 데려 갈 수 있니? 어떻게 지내니? 기계 학습이 직접적으로 이루어지는 방법에 대해 우리를 데려 갈 수 있습니까? 고객에게 더 나은 구매 기회 제공 경험과 서비스? JONTY ANGEL : 네 먼저 고객에게 무엇이 이익이되는지 소개하기 위해, 우리가 바라는 세 가지 핵심 영역을 공유하고 싶습니다 하루 하루를 개선하는 것이 가장 좋습니다

우리는 인도가 제 시간에 이루어질 수 있도록해야합니다 정시에 배달하는 것이 더 중요합니다 그게 기대이기 때문에 다른 어떤 것보다 고객의 두 번째는 훌륭한 유통 기한입니다 따라서 모든 제품에 훌륭한 선반이 있는지 확인해야합니다 그들이 만료되기 전에 삶을 살 수 있도록 그리고 실제로, Ocado는 그것에 삶의 약속을 가지고 있습니다

그리고 거의 대체 할 수 없습니다 그래서 당신이 주문할 때, 당신이 주문한 제품을 원한다 다른 제품의 전체 목록을보고 싶지는 않습니다 우리는 거기에 던져 버렸습니다 주문한 제품이 필요합니다

따라서 우리의 공급망 시스템은 적절한 재고가 있는지를 효율적이고 정확하게 오른쪽 창고에 소매업 자에게 이익이된다면, 우리가 기술을 개발하는데 집중하지 않는다면, 그 때 그것은 많은 위험을 감수합니다 그들은 사업 운영에 효과적으로 집중할 수 있습니다 그래서 우리에게 발전 기회를줍니다 소매 업체가 혜택을 누릴 수있는보다 지능적인 시스템 예를 들어, 이점 중 하나는 낭비가 적다는 것입니다

고객의 여정에서, 우리는 제품을 제공하는 다른 메커니즘을 가지고 있습니다 여행을하는 동안 어쩌면 낭비 될 제품들 고객 여정에서 다시 제공 될 수 있습니다 고객을 아는 다른 사람이 있습니다 나는 나중에 조금 이야기 할 것이다 우리가하는 커스터마이징을 둘러싼 기계 학습을 통해 더 나은 이해를 얻으십시오

이전 주문을 기반으로 한 고객의 요구 사항 보다 개인화 된 경험을 제공 할 수 있습니다 그리고 여기에 몇 가지 다른 것들이 있습니다 이는 소매 업체가 얻는 전반적인 혜택을 더합니다 우리 플랫폼을 사용하지 못하게합니다 그래서 구체적으로, 당신의 질문에 대답하기 위해, 간단히 강조 할 두 영역 우리는 긍정적 인 영향을주는 기계 학습을 사용했습니다

고객 경험과 플랫폼 사기 탐지 및 사용자 정의에 사용되었습니다 그래서 여기에 작은 따옴표가 있습니다 왜 우리가 기계 학습을 사용하고 싶은지에 대한 동기를 공유합니다 사기 탐지 용 그리고 그것은 정말로 전부였습니다

어떻게 할 수 있습니까? 우리는 속도와 적응력이 있습니까? 우리가 인간이라면 사기성 활동을보고 시도하다 평가와 예측을 할 때 일어날 일 사기범들이 효과적으로 그들이 일하는 방식을 바꾼다 우리가 유지해야 할 부분이 정말로 필요합니다 그들과 함께 그래서 우리가 느낀 것은 이것이 완벽한 사용이라는 것입니다 기계 학습을위한 사례입니다

기계가 그렇게하도록하십시오 그리고 배경에 충분한 데이터가 있다면 엔진에 동력을 공급하기 위해 더 지능적이되고 어떻게 이해할 수 있을까요? 사기성 행동을 찾아 내기 사실, 제 동료들은 이것에 대해 좀 더 이야기했습니다 다른 세션에서 나는 그것이 어제다고 생각한다

더 기술적으로 설명하는 동영상이 있습니다 우리가 여기서 뭘하고 있는지 그러나 높은 수준에서 우리가 사용하고있는 데이터 세트 과거 주문, 이전 사기 사례, 과거 배달, 바구니 비용, 주문 항목 그래서 누군가가 효과적으로 존재한다면, 매일 아침 새벽 9시에 나도 몰라 술 마시고 그들은 단지 이러한 무작위 배달 장소에 배치되고, 사기 행위라고 생각할 수 있습니다

그러나 강력한 것은 이러한 모든 데이터 세트를 함께 사용하는 것입니다 당신은 새로운 트렌드를 얻고 새로운 아이디어를 얻습니다 그리고 당신은 실제로, 처음으로, 사기성 활동보다 앞서 나가십시오 사기로, 재미있는 무엇이, 우리의 고객 여행에서, 실제로, 우리는 사기 탐지를합니다 그 고객 여정의 프론트 엔드에서 그래서 효과적으로 쇼핑을 시작하기 위해 사이트에 입장 할 때, 우리는 이미 사기 수표를 조사하고 있습니다

사기 행위를 평가하기 시작했습니다 그 이유는 우리가 그 후에 일어나는 일이 사기가 아닌지 확인하십시오 우리가 사용하는 도구 중 일부는 정말로 Google Cloud의 전체 스택을 사용해보십시오 그래서 우리는 ML Engine, BigQuery, Cloud Storage, 및 TensorFlow 그리고 이것은 정말로 큰 프로젝트입니다

지금 우리 사업에 종사하고 있습니다 이 다이어그램은 전체 데이터 흐름을 제공합니다 마지막 섹션은 맞춤 설정입니다 다시 말하자면, 엔드 투 엔드 고객의 여정을 살펴보십시오 주문을 시작하면 쇼핑을 시작합니다 주문을 준비하고 나서 주문 완료까지 간다

체크 아웃 할 때, 우리가 발견 한 것은 진짜 방법입니다 고객에게 영향을 미치는 것은 그들을 보여주는 것이다 고객의 여정 끝에있는 것들 그것은 놀라운 경험을 할 수있게 해줄 것입니다 이제 기계 학습을 사용하여 작업을 수행 할 수 있습니다 우리가 그것을 고용 한 방식 때문에 우리는 고객에 대해 더 많이 알게됩니다

이전 주문 및 즐겨 찾기를 기반으로 그래서 우리는 체크 아웃의 마지막 페이지에서 그것들을 제공 할 수 있습니다 그들은 반드시 그들이 제공 될 수 있다고 생각하지 않을 것입니다 예를 들어 우리가 제공하는 페이지가 호출됩니다 다 떨어 졌니? 그리고 그것은 제가 언제나, 매 3 주마다, 접시 닦는 태블릿을 사다 그리고 나는 그 세 번째 주에 도착한다

지금 내 바구니를 완성한 곳 시스템에서 내가 가지고 있지 않은 것을 식기 세척기 태블릿, 나에게 알려줄거야 네가 이걸 다 쓰 다니? 이것들을 사기를 기대합니까? 놀라운 서비스입니다 그걸 내 바구니에 추가 할 수 있다면 그것을 보지 않고도 내 순서대로 그 후 오는 좌절, 나는 매우 행복한 고객이 될 것입니다 고객에게 이익이됩니다 제품에 불편을 겪지 않도록하는 것입니다

그들이 가게에서 나간다 그들이 그것을 잊어 버렸기 때문에 그래서 그들은 목적을 위해 상점을 운영하고 있습니다 때로는 나가는 제품도 있습니다 소매업자를 위해, 이것은 다량으로 유리하다

소매상이 더 큰 바구니를 만들려고하기 때문입니다 고객이 모두 행복하다는 것을 확인합니다 바구니의 크기가 커지고있다 그 필수 항목 그리고 다시 Google Cloud의 상당 부분을 사용합니다

이 기계 학습 엔진을 만드는 것 그래서 그것은 제가 오늘 취재하길 원했던 것입니다 그리고 내가 당신의 질문에 대답했기를 바랍니다 닉 마틴 : 그렇게 믿습니다 고마워, 존티

그게 음, 네가 할거야 나에게 동의해라 Ocado 비즈니스에 대한 환상적인 통찰력 모델 및 기술 및 기계 학습을 사용합니다

그래서 대단히 감사합니다 조티 천사 : 기쁨 닉 마틴 : 모두 참석해 주셔서 감사합니다 [박수 갈채] JONTY ANGEL : 고마워 [음악 재생]

Cloud OnAir: Extensible AI with H2O-3, Google Cloud Platform and KubeFlow

[음악 재생] ANTHONY HYLICK : 클라우드 OnAir에 오신 것을 환영합니다 Google Cloud에서 웹 세미나를 생방송하십시오

매주 화요일마다 웨비나를 개최합니다 내 이름은 Anthony Hylick이고, 오늘 나는 확장 성 AI에 대해 이야기 할 것입니다 H2O, Google Cloud Platform 및 Kubeflow가 있습니다 플랫폼에서 언제든지 질문 할 수 있습니다 우리는 구글이 그들을 기다리고있다

시작하자 그래서 오늘 우리는 확장 성 AI에 대해 이야기 할 것입니다 나는이 첫 번째 부분을 Nick Png과 함께 발표 할 것입니다 그래서 우리는 분산 휴대용 기계 학습을 만들고 싶었습니다 사람들이 쉽게 배포, 개발 및 관리 할 수있는 Kubernetes 그 설치

그리고 이것은 우리가 Kubeflow의 사명으로 제시 한 것입니다 컨테이너 및 컨테이너 배치의 경우, 2014 년에 우리가 극복 한 비슷한 문제가있었습니다 우리가 Kubernetes를 개발했을 때 우리는 API를 표준화하려고했습니다 사람들이 개발하고 관리 할 수있는 이러한 배포는 훨씬 간단합니다

그러나 Kubernetes만큼 쉽게 컨테이너를 만듭니다 배치, Kubernetes에서 기계 학습 설치 쉬운 일이 아닙니다 먼저 전문가가되어야합니다 이 모든 분야에서 컨테이너, 패키징, 영구적 볼륨, 스케일링, GPU, 클라우드 API 등 세 테라 Kubeflow를 입력하십시오

Kubeflow는 이것을보다 쉽게하기 위해 개발되었으며, 모든 사람들, 예, 모두가 발전 할 수 있도록 분산 휴대용 기계 학습 컨테이너 및 Kubernetes에 따라서 워크 플로우가 있었던 곳의 배포 왼쪽과이 클러스터의 수명주기 오른쪽에있는 다음 대체됩니다 Kubernetes 설치 및 Kubeflow의 추상화에 의해, 그런 다음 랩톱에서 개발할 수 있습니다 장소 상에서 온 – 프레스 클러스터에서 교육을받을 수 있으며, 클라우드에 배포 할 수도 있습니다

그래서 그걸로 비 노드와 닉에게 넘겨 줄거야 우리에게 H2Oai에 대한 소개를하기 위해, 그리고 그들이 Kubeflow로 무엇을했는지 VINOD IYENGAR : H2Oai는 누구입니까? 우리는 실리콘 밸리가 자금을 지원하는 회사입니다

우리는 약 6 년 동안 존재 해왔다 지금, 2012 년에 태어났습니다 우리 투자자는 Wells Fargo, Nvidia, Nexus, Paxion입니다 우리는 약 90 명의 ​​전문가 팀으로, 세계 5 대 그랜드 마스터와 데이터를 포함하여 과학자 우리는 여러 제품을 가지고 있습니다 – 대부분의 사람들은 우리의 물로 열심히 알고 있습니다

소스 기계 학습 플랫폼, 14,000 개 이상의 조직에서 사용하고 있습니다 자동화 된 기계 학습 인 H2Oai 플랫폼 우리는 거리 건너편 마운틴 뷰에 본사를두고 있으며, 우리는 런던, 프라하, 인도 가장 최근에 H2O는 2018 년 Gartner의 리더로 선정되었습니다

데이터 과학 및 매직 기계 매직 쿼드런트 학습 우리는 가장 많은 것을 가진 지도자로 선정되었습니다 비전의 완성 우리는 준 산업 분야에서도 인정 받았다 표준 및 기계 학습 플랫폼 간의 마인드

많은 기계 학습 프레임 워크 후드 아래에서 H2O 오픈 소스를 사용하십시오 H2O 고객은 또한 우리에게 가장 높은 전체 점수를주었습니다 판매, 성공 및 지원에 대한 모든 공급 업체 중 하나입니다 H2O 제품군에는 여러 줄이 있습니다 우리는 H2O 오픈 소스를 H2O 코어라고도합니다

이것이 메모리 내 분산 형 기계 학습입니다 플랫폼 우리는 스파클링 워터 (Sparkling Water)를 가지고 있습니다 아파치 스파크 (Apache Spark) 위에서 실행되는 물; 기본적으로 기계 학습 알고리즘 인 H2O4GPU GPU에서 실행되도록 이식되었습니다 그들은 모두 Apache v2 라이센스에서 100 % 오픈 소스이며, 데이터 과학자를 위해 제작되었습니다

우리는 R과 Python에서 인터페이스를 가지고 있습니다 데리러와 배울 정말 쉽습니다; 인터 액티브 노트북 인터페이스 인 H2O Flow 우리는 해당 소프트웨어에 대한 엔터프라이즈 지원을 제공합니다 오른쪽에서 상업용 엔터프라이즈 오퍼링을 볼 수 있습니다 Driverless 인공 지능으로 불리는, 우리가 본질적으로 기계를 사용하여 자동 기능 수행 학습 해석 능력

상업용 라이센스 소프트웨어입니다 도메인 사용자, 분석가, 데이터 과학자, 비즈니스 사용자 그것은 완전한 GUI 기반 인터페이스를 가지고있다 엔드 투 엔드 (end-to-end) 기계 학습 및 데이터 과학 먼저 우리의 오픈 소스 플랫폼 인 H2O-3에 대해 이야기 해 봅시다

H2O 란 무엇인가? 따라서 H2O는 본질적으로 수학 플랫폼입니다 기본적으로 오픈 소스와 메모리 AI를 제공합니다 전체적으로 병렬화 된 엔진 및 분산 알고리즘 – GLM, Random Forest, GBM, Deep Learning, 등등 또한 Java로 작성된 API이기도하지만, 프로그래머가이를 활용할 수 있도록 응용 프로그램 내부 매우 가벼운 설치입니다

모든 환경에서 작동 할 수 있습니다 기본 Java 환경 그것을 지원할 수 있습니다 그것은 큰 데이터를 위해 제작되었습니다 당신은 그것으로 많은 모델을 만들 수 있습니다 샘플링없이 많은 데이터를 사용할 수 있습니다

그래서 H2O의 알고리즘은, 잠깐 보시면, 우리는 가장 일반적으로 사용되는 기계 통계 알고리즘을 포함한 학습 알고리즘 선형 모델처럼, 순진한 베이 즈 (Bayes) 앙상블 치료법 – 거기에, 랜덤 포레스트, 그라데이션 부스팅 머신, 우리는 또한 스태킹과 슈퍼 러닝을 가지고 있습니다 알고리즘이 내장되어 있습니다 우리는 또한 깊은 학습 깊은 신경 네트워크를 지원하며, autoencoders, 신경망에있는 사람들 등이 포함됩니다 오른쪽에서, 당신은 자율 학습의 무리를 보았습니다 K- 수단과 같은 클러스터링 방법을 포함한 알고리즘

또한 PCA와 같은 차원 감소 기술을 지원합니다 일반화 된 낮은 순위 모델 또한 Word2Vec 및 시간을 통해 NLP를 지원합니다 ISax라는 직렬 알고리즘을 사용합니다 또한 모든 Google 알고리즘 조정할 다양한 하이퍼 매개 변수가 있어야합니다

우리는 조기 정지 및 AutoML 기능을 제공하며, 모든 다른 알고리즘을 조정할 수 있습니다 최고의 모델들의 앙상블을 얻으십시오 그러니 잠시 동안 봐 주시면 전형적인 엔터프라이즈 기계 학습 워크 플로우에서, 당신은 단순히 다른 사일로에 앉아있는 데이터를 가지고 있습니다 그들은 모두 모여있다 그리고 당신이 어떤 종류의 상세한 작업을 수행 한 후에, 데이터 품질 및 변환 기술 그 다음 그것에 적용됩니다

그리고 나서 당신은 당신이 부르는 것을 가지고 있습니다 모델링 준비 데이터 프레임, 여기서 당신은 기능 공학을합니다 종종 변형을 의미 할 수있다 기존 기능을 더 나은 기능으로 기계 학습 알고리즘에보다 적합합니다 그 후에는 일반적으로 기계 학습과 시험을하면서 시간을 보냅니다

다른 알고리즘을 사용하면 최종 모델 아티팩트가 생깁니다 그러면이 워크 플로우에 H2O가 어떻게 맞습니까? 따라서 H2O를 사용하면 다양한 데이터를 섭취 할 수 있습니다 가장 일반적인 온 – 더 – 및 클라우드 데이터를 포함한 데이터 소스 출처 따라서 HTFS 또는 Google Cloud Storage에 데이터가있는 경우, 예를 들어, 또는 다른 데이터베이스, 우리가 지원하는 다른 커넥터로 데이터를 가져올 수 있습니다 데이터가 물에 들어 오면 기본적으로 분산 키 값으로 변환됩니다

저장 공간이 데이터 프레임에 첨부됩니다 데이터가 입력되면 전체 묶음을 적용 할 수 있습니다 탐험 기술, 기능 공학 및 모델 건물 알고리즘 완전히 병렬화되어 배포됩니다 그리고 그것은 플랫폼의 합계입니다 사용자는 REST를 통해이를 사용할 수 있습니다

API를 사용하면 R, Python 또는 H2O Flow를 사용할 수 있습니다 프로그래머라면 직접 할 수 있습니다 Java 또는 Scala에서 작업하십시오 하지만 최종 사용자의 경우 완전히 [? DC?] 그리고 그들이 작동하고 적용 할 수있는 단일 H2O 프레임 이 모든 다른 기술들 일단 모든 다른 모델을 실행하면, 기본적으로 모델을 POJO로 내보낼 수 있습니다

또는 MOJO로서, 기본적으로 Java 아티팩트 인 전체 모델을 캡슐화합니다 그리고이 유물들은 생산에 들어갈 준비가되었습니다 스트리밍 환경에 배포 할 수 있습니다 서버리스 아키텍처와 같이 배치하십시오 원하는 경우 람다 아키텍처 – 또는 코드를 가져 와서 모든 애플리케이션에 삽입 할 수 있습니다

당신이 가질 수도 있습니다 그러면 Kubeflow 패러다임에 어떻게 들어갈 수 있을까요? 그래서 전형적으로 H2O에서, 당신은 베어 머신 (bare metal machines) H2O 모델을 실행하는 H2O 클러스터를 생성하십시오 그렇게하는 대신에, 추상 레이어로 Kubeflow 사용하기 베어 메탈과 물 위로 당신이 할 수있는 것은 근본적으로 데이터 과학자 팀이 모두 할 수있다 동일한 Kubeflow 및 Kubernetes 클러스터를 공유하여 다중 H2O 클러스터 그리고이 클러스터들은 모두 병렬로 실행될 수 있습니다

여러 명의 데이터 과학자가 H2O 클러스터를 회전시킬 수 있습니다 그들의 일을하고, 그들의 작업 부하를 제출하고, 그 후에 그것을 끄고 계속하십시오 원할 경우 확장 할 수도 있습니다 예를 들어, 작업 부하가 증가하면 기본 Kubernetes에 더 많은 노드를 추가 할 수 있습니다 또는 Kubeflow 클러스터

이것은 분명히 클라우드 또는 온 – 프레스 (on-prem)에서 실행될 수 있습니다 이제 Driverless AI에 대해 알아 보겠습니다 우리의 상용 엔터프라이즈 소프트웨어입니다 Driverless AI는 무엇을합니까? Driverless AI는 상자에 전문가 데이터 과학자를 제공합니다 우리가 한 것은 전문 AI 시스템을 만들었습니다

세계에서 가장 유명한 카글 마스터 (Kaggle masters)에 의해 지어졌습니다 AI 전문가 등이 있었고, 목표는 기업에 권한을 부여하는 것이 었습니다 종단 간 장비 학습 및 데이터를 달성하는 방법 단일 플랫폼으로 과학을 그것은 데이터 과학자의 작업을 모든 기능 엔지니어링 및 모델 제작 활동을 수행합니다 전문가 데이터 과학자가 수행 할 그리고 매우 정확한 모델을 제공합니다 생산에 갈 준비가되었습니다

또한 다양한 시각화 기술을 사용합니다 이해를 돕기위한 해석 기술 모델로부터 생성 된 결과, 따라서 모델에 대한 신뢰를 구축 할 수 있습니다 따라서 일반적인 엔터프라이즈를 살펴보고 이전에 본 머신 학습 워크 플로우, Driverless AI가 지금하는 일은 자동화하는 것입니다 그 시점부터 전체 워크 플로우 데이터 프레임을 준비했습니다 따라서 기능 엔지니어링, 모델 구축, 배포, 해석 가능성은 모두 Driverless 인공 지능에 의해 처리

따라서 데이터를 생산에서 생산에 이르기까지, 우리는 전체 워크 플로를 자동화했습니다 그리고 이것은 물론 마케팅 소프트웨어입니다 InfoWorld Technology of the Year 상을 수상했습니다 그렇다면 왜 Driverless AI는 기업을위한 게임 체인저입니까? 따라서 엔터프라이즈의 세 가지 일반적인 문제에 대해 생각해 보면 AI 옵션은 AI 재능이 부족합니다 숙련 된 전문가 데이터의 심각한 교역이 있습니다

과학자 데이터 과학자에게는 많은 시간이 걸리고, 훈련되고 경험이있는 사람들조차도, 모델을 만들 수 있습니다 이 모델을 만드는 데 수 주에서 수 일이 걸릴 수 있습니다 그들이 만든 모델은 종종 블랙 박스 모델입니다 해석하기가 어렵습니다

따라서 기업은이 모델을 신뢰하는 데 어려움을 겪습니다 생산에서 그래서 우리는 Driverless AI로 무엇을합니까? 디지털 데이터를 제공하여이 세 가지 문제를 해결하십시오 과학자 – 본질적으로 상자 안에있는 데이터 과학자 우리는 전체 기계 학습 워크 플로우를 자동화하고, GPU 가속 기계 학습을 사용하여, 따라서 모델을 만드는 데 걸리는 시간은 수 주에서 수 시간으로 늘어납니다

따라서 우리는 소요 시간을 크게 줄입니다 그리고 마지막으로 우리는 설명을 제공합니다 모든 모델에 대한 해석 우리는 Driverless 인공 지능으로 구축하므로 도움이됩니다 신뢰와 투명성을 기른다 그래서 당신은 어떻게 그리고 왜 알면서도 생산에 이러한 곰팡이를 넣을 수 있습니다

예측이 이루어지고있었습니다 그래서 Driverless 인공 지능을 볼 때 우리는 얼마나 잘 수행 할 수 있습니까? 우리는 Driverless AI를 참여 시켜서 작업하게했습니다 이 Kaggle 경쟁 중 일부에서는, 우리가 발견 한 것은 상자에서 꺼낸 것입니다 Driverless AI는 상위 5 백분위 수에 들어갑니다 대부분의 대회에서 그리고 몇몇 대회에서는 1 백분위 수위에 올 수 있습니다

그리고 당신이 Driverless 인공 지능을 이길 사람들을 보면, 모든 데이터 과학자 전문가들은 며칠과 몇 주 동안의 작업을했으며, Driverless AI는 성능과 일치 할 수있었습니다 몇 시간 만에 그래서이 자동 피처 엔지니어링을 제공합니다 모델 구축을 통해 모델에 가장 정확한 결과를 제공 할 수 있습니다 그래서 어떤 종류의 기능 공학 이죠? 우리가 수행합니까? 아주 빨리, 만약 당신이 그것을 보았다면 – 나는 Nick이 그것을 데모에서 조금씩 커버하려고한다는 것을 알고있다

본질적으로 우리는 일을하고 있습니다 자동 텍스트 처리, 주파수 인코딩, 크로스 유효성이 검증 된 타겟 인코딩, 절단 된 SVD, 클러스터링 이것들은 경험 한 것들입니다 전문가 데이터 과학자들이 시간을 할애했다 다시 한 번 모델의 정확성을 향상시키는 데 도움이됩니다

피쳐 엔지니어링을 적용하고, 모델 구축을 한 다음 어떤 기능이 나왔는지 확인하십시오 중요하다 그리고 반복적으로이 작업을 수행합니다 Driverless AI가 자동화하는 것 이 전체 과정을 반복적으로 진행합니다

경험 많은 데이터 과학자의 힘을줍니다 마지막으로 배포에 대해 잠깐 이야기 해 보겠습니다 그것이 H2O-3 또는 Driverless AI이든간에, 우리는 항상 전체 배포 옵션을 제공합니다 H2O 또는 Driverless AI로 제작 된 모든 모델 JAVA 아티팩트와 함께 제공됩니다 POJO 또는 MOJO 파일입니다

생산에 들어갈 준비 이러한 아티팩트는 지연 시간이 짧은 추론을 위해 제작되었으며, 그래서 우리는 몇 밀리 초 추론을 할 수 있습니다 그런 다음이 모델을 배포 할 수 있습니다 다른 환경으로 클라우드 또는 온 – 프레미엄에 배치 할 수 있습니다

그것을 REST API 서비스 뒤에 넣고, 그래서 귀하의 응용 프로그램은 그것을 활용할 수 있습니다 전체 라이프 사이클 모델 교육에서부터 관리 및 배포 그리고이 시점에서 랩입니다 너에게 끝이야, 닉 NICHOLAS PNG : 다음은 일부 제품에 대한 간단한 데모입니다

우리가 Kubeflow에서 운영하고있는 왼쪽 편에서 볼 수 있듯이, 우리는 단지 빠른 레포를 가지고 있습니다 이것이 Google의 Kubeflow와 Google이 한 일입니다 팀뿐만 아니라 물 그리고 오른쪽에는 터미널 창이 있습니다 우리 Kubernetes 마스터에게 열려있어

예를 들어 Kubernetes 부부의 노예와 연결되어 있습니다 그래서 당신이 여기서 살펴 본다면 kubectl 노드를 얻을 수 있습니다 그리고 그것은 내가 마스터뿐만 아니라 두 노예 연결 준비 그리고 kubectl이 노드를 설명한다면, 당신은 각자가 사용할 수있는 것을 정확히 볼 수 있습니다 그래서 당신은 기억의 양을 가지고 있습니다

다수의 CPU로 사용할 수있는 최대 포드 수가 있습니다 노드 당 3 개의 노드가 있음을 알 수 있습니다 그래서 우리가 처음부터 끝까지 다룰 것입니다 드라이버리스 AI의 간단한 데모입니다 우리의 엔터프라이즈 플랫폼입니다

그래서 여기를 보시면, ks component – 또는 죄송합니다 ls 구성 요소를 나열합니다 몇 가지 다른 구성 요소가 있음을 알 수 있습니다 이리 첫 번째는 Driverless이며 이는 구성 요소입니다

우리가 배포 할 것입니다 이제 Driverless AI는 엔터프라이즈 플랫폼이기 때문에, 라이센스를 추가 할 수 있도록 사전 배포했습니다 우리는 그것을 사용할 수 있습니다 그래서 우리가 kubectl 포드를하면, 당신은 실제로 볼 수 있습니다 그리고 Driverless 인공 지능이 바로 여기에서 달리고있는 것을보십시오 그래서 우리가 할 첫 번째 일은 – 사전 배포 된 이후로 이미 여기에 있습니다

기본적으로 이것은 운전자없는 인공 지능과 GUI입니다 그것은 그것과 관련된다 데이터를 수집하는 몇 가지 다른 방법이 있습니다 Google Cloud Storage 및 Big Query 미리 만들어진 커넥터가 있어야합니다 Google Cloud Storage를 사용하는 경우, 실제로 공개 데모 데이터로 바로 갈 수 있습니다

우리가 원하는 데이터 세트를 가져올 수 있습니다 따라서 가져 오는 데이터 세트 신용 카드 열차라고합니다 – 그것은 기본적으로 중국의 신용 카드 회사를위한 데이터 세트입니다 그리고 우리가 예측하고있는 목표 다음 달에 기본값입니다 그래서 분류 문제입니다 여기에서 예측을 클릭하면 실험 GUI로 바로 이동할 수 있습니다

따라서 실험을 클릭하는 경우, 이것은 데이터 세트를 선택한 후 얻을 수있는 것입니다 대상 열을 기본 지불로 선택하려고합니다 이제, 우리는 몇 개의 튜닝 노브를 가지고 있습니다 정확성, 시간 및 해석 가능성에 대해 조정할 수 있습니다 그리고 Go를 누르면 실험이 시작됩니다

여기에서 실험이 실행되고 있음을 실제로 볼 수 있습니다 그리고 이것이 진행되는 동안 우리는 우리 데모의 다른 부분을 살펴보십시오 그리고 그 안에있는 실제 구성 요소를 살펴 본다면, 여기에서 구성 요소를 볼 수 있습니다 – 환경, 이는 네임 스페이스 영역 일뿐입니다 배포 위치가 다른 여러 위치를 가질 수 있습니다 그래서 환경을 가질 수 있습니다

클라우드 또는 온 – 프레미엄 용 구성 요소가 중요한 부분입니다 구성 요소는 구성 요소 일 경우, 모든 다른 구성 요소를 보여줄 것입니다 지금 우리에게 사용 가능합니다 그래서 저는 Driverless AI를 가지고 있습니다

driverlessjson 구성 요소로 사용할 수 있습니다 그리고 H2O Static은 H2O-3입니다 클러스터를 다른 구성 요소로 사용할 수도 있습니다 이들은 repo를 통해 제공됩니다

그러므로 만약 당신이 H2O Kubeflow 아래를 살펴 본다면, 당신은 Driverless package H2O가 있음을 알 수 있습니다 프로토 타입 인 스케일링과 정적 인 H2O 정적 우리가 가지고있는 표준 클러스터입니다 그리고 내가 ks pkg list를한다면, 우리는 실제로 이것들이 사용할 수있는 패키지들이다 이 (가) 여기에 추가되었습니다 Kubeflow repo를 본 적이 있다면 – 그것은 github

com/kubeflow입니다, 저는 믿습니다 – 실제로 가져 오기 또는 설치하는 가장 좋은 방법을 볼 수 있습니다 패키지는 ks pkg install이 될 것이며, 그런 다음 레지스트리 이름 바로 여기 파일 이름입니다 H2O Kubeflow slash– 나는 이미 다른 것들을 설치했기 때문에, H2O-3 스케일링을 설치합니다 보시다시피 설치되어 있습니다 그리고 내가 ks pkg list를 다시한다면, 너는 기본적으로 다른 별표가 있다는 것을 알 수 있습니다

그것은 설치되었습니다 이제 저는 두 가지 구성 요소를 미리 구운 것입니다 당신은 여기에서 그들을 볼 수 있습니다 하지만 ks 프로토 타입 유형을 사용하려면 ioksonnet

pkgh2o3-static– H2O-3 데모 슬래시를 다른 이름으로 바꿉니다 필요한 매개 변수를 추가하십시오 네임 스페이스, 우리는이 기본값을 호출 할 것이다 그런 다음 여기에 매개 변수를 추가 할 위치입니다

얼마나 많은 기억을주고 싶니? 클러스터 – 또는 오히려 – 클러스터의 각 노드? 얼마나 많은 CPU를 클러스터의 각 노드에 제공 하시겠습니까? 이것은 장난감 구성 요소이므로 – 이미 다른 하나는 미리 구워 먹으십시오 단지 1 기가의 메모리를 제공하십시오 그건 그렇고, 추천하지 않습니다 CPU– 하나의 CPU 만 제공하십시오 그리고 복제본의 수 – 그래서 많은 복제본들 H2O-3 클러스터에서 원하는 노드의 수입니다

그래서 이것을 4라고 부를 수 있습니다 이 특정 구성 요소에 대해서는 별 문제가되지 않습니다 중요한 것은 모델 서버 이미지이며, 이건 그냥 레포 일거야 저장된 도커 허브 레포 배포 될 Docker 이미지 따라서이 경우 Repo를 실제로 되돌릴 수 있습니다

그것은 존재합니다 – 도커 파일들 – Docker 파일을 사용할 수 있습니다 여기 Docker Hub 중 하나를 만들고 호스팅 할 수 있습니다 Docker 허브 저장소 또는 다른 위치에서 로컬로 – H2O-3 Kubeflow 오타가 존재합니다 – 모델 서버 이미지 우리는 거기에 갈

기본적으로 구성 요소를 만드는 것입니다 이제 내가 ls 컴포넌트를 다시 간다면, 이제 H2O-3 데모가 있음을 알 수 있습니다 H2O-3 Static뿐 아니라 Driverless도 있습니다 이제는 Driverless AI를 사전 배포했는데, 라이센스가 부여 된 제품이기 때문에, 그래서 우리는 보여줄 수있게하고 싶었습니다 라이센스가없는 제품이 표시됩니다

그래서 내가 kubectl 포드를하면, 당신은 실제로 Driverless 인공 지능이 실제로 벌써 달리고있는 것을 안다 이미 존재합니다 그리고 내가 kubectl pod Driverless AI를 묘사한다면, 우리는 실제로 우리가 할당 한 것을 볼 수 있습니다 일정량의 메모리 – 노예 때문에 GPU가 필요 없습니다 GPU가 처음에는 없었습니다 그러나 드라이버리스 AI는 GPU에 최적화되어 있습니다

실제로 5 배 정도 빠르기 때문에 실제로 GPU 사용을 권장합니다 그래서 이것은 Driverless AI GUI입니다 그래서 이것은 당신이 Kubernetes에 붙을 때 얻는 것입니다 인스턴스를 통해 Kubeflow 이제 몇 가지 다른 방법으로 데이터를 수집 할 수 있습니다

Google Cloud Storage에 내장 된 커넥터가 있습니다 Google BigQuery 등이 있습니다 지금은 Google Cloud Storage를 사용하겠습니다 H2O GCS 공개 데이터 – 데모 데이터 gs, H2O, gcs 공개 데모 데이터 – 이게 효과가있다

그냥 여기에서 다시 시도해 보겠습니다 나는 네트워킹이 있다고 생각한다 H2O GCS 데모 데이터 우리는 거기에 갈

그래서 저는 가져올 것입니다 – 이것은 우리가 사용하는 기본 데이터 세트입니다 신용 카드 데이터 세트라고합니다 기본적으로 신용 카드 데이터가 있습니다 네가 가고 있는지 아닌지 예측하기 다음 달에 기본값으로 설정됩니다

그리고 나머지 데모를 실행하는 동안, 실제로 백그라운드에서 실행 해 보겠습니다 결국 우리는 그것이 어떻게 생겼는지에 대한 아이디어를 얻을 수 있습니다 따라서 기본적으로 Predict를 클릭하면됩니다 기본적으로 열을 선택합니다 예측을하고 싶다

우리가하는 검증 데이터 세트를 가지고 있다면, 우리는 그것을 추가 할 수 있습니다 원하는 튜너와 일부 튜너를 토글합니다 얼마나 오래 걸릴지, 얼마나 정확한지 – 또는 당신이 정확도를 위해 가지고있는 체중 해석과 비교하여 실행을 클릭하십시오 이 프로그램이 실행되는 동안 나는 실제로 H2O-3의 빠른 전개를 거칠 것입니다 따라서 우리가 다시 한 번 구성 요소를 살펴 본다면 H2O-3 Static jsonnet을 사용할 수 있음을 알 수 있습니다

그리고 여기에서 패키지는 간단합니다 componentsparams를 사용하면 실제로 살펴볼 수 있습니다 사전에 구운 모든 매개 변수를 설정했습니다 일단 구성 요소를 설정하면, 당신은 실제로 이것을 배포 할 수 있습니다

하지만 네임 스페이스에서 원하는 것은 당신은 어느 환경에서나 원한다 리디렉션을 통해 사용할 수 있어야합니다 kubectl에 연결 그래서 kubectl을 연결하도록 설정할 수 있습니다 온 – 인 (on-prem) 리소스, 몇 가지 실험 실행, GCE 또는 GCP로 클라우드에 연결 온 클라우드 실험도 실행해야합니다

그래서 여기에서 우리가해야 할 일은, 여기에 이미 설정되어 있습니다, ks 기본값을 적용, 우리가 원하는 구성 요소에 대해 빼기 c, H2O-3 Static으로갑니다 이제는 잠시 후에 볼 수 있습니다 실제로는 미리 정의 된 서비스를 만들고 있습니다 실행에 필요한 배치뿐 아니라 H2O-3를 만들고 클러스터를 만듭니다 자, 여기 셋은 세 개의 클러스터로 구성되어 있습니다

노드 당 2 개의 CPU와 노드 당 6 기가 바이트의 메모리 이제는 일반적으로 데이터 양에 대해 약 4 배의 메모리를 가지고있다 당신이 원하는 그 그래서 당신이 데이터의 공연을 사용하는 경우, 다음 약 4 기가 메모리를 사용할 수 있습니다 H2O-3 클러스터는 필요한 모든 일을 할 수 있습니다

그리고 이제 우리가 살펴 본다면 큐브 트는 포드를 가져옵니다 다시 한 번 살펴보면 여기에 몇 가지 배치가 있음을 알 수 있습니다 데모 버그가있는 것처럼 보입니다 아닙니다 kubectl는 포드를 얻는다, 거기에서 우리는 간다

거짓 경보입니다 이제 우리가 서비스를 보면 – svc – 당신은 실제로 볼 수 있습니다 그리고 우리는 사용 가능한 노드 밸런서를 가지고 있습니다 그것은 우리가 노출하는 포트를 전달하는 것입니다, 54321, 사용 가능한 다른 포트에 연결합니다 그래서 우리가 Kubernetes 주인에게 붙이면 여기에 우리가 필요로하는 포트를 추가하십시오

우리는 볼 수 있습니다 – 지금 이것은 기본적으로 물 흐름입니다 H2O를 실행하기위한 옵션 중 하나입니다 뿐만 아니라 R을 통해 실행할 수도 있습니다 또는 파이썬 해석기를 통해 기본적으로이 방법은 훨씬 더 많은 포인트 앤 클릭 방식을 제공합니다

데이터 수집 및 기계 수행 학습 연습 또는 기계 학습 실험 차이점은 파일 가져 오기를 클릭하기 만하면됩니다 또는 [프레임 가져 오기]를 클릭하거나 [예측], [ 실제로 그렇게 할 것입니다 너를 줄거야 코드는 모두 자기 구워집니다

그리고 실제로해야 할 일은 작은 매개 변수를 추가하는 것입니다 R이나 Python으로 작성하는 것이 아니라, 그래서 당신은 반드시 그 언어를 알 필요가 없습니다 자, 여러분이 파이썬 사용에 관심이 있다면, 그러면 파이썬 클라이언트가 있습니다 그리고 전 Jupyter 노트북을 미리 만들어 냈습니다 기본적으로, 당신이해야 할 일은 물을 가져 오는 것입니다, 그래서 이것은 로컬에 설치되어야합니다

그리고 물에서, 당신은 할 수 있습니다 – H2Oout에서 H2O AutoML을 가져 오겠습니다 그리고 이것은 AutoML 패키지 중 하나입니다 매우 심층적 인 그리드를 실행할 패키지 여러 알고리즘을 검색 가장 효과적인 것들을 찾기 위해서, 본질적으로 귀하의 데이터를 그래서 여기에서 우리는 실제로 물을 수입했습니다 – 실제로 H2O 흐름을 살펴볼 수 있습니다

여기에 내가 관리자를하고 클러스터 상태를 얻는다면 실제로 세 개의 노드가 연결되어 있음을 볼 수 있습니다 사용 가능한 메모리를 볼 수 있습니다 이전에 할당 한 메모리 양입니다 그리고 일단 여기에 연결되면 실제로 볼 수 있습니다

그래서 h2oinit 포트는 다음과 같습니다 포트를 다시 복사하여 붙여 넣기 만하면됩니다 또는 오히려 IP 및 포트,이 바로 여기에 있습니다 오, 우리가 간다

그래서 기본적으로, 이것은 미리 굽는 것입니다 그냥 클러스터라고 부르지 만 이름을 바꿀 수 있습니다 보시다시피, 3 개의 노드 – 총 여유 메모리 18에 가까운 집계 하지만 당신이 H2O-3에 최대 힙 메모리를 사용하지 않으려합니다 자바로 작성 되었기 때문입니다

그래서 Java는 실제로 실행하기 위해 약 10 %의 시간이 소요됩니다 그래서이 시점에서 당신은 연결되어 있습니다 그리고 기본적으로 같은 것을 할 수 있습니다 H2O Flow에서 할 수있는 것처럼하지만 파이썬 만 있으면됩니다 통역사

그래서 열차는 H2O와 같습니다 파일 가져 오기, 그러면 데이터를 얻을 수 있습니다 GCS에서 전달하면됩니다 GCS 커넥터가 있습니다 이제 이것은 오픈 소스 제품입니다

GCS 커넥터가 실제로 만들어집니다 외부로부터, 내가들은 것을, 곧 통합 될 것입니다 하지만 아시다시피 s3 커넥터가 있습니다 지역 출처뿐만 아니라 대부분의 H2O에 대해 공개적으로 사용할 수있는 한 어디서든 사용할 수 있습니다 연결하고 잡아라

지금은 불행히도 사소한 버그가있었습니다 우리가 이전에이 문제를 다루고 있었던 바로 오늘 아침에 데이터를 가져올 수 없었습니다 그러나 우리는 빨리 돌아볼 수 있습니다 우리의 실험에서 이미 끝나야 만합니다 유효성 검사 집합이 없습니다

따라서 유효성 검사 세트가 여기에있는 것 같습니다 필요한 열이 없으므로 실제로는 그냥 재방송을해야 할 것입니다 실험을 재실행 할 수도 있지만 가서 정말 빨리 설명 할 수 있습니다 우리는 그것을 통과하는 동안 빨리 이해할 수 있습니다

여기에있는 것은 두 개의 튜닝 노브가 있다는 것입니다 기본적으로, 정확도는 얼마나 높은가? 정확성을 평가하고 싶습니까? 따라서 10 점이 가장 높을 것입니다 하나는 가장 적을 것입니다 그리고 모델 자체는 실제로 이것을 바탕으로 만들어 져야한다 따라서 정확도를 낮게 설정하면 더 빠른 실행 우선 순위를 정할 것입니다

보다 간단한 모델을 만드는 것이 우선시 될 것입니다 시간도 어느 정도 다른 시간에 의존합니다 하지만 기본적으로 의미는 당신이 10 시간 동안 그것을 허용한다면, 그것은 당신이 영원히 달리는 것을 꺼리지 않는다는 것을 의미합니다 – 영원히는 아니지만 오랜 시간 동안 – 그러면 좀 더 복잡한 모델을 선호 할 것입니다 더 높은 정확도 이것이 Driverless AI가 우선시하는 것입니다

그리고 마지막으로, 해석 가능성이 있습니다 통역 가능성은 본질적으로 말하면, 10 XGBoost 모델의 누적 된 앙상블 모델 또는 어쩌면 하나 또는 아이디어는 신경망 또는 선형 회귀 – 그래서 선형 회귀가 더 해석하기 쉽다 그래서 당신의 해석력이 10 인 경우 – 대 하나 더 복잡한일지도 모른다 – 신경망 또는 누적 된 앙상블 여러 XGBoost 모델 중 따라서 실제로 무슨 일이 일어나고 있는지 볼 수 있습니다 그래서 지금 우리는 몇 가지 다른 차트를 가지고 있지만 기본적으로 이것은 당신이 얼마나 많은 양력을 얻고 있는지를 보여줍니다

정확도와 리콜 비교 분류입니다 당신의 바위 곡선의 그리고 이것은 여러 신기원에 걸쳐 있습니다 – 기계가 출력하는 성능 만 귀하의 유효성 검사 데이터 따라서 검증 데이터 세트에 컬럼이 누락되어 있기 때문에, 실제로는 교차 검증 분할을 수행 할 것입니다 그래서 기본적으로 훈련에서 벗어나는 부분입니다

각 반복마다 데이터 세트와 실행 유효성 검사 점수가 있습니다 이것이 바로 우리가 여기서 보는 것입니다 데이터 세트 만 가져가는 것이 아닙니다 그것 자체에 반복적으로 훈련하십시오 여기서 정말 멋진 부분은 가변적 인 중요성입니다

이것은 Vinod가 이전에 강조한 것입니다 근본적으로, 그것이 무엇인지는 당신이 한 쌍을 볼 수 있다는 것입니다 열은 Pay 1과 같습니다 이것은 실제로 정상 데이터 세트에 존재하는 컬럼이며, CVTE Pay 1과 같은 다른 데이터 세트도 있습니다 그것은 교차 유효성이 검증 된 대상 인코딩입니다

특정 열 – 나는 그것이 실제로 Pay 10이라고 믿습니다 실례합니다 이것이 교차 검증 된 대상 인코딩입니다 열 10 지불 차이점은 실제로 모델과 Driverless AI 자체에 의해 생성 된 – Pay 1과 비교하면 데이터 세트와 함께

그리고 이것은 매우 작은 데이터 세트이기 때문에, 그것은 꽤 빨리 훈련 된 것 같습니다 일단 완료되면 실제로 MOJO 또는 POJO로 출력 할 수있는 최종 모델을 교육하십시오 그래서 우리는 그것이 가고 있기 때문에 실제로 그것을 기다릴 수 있습니다 잠시 후에 끝내라 그리고 마지막으로, 이 훈련을받은 후에는 실제로 MLI를 실행할 수 있습니다

MLI는 기계 학습 해석 가능성 (Machine Learning Interpretability)의 약자입니다 그리고 그것이하는 일은 기본적으로 여러분이나 더 복잡한 모델을 필요로합니다 10의 정확도가 있다면 해석의 가능성이 1이라면 그 모델을 실제로 가져갈 수 있습니다 그리고 그것은 여러 번 실행됩니다 – 같은 선형의 여러 선형 보다 복잡한 XGBoost 모델과 일치하는 회귀 분석 후드 아래에서 당신이 실제로 무슨 일이 일어나고 있는지 볼 수 있습니다

추론과 결정을 보아라 우리의 더 복잡한 모델을 만들었습니다 대부분의 경우 특정 카테고리와 같이 재정적 인 수직 같이, 이것은 아주 중요 할 것입니다 그래서 여기에서 당신은 실제로 볼 수 있습니다 – 그래서 이것은 MLI가 될 것입니다 이 모델 해석을 클릭하면, 실제로 그것을 해석하기 시작할 것입니다

실행 중일 때 실제로 닫을 수 있습니다 그래서 MLI가 지금 운영 중입니다 실제로 실험으로 돌아갈 수 있습니다 봐봐 실험을 다운로드 할 수있는 곳입니다

요약, 일부 로그 다운로드 – MOJO 채점 파이프 라인을 만드는 경우 이 또는 POJO가 될 파이썬 채점 파이프 라인에서, 이 위치에서 배포를 얻을 수 있습니다 배포 할 수 있습니다 아마도 가장 좋은 장소는 클라우드에있을 것입니다 또는 Kubernetes에서 수요가 늘어날 수있는 곳 예측을 위해 그것을 사용할 수 있습니다 그래서 우리는 시간이 없어 보이는 것처럼 보입니다

그래서 저는 생각합니다 라이브 Q & A를 위해 계속 지켜봐주십시오 우리는 1 분 안에 돌아올거야 그리고 Q & A로 다시 오신 것을 환영합니다 그래서 첫 번째 질문 Kubeflow에서 어떤 기계 학습 플랫폼을 실행할 수 있는지, TensorFlow로 제한됩니까? 내 대답은 아니오 야

TensorFlow에만 국한되지 않습니다 사실, 나는 Kubeflow repo를 믿는다 이미 여러 패키지가 있습니다 거기뿐만 아니라, 포괄적 인 Caffe, Karas, 나는 믿는다, 기계 학습을 통한 심층 학습을위한 TensorFlow를 제공합니다 이것은 H2O가하는 일이며 Kubeflow에서 지금 실행 중입니다

아마 그렇게 될 것입니다 많은 기회가 있습니다 바로 여기에 H2O는 더 나은 것을 위해 그것을 활용 해 왔습니다 우리가 파트너쉽을 시작한 지 2 개월이 지난 후, 그것은 꽤 잘 돌아 간다

그래서 예, H2O-3는 기계의 또 다른 옵션입니다 Kubeflow에서 배우기 ANTHONY HYLICK : 다음 질문입니다 Kubeflow를 온 – 맨으로 돌릴 수 있습니까? 물론, 그것은 디자인의 일부였습니다 이식 할 수있는 무언가 분산 된 기계 학습에 적합합니다

온 – 프레미엄으로 운영 할 수 있습니다 미니 큐브를 통해 노트북에서 실행할 수 있습니다 클라우드에서 실행할 수 있습니다 Kubernetes가있는 곳이면 누구나 Kubeflow를 실행할 수 있습니다 우리가 가진 다음 질문은 무엇입니까? Kubeflow의 보안 개인 정보 보호 준수 클라우드에서 실행 중입니까? 이것은 VM 실행과 다른 것입니까? 추가 보안 또는 개인 정보 보호 관련 사항은 없습니다

그 Kubeflow 열립니다 따라서 사용자가 가지고있는 동일한 컨테이너 또는 VM 관련 문제가있는 경우, 이것들은 유지 될 것입니다 Kubeflow를 사용할 때 동일하게 유지됩니다 그리고 우리가 가진 마지막 질문은 – Gube에서 실행중인 Kubeflow와 함께 GPU / TPU를 사용할 수 있습니까? 물론, 두 GPU를 모두 사용할 수 있습니다 또는 작업에 필요한 TPU를 사용할 수 있습니다

당신이 끝내야 할 일, 또는 성과, 또는 당신이 겪고있는 정확성 이 경우 GPU와 TPU를 사용할 수 있습니다 니콜라스 PNG : 사실, 한 번 더 자세히 설명 할 수 있다면 2 번 질문에 그래서 Kubeflow와 함께 on-premade를 실행합니다 우리가 현재 작업하고있는 것들 중 하나 – 프로토 타입, 만약 네가 원한다면 – Kubeflow 팀과 실제로는 기회가 구름을 터트려, 온 프레미스에서 시작한다는 의미입니다

예를 들어 4 대의 기계 또는 3 대의 기계 또는 많은 그리고 수요가 자원의 양을 초과하는 경우 사용할 수있는 온 – 아마, 그럼 당신은 실제로 다른 GCP에있을 머신 그래서 GCE를 통해 그리고 그것은 Kubernetes 클러스터에 붙을 것입니다 Kubernetes 클러스터를위한 새로운 리소스 역할을합니다 그리고 나서 그것은 기본적으로 일류 시민이 될 것입니다

궁극적으로 한 번 리소스 하중이 감소된다 이것이 실제로 우리가 작업하고있는 것입니다 실제로 몇 가지 스크립트가 있습니다 H2O Kubeflow 레포에있는 이 프로토 타입의 종류입니다, 시간이 지남에 따라 계속 업데이트 될 것입니다 ANTHONY HYLICK : 그래, 절대적으로 구름에 터지다

동적 인 용량 증가를 가능하게한다 작업 부하가 필요할 때 감소합니다 니콜라스 PNG : 네 ANTHONY HYLICK : 그것은 Q & A를위한 것입니다 나는 다음 세션에서 계속 지켜봐야겠다

99 GPU가 아닌 문제 [음악 재생]

Google Cloud Platform Learning Lab with Tigran Terteryan

그것은 당신이 만든 함수를 덤프하지 않습니다 즉, 데이터베이스가 삭제 된 경우, 당신의 기능은 사라질 것입니다; 당신은 그들을 사용할 수 없습니다

다른 클라우드 플랫폼과 마찬가지로, Google 클라우드 제공 다양한 유형의 서비스 다양한 IT 인프라 그들의 서비스를 제공 할 수있다 Google Cloud Platform을 사용하여 실험실의 초점은 클라우드 기술이었습니다 학생들은 Google Cloud Platform에 대해 소개되었습니다 그들은 도구 인 gcloud를 사용했습니다 Google Cloud Platform에서 사용되었습니다

그 외에, 학생들은 반드시 Google에 묶여 있지 않은 다른 도구를 사용했습니다 리눅스 머신, 리눅스 운영 체제, 그들은 HTML, PHP, MySQL 데이터베이스, iptables 방화벽, 및 DNS 소프트웨어 도메인 이름을 설정하는 방법 연결 실험실 리더가받을 수있는 최상의 결과 학생들이 그들의 임무를 수행 할 때입니다 예상보다 훨씬 뛰어납니다 다시 같이 일하기를 바랍니다 미래에! 감사!

CES 2018: New LG OLED and Super UHD TVs will support Google Assistant by ThinQ AI Platform!

LG는 CES 2018 기간 동안 구체화됩니다 몇 가지 소식을 발표했다 곧 출시 될 OLED 슈퍼 UHD TV는 제조사의를 통해 구글 도우미 지원을해야합니다 ThinQ AI 플랫폼입니다

그러나 LG는 대신 말하는, 특히 구글 지원으로 가리 키지 않는 ThinQ이 허용됩니다 "타사 AI 서비스,"그것의 평면 중 하나의 이미지를 포함 화면에 표시 구글 도우미와 TV를 LG는 이달 CES 기간 동안 새로운 하이 엔드 텔레비전을 소개하지만, 거기합니다 변화에 대한 몇 가지 세부 사항은 회사가 만들었습니다 그들 사이의 새로운 상위 계층 텔레비전 회사의 ThinQ AI의 확장이다 모델 ThinQ,이 TV는 LG의를 통해 "음성 요청 수백"수비 할 수있을 것입니다 DeepThinQ 이 기술로 사용자를 검색 할 수 있습니다 메뉴 대신 음성을 사용하여 비디오

이 새로운 화재 TV 디바이스와 같은 방법으로 많은 일을한다 – 텔레비전 리모컨을 사용하는 마이크를 내장하고있다 ThinQ 전자 프로그램 가이드 (EPG) 서비스, 플랫폼도 사용 할 수 있습니다 지원 채널을 변경하거나 프로그램에 대한 정보를 얻는처럼 더 TV 중심의 일을 수행 실시간 또한 한 번 자체를 해제하려면 TV 말처럼 더 복잡한 명령을 수행 할 수 있습니다 현재 쇼가 종료되었습니다 LG는 새로운 TV의 일부가 120 할 수있는 새로운 알파 (9) 이미지 프로세서를 특징으로 할 것이다라고 말한다 프로세서는 또한 이전 하드웨어 감사보다 훨씬 더 색상이 가능 향상된 컬러 보정 알고리즘