Google AI with Jeff Dean: GCPPodcast 146

[음악 재생] MARK MANDEL : 안녕하세요 에피소드에 오신 것을 환영합니다

주간 Google Cloud Platform 팟 캐스트 번호 146 내 이름은 마크 만델 (Mark Mandel)이고, 나는 언제나처럼 여기에있다 내 동료 인 멜라니 워릭과 멜라니, 어떠니? 안녕, 마크 잘하고있어 잘 지내? 나는 잘하고있어

나는 아주 잘하고있다 오늘의 에피소드에 매우 흥분됩니다 멜라니 워릭 : 예, 이번 주 특히, 우리는 Jeff Dean과 함께 할 수있게되어 매우 기쁩니다 MARK MANDEL : 네 멜라니 워릭 : 너에 대해 들었을지도 모를 사람 Google과 AI에 대해 조금 알고있다

TensorFlow 및 TPUs 및 대형 데이터 시스템과 고양이에서 사용할 수 있습니다 [CAT PURRING] 너는 그 사람에 대해 들었을지도 모른다 MARK MANDEL : 고양이 네, 고양이 어쨌든, 모든 것

MARK MANDEL : 그것은 중요합니다 그래 좋아 멜라니 워릭 : 컴퓨터 시스템, 하드웨어 및 모든 것 그래서 우리는 그와 큰 대화를 나누었습니다 이 주제들을 많이 다루었습니다

네, 그렇습니다 멜라니 워릭 : 그러나 이유의 일부 왜 이번 주 인터뷰를했는지 이번 주는 Deep Learning이기 때문에입니다 Indaba, South의 Stellenbosch에서 일어나고 있습니다 아프리카

그리고 그것은 연구원들을 모으고 있습니다 아프리카 대륙 내의 여러 나라에서 온 지식을 공유 할 수 있습니다 제프 딘 (Jeff Dean)이 거기에서 말하려고합니다 나는 또한 에피소드를 녹음 할 예정이다 그래서, 우리는 조금 강조하고 싶었습니다

우리는 실제로 그것에 대해 팟 캐스트에 들어 가지 않습니다 나중까지,하지만 당신은들을 수 있어요 그가 이야기 할 내용을 들어보십시오 회의에서 언제나처럼, 우리가 그것에 들어가기 전에, 우리는 일주일의 멋진 것들로 시작할 것입니다

그리고 우리는 그주의 질문으로 끝날 것입니다 그리고 우리는 특별한 손님이 합류했습니다 우리는 그주의 질문을 돕기 위해, IoT 코어에서 표시 할 데이터를 얻는 방법 웹 프런트 엔드에서 실시간으로? MARK MANDEL : 예, 우리는 Gabe Weiss를 오늘 우리와 함께합니다 GABE WEISS : 안녕, 친구 멜라니 워릭 : 그럼, 시작하자

일주일의 시원한 것들, 내가 잡은 것 Google이 최근에 베타 데이터 세트 검색을 실시한 것입니다 그래서 저는 이것을 실제로 잡았습니다 Ben Hamner, Kaggle의 CTO 인 CTO는 오늘이를 트윗했습니다 그리고 구체적으로 그는 어떻게 알았습니까? 이렇게하면 열린 데이터 세트에서 메타 데이터를 색인화하는 데 도움이됩니다 사람들에게 매우 유용해야합니다

연구자와 공개 데이터 세트에 관심이있다 그들을 탐험하고 싶다 그래서 우리는 그것에 대한 링크를 포함시킬 것입니다, 그러나 그것은 꽤 많이 있습니다 검색 도구 Google 검색 도구로 데이터 세트에만 사용됩니다

MARK MANDEL : 굉장해 나는 내가 좋아했던이 정말로 냉정한 것에 대해서 이야기하고 싶었다 우리는 공개 데이터를 확대하고 있습니다 지형 공간 및 ML 기반 분석을위한 세트 클라우드에서 다시 들었을 수도 있습니다

BigQuery 스토리지 5 페타 바이트를 추가로 발표했습니다 공개 데이터 세트에 사용할 수 있습니다 블로그 포스트에서 우리는 쇼 노트에 링크 할 것이고, 우리는 또한이 추가 저장 장치가 향후 5 년 동안 사용할 수 있습니다 정말 멋지다 다음부터는 7 개의 새로운 데이터 세트가 탑재되었습니다

미국의 경계를 정의하는 우편 번호 같은 것들과 같은 것들에 의해, 기본적으로 지형 공간 질의를 지원합니다 그래서 우리는 당신을 위해 거기에 새로운 데이터를 가지고 있습니다 지형 공간 작업 수행, ML 기반 분석 수행 이제 BigQuery에서 사용할 수있는 새로운 ML 툴킷을 사용하십시오 그리고 만약 당신이 그 중 하나를 이용하고 싶다면, Google Cloud Platform으로 이동하십시오 시장

이동할 수있는 데이터 세트 필터가 있습니다 그리고 마지막으로, 우리는 당신을 위해 약 101 개의 다른 공개 데이터 세트가 있습니다 BigQuery에서 재생할 수 있습니다 그리고 테라 바이트까지 쿼리 할 수 ​​있습니다 BigQuery에서 무료로 제공됩니다

꽤 놀랍습니다 멜라니 워릭 : 우리가 언급하고 싶은 또 다른 것, 다시 Kaggle과 Google AI를 참조하면서, Kaggle을 통한 새로운 도전이 있다는 것입니다 Google AI가 게시 한 사용자와 Kagglers를 격려하기 위해 거기 밖으로있는 모델을 개발하기 위해 데이터 세트에 존재하는 사각 지대에보다 강하다 우리는 과거에 이것에 대해 이야기했습니다 많은 사람들이 기계 학습 편견과 공정성에 대해 논의합니다

특히, 당신도 알다시피, 정말로 유래합니다 데이터 자체와 데이터가 실제로 어떻게 될 수 있는지 네가 모은 것에 편향되다 그러면 이것이 어떻게 구축 된 모델에 영향을 미칠 수 있는지에 대한 것입니다 그래서 그들의 도전은 구체적입니다 그것을 설명하기위한 기술과 접근법을 확인하는 것을 돕는다

병을보다 견고하게 만들 수 있습니다 이 과제는 특히 두 단계로 실행되도록 설정됩니다 그들은 웹 사이트에서 정보를 얻었습니다 우리는에 대한 링크를 유지할 것입니다 그러나 그것은 NIPS의 시간을 감싸 할 것입니다

올해 12 월 말입니다 그래서 그걸 확인하고 실험해볼 수 있습니다 마크 AND델 : 훌륭합니다 나는 또한 우리가 톱 100을 조사하고 있었다는 것을 언급하고 싶다 최근 아이튠즈에서 포드 캐스트 기술을 선보이고있다

[트럼펫 게임] 멋진 데요 듣고있는 모든 사람들에게 진심으로 감사드립니다 iTunes에서 우리를 평가 한 사람들, 기본적으로 팟 캐스트를 지원했습니다 그것은 정말 좋은 작은 일입니다 멜라니 워릭 : 네

그리고 마지막으로,하지만 적어도, 당신이 원한다면 깊은 학습을 위해 TPU가 미세하게 조정 된 이유를 알고 싶다면, 우리는 공유 할 블로그 게시물을 가지고 있습니다 당신이 이것을 들여다 볼 수 있습니다 그리고 우리는 이것이 특히 중요하다고 생각했습니다 오늘의 에피소드와 관련성이 있습니다 그러나 그것은 신경망이 무엇인지를 단계별로 안내합니다

TPU 작동 방식을 안내합니다 CPU와 비교할 때 유용합니다 그리고 멋진 그래픽을 볼 수 있습니다 너를 밟아서 좋은 일을해라 시각적으로 보입니다

좋아요 멜라니 워릭 : 그리고 일부 가격 정보 하단에도 마크 멘델 : 아주 멋지다 알았어, 마크 나는 우리가 나아가서 그것에 들어가야한다고 생각합니다

제프와 좋은 인터뷰를했습니다 MARK MANDEL : 친구 인 Jeff와 이야기하러 가자 멜라니 워릭 : 네, 제 친구 우리는 카드를 사용합니다 우리와 함께 오늘 제프 딘 (Jeff Dean) Google AI를 이끌고 있습니다

제프와 함께 해주셔서 감사합니다 제프 딘 : 저를 아주 많이 보내 주셔서 감사합니다 멜리안 워릭 : 제프, 제 말은, 많은 사람들을 알고 있습니다 네가 누군지 알아 그러나 우리는 항상 모든 사람들에게 누가 쇼에 나와서 자신에 대해 조금 말하면서, 당신의 배경은 무엇입니까? 물론이지

따라서 현재 Google의 AI 부서를 이끌고 있습니다 내부적으로 Google은 Google Research and Machine 지능형이지만 외부 적으로는 Google AI를 사용할 수 있지만, 우리가 누구에게 말하는지에 따라 그리고 그 조직은 많은 다른 종류를합니다 컴퓨터 과학 연구 근본적인 연구를하고 있습니다

새로운 로그와 새로운 기법을 만들어 문제를 해결합니다 Google은 Google 제품 영역에서 상당한 업무를 수행합니다 흥미로운 연구 문제를 해결하기 위해 제품의 맥락에서 우리 연구의 종류를 얻는다 모두가 알고 사랑하는 Google 제품으로 사용합니다 우리는 또한 일종의 시스템에 대해 좀 더 많은 작업을 해왔습니다

우리 연구를 가능하게하는 인프라, 하지만 내부 개발자가 사용할 수있는 도구를 만들 수도 있습니다 Google뿐 아니라 외부 개발자 우리가 소스 물건을 열 때 그래서 TensorFlow는 우리 그룹에서 나왔습니다 인기있는 기계 학습 툴킷입니다 우리는 이것이 실제로 확장하는 좋은 방법이라고 생각합니다

우리가하고있는 연구의 영향, 사람들이 그 다음에 작업을 쉽게 할 수 있도록하는 것입니다 우리가하고 있고 좋은 도구를 사용할 수 있습니다 그리고 네 번째 종류의 것 우리가 일반적으로하는 일은 Google 현재 우리 연구가 할 수 있다고 생각하는 곳에서 일하지 않습니다 큰 영향 그래서 우리는 일종의 기계에 대해 많은 연구를 해왔습니다

건강 관리를위한 학습, 로봇 공학을위한 기계 학습, 우리는 그러한 것들이 새로운 떠오르는 분야라고 생각하기 때문에 기계 학습 및 연구 큰 차이를 만들 것입니다 멜라니 워릭 (MELANIE WARRICK) : 당신 팀이하는 일의 관점에서, 너에게 어떤 의미가 있니? 그리고 그것은 당신을 위해 어떻게 생겼을까요? 이제는 – 이것이 아주 새로운 입장이라는 걸 알기 때문에, 당신이 Google AI의 리더로서 어느 정도까지 올해 말이야, 그렇지? 네, 그렇습니다 저는 3 월 말, 4 월 초에이 역할을 맡았습니다 기본적으로 우리의 위대한 연구자들에게 영감을주는 것이 목표입니다 훌륭한 연구를하고 태클을하기 중요한 야심적인 문제들

우리가 일해야한다고 생각해 월요일 코딩을 보내고 있습니다 오, 와우 제 동료 : 산 제이 Ghemawat, 나는 오랫동안 함께 일해 왔습니다 나는 아마 4 ~ 5 개의 다른 프로젝트를 갖고있을 것입니다

나는 실제 기술 수준에서, 주간 회의에 참석하는 곳 기술적 제안 등을하십시오 그리고 나서 나머지 시간은 보냈습니다 합리적으로 큰 조직을 조종하려는 종류 올바른 일을하고 확실하게하기 우리는 올바른 문제에 집중하고 영향력을 행사할 수 있습니다 MARK MANDEL : 굉장해 멜라니 워릭 : 나는 궁금한데, 무엇을 코딩하고 있니? 제프 딘 : 대부분 C ++

오, 재미 있네 그래서 나는이 질문을하는 것을 좋아한다 AI와 ML에서 일하는 사람들에게, 우리가 다양한 대답을 얻었 기 때문입니다 AI가 당신에게 의미하는 것은 무엇입니까? 제프 딘 : 기본적으로 문제를 해결할 수있는 컴퓨터 시스템을 가질 수있다 당신은 인간의 지능이 필요하다고 생각할 것입니다

Mark MANDEL : 사실 그것은 우리가 가진 가장 간결한 대답 멜라니 워릭 : 예, 꽤 간단합니다 글쎄, 당신이하는 일의 관점에서, 당신은 무엇을합니까? 당신이하는 가장 큰 도전 과제 중 하나라고 생각합니다 반대? 제프 딘 : 정말로, 그것은 흥미로운 시간입니다 컴퓨터 과학 연구 분야에 종사하다 기계 학습 연구 이 분야에 대한 관심이 폭발적으로 증가하고 있습니다

마지막으로 아마 7 ~ 8 년 동안, 공동으로, 연구 공동체로서, 우리는 컴퓨터가 할 수있는 것을 정말로 추진해 왔습니다 나는 이것이 컴퓨터 비전에서 가장 눈에 띄는 종류라고 생각한다 근본적으로 깊은 학습을 사용하는 분야 컴퓨터 비전 모델이 갑자기 컴퓨터를 변형 시켰습니다 지금부터 잘 볼 수 없다는 것에서 실제로 볼 수 있습니다 그리고 세계에 대한 영향을 생각한다면 가지고있을 것이고 이미있다

그게 변형 적입니다 갑자기 자동화 된 기계를 가질 수 있습니다 그들 주위의 세계를 인식 할 수 있고, 그들이 무엇을보고 있는지 이해할 수 있습니다 그리고 그것은 일반적인 컴퓨터 비전에 큰 영향을 미칩니다 따라서 많은 경험을위한 핵심 원동력입니다

Google 포토는 Google 사용자에게 제공됩니다 우리는 그것이 도버맨 (doberman)의 그림이라는 것을 이해할 수 있습니다 그리고 그것은 산이다 그러나 그것은 또한 건강 관리에서 변형적인 것을 의미합니다 따라서 수 많은 영상 의학 관련 문제 이제 자동화 된 기계로 다룰 수있는 일종의 태클이다

알고리즘 학습 및 지원 그런 식으로 의료 전문가의 일종 멜라니 워릭 : 네 로보틱스, 아주 분명합니다 로봇을 만들고 싶다면 매우 도움이됩니다 로봇이 볼 수 있다면

멜라니 워릭 : 네 그래서, 큰 의미가 있습니다 그리고 나는 우리가 중대한 진전을 이루고 있다고 생각한다 기계 학습과 관련된 다른 분야에서, 자연어 이해와 연설 같은 것들 인식 지난 6 ~ 7 년 동안 엄청난 발전을 보았습니다

연령 그리고 그것은 정말로이 모든 기회가 있음을 의미합니다 우리가 어떻게 이러한 새로운 기능을 사용해야하는지에 대해 세상에 영향을 미치고 더 나은 곳으로 만들기 우리가 이전에 만들 수 없었던 새로운 것을 만들어야합니다 그리고 그것이 흥분이라고 생각합니다 그리고이 분야를 연구하는 데있어 사람들은이 분야에서 연구를합니까? 더 많은 사람들이 어떻게이 분야에 들어가 연구를 할 수 있을까요? 멜라니 워릭 : 그래서 우리는 올해 초에 Fei-Fei Li 박사와 클라우드 인공 지능을 둘러 봤습니다

우리는 너무 오래 전 DeepMind에서 Raia Hadsell과 이야기를 나누었습니다 일부 로봇 연구에 대해 이야기했습니다 그들이하는 일 Brain과 Google AI는 어떻게 협력합니까? 다른 그룹들과? 네 맞습니다

따라서 우리는 실제로 강력한 협력 관계를 유지하고 있습니다 모든 Google 및 전체에 걸쳐 많은 분야에서 알파벳의 예를 들어 클라우드 AI에서는 그들이 시장에 내놓는 일종의 Google AI Research에서 연구 프로젝트로 시작되었습니다 분할 그리고 우리는 지금 긴밀히 협력하고 있습니다

AutoML 연구와 같은 것들을 가져 오려면 클라우드 AutoML, 현재 컴퓨터 비전 또는 다른 종류의 고객 어쩌면없는 문제들 직원이 정교한 기계 학습 개발자 그러나 활용할 수 있기를 원한다 현재 존재하는 기계 학습 기능 중 자동으로 훈련하고 배울 수있는 시스템을 갖추고있다 고객이 가질 수있는 새로운 문제를 해결할 수 있습니다 어셈블리에 깨진 부품이있을 수 있습니다 라인과 깨진 부분이 아니며 구별 할 수 있기를 원한다

그리고 그들은 기본적으로 그 이미지들을 업로드 할 수 있습니다 그 (것)들을 돕는 훈련 한 모형을 얻으십시오 그 특별한 일로, 심지어 가질 필요없이, 일종의, 마스터 레벨 머신 직원에 대한 학습 전문가 멜라니 워릭 : 의미가 있습니다 특히 열정의 분야 중 하나를 알고 있습니다 그리고 당신이 중요한 영향을 미쳤던 곳에서, 특히 텐서 처리 장치 (TPU) 주변에 있습니다

처음 개발을 추진하거나 고무시키는 요인 TPUs의? 그리고 전에 네가이 대화를 나눴다는 것을 안다 하지만 아시다시피, 특히 당신의 경험에서 네가 따라 와서 시작하는 기술로 그게 너 한테 왔니? 네 맞습니다 그래서 저는 항상 컴퓨터가 어떻게 흥미로운 문제를 해결하십시오 그리고 그 일을하는 흥미로운 방법 중 하나는 당신이 할 수있는 문제에 더 많은 계산을 필요로한다

더 정교한 알고리즘을 사용하십시오 또는 더 큰 데이터 세트를 사용하여 더 나은 통찰력을 이끌어 낼 수 있습니다 따라서 더 많은 계산을하는 것이 일반적입니다 컴퓨팅에서 좋은 점 그리고 어쩌면 2011 년, 2012 년경에, 내가 공동 설립 한 Google Brain Project 시작하기 만하면 시작했습니다

여러 제품 팀과 공동 작업 Google에서 일부 제품에 대한 심층 학습을 사용합니다 그리고 우리가 가장 긴밀하게 협력 한 음성 인식 팀이 더 오래된 스타일의 기계 학습 모델의 종류 음성 인식에 사용하고 있었다 그것의 어쿠스틱 부분에 대한 깊은 학습 기반 모델이 있습니다 모델의 일부분은 매우 작은 오디오 녹음에서 단어의 일부로 이동합니다 "buh"또는 "fff"또는 "sss"입니까? 그래, 맞아

제프 딘 : 그리고 다른 모델이있었습니다 처음에는 집중하지 않았고 처리의 그 단계 후에 종류 그러나 어쿠스틱 모델을 깊은 학습 기반으로 대체하는 것은 음향 모델은 인식 정확도에서 많은 이득을 얻었다 그래서 우리는 음성 인식이 향상됨에 따라, 사람들은 점점 더 그것을 사용할 것입니다 그래서 나는 백 앤 더 봉투를 만들기 시작했습니다

사람들이 말하기 시작하면 어떻게 될까? 하루에 3 분간 전화를 걸 겠지? 연설로 모든 이메일을 초안으로 작성하기 때문에 또는 뭔가 그리고 당시에는 많은 CPU가있었습니다 우리의 데이터 센터에서 그리고 얼마나 많은 계산을했는지 1 억 명의 사용자가 그 일을 시작 했어 사실 그건 발굴과 무서운 종류

기본적으로 컴퓨팅 풋 프린트를 두 배로 늘려야합니다 약간 더 나은 연설처럼 지원하기 위해 Google의 사용자의 적당한 부분에 대한 인식 모델 MELANIE WARRICK : 합법적 인 것 같습니다 네, 조금 무서운 것 같아요 그래, 맞아

제프 딘 :하지만 우리가 그걸 배포하고 싶은 것이 분명합니다 인식 정확도의 향상 사실 꽤 중요합니다 그래서 우리는 잘 보았습니다 우리는 이러한 종류의 심층 학습 모델을 위해 무엇을 할 수 있습니까? 그것은 계산 상 효율적일까요? 그리고 정말 좋은 두 가지 속성이 있습니다 깊은 학습 모델에는 있습니다

그래서 처음에는 정밀도가 떨어지는 것에 매우 관대합니다 근본적으로, 당신이 정밀도를한다면 정확도의 10 진수 한 자리까지 이것은 실제로이 모델들에 대해서는 완벽하게 훌륭합니다 6 자리 또는 7 자리의 정밀도가 필요하지 않습니다 부동 소수점 연산이나 심지어는 이중 조합에서 더 많은 것 그리고 그들이 가지고있는 두 번째 재산 모든 알고리즘이 구성되어 있다는 것입니다

빌딩 블록의 소수의 다른 구성의, 근본적으로 행렬 곱하기, 벡터 점 제품 선형 대수학 작풍 따라서 하드웨어 만 만들 수 있다면 저 정밀도, 선형 대수학, 당신은 황금이에요 그리고 그 덕분에 당신은 정말로 재단사가 될 수 있습니다 그걸 할 수있는 하드웨어 그것은 모든 종류의 twisty branch-y C ++ 코드를 수행 할 필요가 없습니다

임의의 것들, 포인터 역 참조, 단지 저 정밀도 선형 대수학, 갑자기 당신은 완전히 디자인 할 방법을 다시 생각할 수 있습니다 그 일을하는 컴퓨터 MARK MANDEL : 정확히 무엇에 집중했는지 그것이 할 수 있는지, 특정 응용 프로그램이 있음을 의미합니까? TPU가 더 좋거나 나쁘다 네가 뭔가를 사용할 수 있다고 또는 어떻게 작동합니까? 네 맞습니다

그래서 이것은 양날의 칼 중 하나입니다 전문 분야가 지나치게 전문화되면 일반적으로 적용 할 수 없습니다 그러나 당신이 무언가를 매우 일반적으로 적용 가능하게 만든다면, 다음 모든 성능 이점을 얻을하지 않습니다 전문화에서 얻을 수 있습니다 그리고 우리는 실제로 TPU에 대해 꽤 좋은 균형을 택했다고 생각합니다

그들은 본질적으로 가속하도록 설계되었습니다 깊은 학습에서 발견 한 것과 정확히 같은 종류의 작업 모델 따라서, 그들은 범용 일종의 전산 장치가 아닙니다 그러나 그들은 특정 모델에 맞춰져 있지 않습니다 그들은 모든 종류에 맞춰져있다

일반적으로 깊은 학습 모델을 발견 할 수 있습니다 그래서 당신은 그들에 비전 모델을 실행할 수 있습니다 음성 모델을 실행할 수 있습니다 반복적 인 언어 모델을 실행할 수 있습니다 최초의 TPU 인 TPU v1이 목표였습니다

오직 추측에서만, 당신이 실제로 어디에서 교육 과정보다 정확도가 떨어집니다 그리고 그것은 우리의 가장 시급한 문제였습니다 그것이 음성 인식 모델을 얻는 방법이었습니다 Google의 데이터 센터 공간을 두 배로 늘리지 않고도 그리고 나서 두 번째 TPU는 정말로 훈련과 추론을 모두 목표로합니다 그리고 우리가 그걸 처음부터 물지 않은 이유는 그 훈련은 훨씬 더 복잡한 하드웨어 디자인이었습니다

문제 추론을 위해서, 보통 당신 단일 모델이되도록 설계 할 수 있습니다 하나의 칩에 적합합니다 그리고 더 많은 용량이 필요하다면 그 시스템의 사본을 많이 넣고 많은 컴퓨터의 많은 보드, 갑자기 많은 음성 인식 기능이 있습니다 생산 능력

교육을 위해 대형 모델에서는 거의 사용하지 않습니다 당신은 하나의 칩을 충분히 빨리 얻을 수 있습니다 매우 빠른 모델을 훈련 그리고 당신이 정말로 훈련에서 원하는 것 기계 학습 실험을위한 빠른 처리 시간입니다 또는 거대한 확장 성을 제공하므로 매우 큰 모델을 매우 대용량 데이터 세트는 매우 신속하고 연구 관점에서 기계를 반복 할 수 있습니다

또는 배포 된 시스템, 알다시피, 당신은 10 분마다 모델을 재교육하고 싶을 수도 있습니다 데이터가 변경되기 때문입니다 칩 설계 문제 만은 아닙니다 실제로는 전체 컴퓨터 시스템입니다 슈퍼 컴퓨터 디자인 문제와 비슷합니다

당신은 칩을 가지고 있고 그 다음에 칩을 가지고 있습니다 복잡한 상호 연결이있다 그것들을 서로 연결합니다 이 거대한 것을 어떻게 식히는 지에 대한 냉각 문제가 있습니까? 여러 개의 랙으로 구성됩니다 그래서 우리가 첫 번째 시스템에서 그 것을 물지 않은 것입니다

TPU의 두 번째 반복까지 기다리기로했다 교육에도 착수하는 디자인 멜라니 워릭 : 그리고 당신은 올해 버전 3을 발표했습니다 TPUs의뿐만 아니라 네

네 멜라니 워릭 : 그리고 나는 기억하고있다 그 냉각 시스템, 이제 액체 야? 네 팬시 제프 딘 : 그러니까, 네, 예, 예, 예, 그것은 환상적이다

컴퓨터와 물을 섞을 때마다 언제나 흥미 진진합니다 [웃음] 그래서 Sundar가 Google I / O에서 발표 한 TPU v3 2018 년 5 월에 근본적으로 물이 냉각되었습니다 그래서 보드에는 4 개의 칩이 있습니다 그리고 물의 냉각 종류가 간다 이 칩의 표면에 과도한 열을 빼앗아 간다

가장 큰 설치 면적 – 우리는 이것들을 포드라고 부릅니다 TPU v2 포드는 기본적으로 구성되었습니다 64 개 장치 중 256 개 TPU v2 칩 그리고 TPU v3의 포드 스케일은 훨씬 더 큽니다 그래서 우리는 약 8 배의 계산량을 가지고 있습니다 우리가 TPU v2 포드에서했던 것처럼 TPU v3 포드에서

너의 팀에있는 몇명의 사람들을 안다 특히 Stanford DAWNBench를 실행하고있었습니다 그들은 차이점을 보여주었습니다 그것의 성과의 점에서 지금 당장 ImageNet과 같은 모든 것들이 내 머리 속으로 들어갑니다

그러나– 나는 그렇게 부른다 멜라니 WARRICK : – 대황 벤치 – 제발 JEFF DEAN : DAWNBench는 새로운 기계 학습입니다 벤치 마크는 스탠포드, 설계된 DAWN 연구 그룹 다양한 종류의 기계를 보는 것 학습 문제, 훈련과 추론, 그리고 측정 몇 가지 다른 통계 그래서 그들 중 하나는 특정 기계 학습을위한 것입니다

문제, 특정 수준의 정확성에 얼마나 빨리 도달 할 수 있습니까? 그것은 그 문제에 대한 정확도의 좋은 수준입니까? 그리고 그 중 하나는 ImageNet 처리 벤치 마크이며, 어디에서 76 % 1 위의 정확도를 얻어야합니다 MELANIE WARRICK : 그리고 이것은 이미지를 분류하는 것입니다 제프 딘 : 이미지 분류, 맞아 MELANIE WARRICK : ImageNet은 매우 좋습니다 네, 그렇습니다

멜라니 워릭 : 그리고 이것은 당신이 – 당신은 컬러 이미지를 얻습니다 그것을 1,000 개의 범주 중 하나로 분류해야합니다 그것의 실제로 꽤 어려운, 인간의 오류율 1 위의 정확도는 약 5 %입니다 오, 와우 제프 딘 (Jeff Dean) : 개 품종이 40 종류 나되었으므로, 너는 구별 할 수 있어야한다

마크 맹델 : 그럼 TPU가 꽤 괜찮은 것 같아요? 네, 그래서 TPUs는 3 위를 차지했습니다 포드 (Pod)를 사용한 전체 시간 메트릭의 스팟들 그리고 나서 상위 두 곳은 비용으로 생각합니다 퍼블릭 클라우드 컴퓨팅 리소스를 사용합니다 멋지다

WARRICK : 멋지다 자,이 칩들과 함께 일하는 것에 대해 가장 즐기는 것은 무엇입니까? 그리고 병렬 처리 작업? 제프 딘 : 사실 나는 흥분했습니다 꽤 오랜 시간 동안 병렬 처리에 대해, 대학에서 내 고등학교 1 학년 때부터 미네소타에서 병렬 처리 그리고 그 당시 저는 그것에 정말로 흥분했습니다 왜냐하면 나는 더 많은 계산이 답이라고 느꼈기 때문에 더 많은 문제를 해결할 수 있습니다

그리고 이것은 흥분의 첫 번째 물결에서 일종의 것이 었습니다 80 년대 후반에 발생한 신경망에 대해 새로운 알고리즘이 개발 된 90 년대 초반 잠재적으로 처음으로 부상했을 때 어려운 문제를 해결하는 흥미로운 방법 그리고 그 당시, 기본적으로 신경망 장난감 크기의 문제에 대한 흥미로운 결과를 얻을 수 있습니다 정말 재미있는 문제의 규모가 아닙니다 그래서 이것에 대한 흥분의 물결이있었습니다

그러나 그때 흥분의 물결 속에서, 나는 더 많은 계산을 느꼈다 시키는데 도움이 될 것 같았 어 우리는 더 큰 문제를 해결합니다 그래서 저는 교수와 함께 일하는 학부 논문을 만들었습니다 병렬 및 분산 컴퓨팅 클래스를 가르쳤다

나는 독립적 인 논문을 만들었다 신경망의 병렬 교육 그래서 우리가 64 프로세서를 사용할 수있는 것처럼 느껴졌습니다 우리가 부서에 있던 기계와 그것에 평행 방법을 적용하면 우리가 알 수 있습니다 이러한 것들에 적용된 60 배 이상의 계산, 그리고 우리는 더 큰 문제를 확장하고 다룰 수있었습니다 되돌아 보면, 우리는 백만 배나 더 많은 계산이 필요했습니다

60이 아닙니다 근본적으로 무어의 법칙을 기다리고 있다면 적어도 5 ~ 10 년 전까지 만해도, 무어의 법칙 상당히 느려졌다 하지만 그 전에는 25 년, 40 년, 심지어 우리는 일관된 2 배 성능을 얻고있었습니다 개선 2 년마다 너는 충분히 오래 기다린다

갑작스러운, 짜잔, 백만 배나 많은 계산 그리고 당신은 황금이에요 그리고 그것은 2008 년, 2009 년에 시작된 일종의 것입니다 우리는 갑자기 충분한 계산량을 얻었습니다 게임용으로 설계된 GPU 카드를 사용하여, 그러나 분명히 훈련에 아주 유용하다고 판명되었습니다

깊은 학습 모델, 왜냐하면 당신이 많이 가속하기 때문에 그래픽 처리를 원한다 깊은 학습 모델을 훈련 할 수있는 것으로 밝혀졌습니다 그래서 학계에있는 사람들이 우리가 시작했다는 것을 정말로보기 시작했다 실제 문제에 대한 흥미로운 결과를 얻기 위해 신경망 그래, 맞아

제프 딘 : 그러니까 흥분이있었습니다 백업을 구축하기 시작했습니다 멜라니 워릭 : 가장 힘든 일은 무엇인가요? 당신의 경력에 ​​부품? AI가 잘 받아 들여진 것 같지 않았습니다 그 사이에 수년간 공부할 때 수년 동안 2006 년 말이 맞지? 그래서 가장 어려운 순간들은 무엇 이었습니까? 이 관심을 추구하는 측면에서, 이 연구를 추진하고 있습니까? 네 나는 사실이 종류의 일반적인 컴퓨터 시스템으로 온다

사람 그래서 저는 렌즈의 종류를보고 싶습니다 나는 문제를 일으킨다 흥미로운 문제가있다 우리가 컴퓨터 시스템을 어떻게 구축 할 수 있는지 알아 보겠습니다

그 문제를 해결하기 위해 종종 관련이 있습니다 계산 표현을위한 좋은 추상화 우리는 많은 양의 계산을 수행하거나 사용하려고합니다 병렬화하거나 배포하는 방법 알아보기 많은 컴퓨터에서의 계산 그래서 우리는 경쟁을 확대 할 수 있습니다 그래서 저는 학부생으로 일하고 있었지만 신경 네트워크의 병렬 학습 나는 그것의 관점에서오고 있었다 어떻게 할 수 있는가? 우리는 이것을하기 위해 컴퓨터 시스템을 만들었습니까? 그리고 나서 다시 돌아 오기 시작했습니다

2011 년 기계 학습에 관심 Andrew Ng와 충돌했을 때 구글의 마이크로 키트 – 멜라니 워릭 : 그것은 말할 것입니다, 그 이야기는 당신이 마이크로 키친에 있었습니까? 네, 그렇습니다 그래서, 나는 그를 조금 알았고 그래서 나는 말했다 오, 너 여기서 뭐하고 있니? 그는 오, 나는 구글 X에서 일주일을 보낸다 나는 아직 내가 여기서 뭘하고 있는지 알지 못했다 하지만, 알다시피, 스탠포드에있는 제 학생들 어떤 종류의 문제가 있는지보기 시작했습니다

신경망으로 해결할 수 있습니다 꽤 좋은 결과를 얻었습니다 나는 오, 정말? 꽤 괜찮은데 나는 학부생으로서 신경망에 대해 약간의 연구를했다 나는 그들이 지금 정말로 일하고 있다고 말했다

그리고 그는 좋아, 그렇습니다 그래서 저는 우리가 정말로 큰 신경망을 훈련해야한다고 말했습니다 그래서 그것은 일종의 기원이었습니다 구글 브레인 프로젝트를 어떻게 구성 할 것인가에 대한 그렉 코라도와 그리고 우리는 근본적으로 그 당시 가속기가 없었습니다 또는 데이터 센터

그러나 우리는 컴퓨터가 아주 많다고 말했습니다 컴퓨터 시스템을 만드는 방법을 알아 봅시다 정말로 큰 신경망을 훈련 시켜라 멜라니 워릭 : 이것을 활용합시다 제프 딘 : – CPU 사용

MARK MANDEL : 그래서 당신이 좋아하는 순간, 이것은 정말로 큰 일이 될 것입니다 그렇게 생각하니? 제프 딘 : 너도 알다시피, 일단 우리가 조금 더 일했으면, 어쩌면 또 다른 달 물에 빠진 것 같았 어 그게, 헤이, 우리는 실제로 사람들이 신경망을 사용하여 문제를 해결할 수 있습니다 오랫동안 올바른 추상화를 느꼈다 하지만 어쩌면 그들은 진짜 문제에서 갑자기 일하기 시작할 것입니다

우리가 많은 계산을 적용 할 수 있다면 그리고 그것은 정말로 제 많은 관심사였습니다 지난 6 ~ 7 년 동안 어떻게 문제를 계산할 수 있을까요? 당신은 기계 학습으로 태클하고 싶습니다 특히 깊은 학습 멜라니 워릭 : 그래서, 우리는 오늘 이것을 기록하고 있습니다

신경 정보 처리 시스템 회의 이후 – 제프 딘 : NIPS 멜라니 WARRICK : – 밖으로 나와 네, 그렇습니다 멜라니 워릭 : 11 분, 몇 초 만에 제프 딘 : 48 세

멜라니 워릭 : 48 초 제프 딘 : 11 분 48 초 예 멜라니 워릭 : 예를 들어 이것을 사용하고 있습니다 이 분야에는 많은 흥미 진진한 이야기가 있습니다

이 모든 흥분에 대해 어떻게 생각하세요? 알다시피, 과장된 과대 광고가 있습니다 그러나 다른 한편으로, 과대 광고, 그것의 일부 실제로 정당화됩니다 왜냐하면 우리는 이제 실제로 우리가 할 수없는 문제를 해결할 수있는 시스템을 만들 수있다 5 년 또는 10 년 전에 해결하십시오 나는 컴퓨터 비전에 대해 언급했다

음성 인식은 엄청나게 발전했습니다 번역이 향상되었습니다 이러한 종류의 많은 응용 프로그램 실질적인 개선 또는 새로운 기능을 보여주었습니다 어떤 컴퓨터가 할 수 있는지 그래서 나는 그것이 사람들이 흥분하고 많은 사람들로 이루어진 이유 중 일부라고 생각합니다

많은 사람들이 들판에 들어 오기를 원합니다 그래서 기계 학습 수업에 등록하는 것을 보았습니다 학부 및 대학원 레벨 그냥 지붕을 통과합니다 주요 기계를 다니는 사람들이 점점 더 많아지는 것을 보았습니다 회의를 배우기

연구 논문의 수를 봅니다 실제보다 빠른 지수 비율로 성장하는 아카이브 지난 7 ~ 8 년 동안 무어의 법칙보다 그것은 아주 주목할만한 일입니다 그리고 알다시피, 나는 성질을 나타내는 것이 중요하다고 생각한다 우리가 생각하는 사람들의 기대 문제를 해결할 수있는 초 지적 지능을 갖게 될 것입니다 인간이 풀 수없는 일반적인 문제, 향후 6 개월 이내에 그건 한 마디의 마약 중독이야

그것은 분명히 정당화되지 않았습니다 그러나 인식하는 것도 중요합니다 그 컴퓨터는 이제 그걸 꽤 큰 것으로 볼 수 있습니다 그리고 그것은 묶음에 큰 영향을 미친다 다른 지역의

알다시피, 구글은 알파벳으로 여기에있다 자율 주행을하고 있습니다 분명히 컴퓨터 비전과 인식 안전한 자율 차량을 만들기위한 중요한 요소입니다 로봇 공학, 의료 이미징을위한 기계 학습, 다른 의학 응용을위한 기계 학습, 건강 관리 응용 프로그램, 이들은 세계의 주요 문제를 변화시킬 것입니다 그리고 그건 좋은거야

그것이 과장된 이유입니다 과도한 과대 광고를 줄이는 것이 중요합니다 어떤 과대 광고도해서는 안된다고 말하면 안됩니다 우리가 상당한 발전을하고 있다고 생각하기 때문에 어떤 컴퓨터가 할 수 있는지 멜라니 WARRICK : 특히 모든 응용 프로그램 너는 많은주의를 기울이지 않는다고 생각하는 것을 보았다

그러나 꽤 영향력이 있습니까? 네 내 말은, 내가 왔음을 깨달았다 고 생각해 몇 가지 다른 문제 연구원을 보는 것에서 우리 그룹에서 태클을했고 다른 일이 계속되고 있습니다 많은 과학적 문제들에서, 예를 들어, 전통적인 고성능 일부 속성의 컴퓨팅 기반 시뮬레이션, 어떤 과학적인 것 어쩌면 당신은 화학적 상호 작용을 시뮬레이션하고있을 것입니다

매우 정교한 수준 어떻게 전자가 흐르고 어떤 성질을 갖는가? 그게 있니? 또는 지진 결함을 시뮬레이트하고있는 것일 수도 있습니다 너는 아주 상세한 분류가있다 지진 결함에서의 미끄러짐의 물리학 기반 모델 일어난다 그리고 종종 이러한 계산 모델 계산적으로 매우 비싸다

그래서, 알다시피, 당신은 하나의 화학 물질 시뮬레이터를 통해 1 시간 나중에 퀀텀에 대한 정보를 얻습니다 이 화학 물의 성질 또는 무엇이나 물건에 묶이는 속성 그런 식으로 그리고 실제로 시뮬레이터를 교사로 사용할 수 있습니다 그리고 만약 당신이 정말로 비싼 과학 시뮬레이터를 가지고 있다면, 종종 시뮬레이터의 기능을 수행하기 위해 신경망을 훈련 할 수 있습니다 완전히 엔드 투 엔드 (end-to-end) 당신은 시뮬레이터에 먹이를 주었을 것입니다

출력을 얻었고 많은 예제를 실행했습니다 시뮬레이터를 통해 이제 신경망을위한 훈련이 설정되었습니다 몇 가지 다른 도메인에서 Google은 실제로 보이는 사람들은 이것을합니다 그리고 예를 들어, 양자 화학 도메인 인 George Dahl 우리 연구 그룹의 다른 사람들은 일부 화학자들과 함께 연구했습니다

다른 대학에서 시뮬레이터를 가져 갔다 그들은 그것을 사용하기 위해 신경망을 훈련 시켰고, 이제는 정확도를 구분할 수 없습니다 원래 종류의 HPC 스타일 시뮬레이터와 비교합니다 그러나이 도구는 30 만 배 더 빠릅니다 MARK MANDEL : 와우

제프 딘 : 그리고 언제든지 당신의 도구를 가져 가세요 그리고 당신은 그것을 30 만 배 더 빨리 만든다 과학을 어떻게 할 것인가? 당신은 상상할 수 있습니다, 아, 나는 커피를 만드러 갈거야 1 억 개의 분자를 가려 내고 내가 돌아 왔을 때, 나는 10,000을 볼 것이다 가장 흥미 롭습니다

그리고 Brendan Meade와 같은 일이 일어났습니다 방문 하버드 대 교수진 캠브리지에서 1 년 동안 우리 그룹을 방문했습니다 지진 과오 시뮬레이션에 많은 노력을 기울였습니다 그는 직장에서 그는 단지 그가 우리를 방문하기 전에, 그가 지진 결함 시뮬레이션 내부 루프를 종류로 대체 세계에서 가장 가벼운 신경망 알다시피, 10 개의 뉴런으로 이루어진 4 개의 층이 있습니다

그리고 갑자기 그 일은 10,000에서 100,000 사이였습니다 배 빠른 오, 와우 제프 딘 : 그리고 그는 정확성의 차이를 말할 수 없었습니다 MARK MANDEL : 와우

제프 딘 : 제 생각에 그건보기에 좋은 렌즈라고 생각합니다 과학적 컴퓨팅을하고 있습니까? 또는 어떤 종류의 시뮬레이션? 그런 다음 신경망을 훈련시켜 그 근사치를 계산할 수 있습니까? 당신이 그것을 주면 정확할 것 같은데 충분한 훈련 데이터? MARK MANDEL : 이제 저는 생각합니다 – 멜라니 워릭 : 아이디어를 줘 MARK MANDEL : 글쎄, 나는 내 게임으로 일한다 MELANIE WARRICK : 알아, 게임

MARK MANDEL : 그래서, 이제 나는 마치, 당신이 그런 종류의 성과를 얻을 수 있다면 그 수준의 시뮬레이션을 위해서는 정말 흥미로운 일을 할 수 있습니다 네, 그렇습니다 멜라니 워릭 : 그리고 나는 네가 이것에 대해 말한 것을 보았다고 생각한다 신경망을 사용하여 도움을 받고 있다고 시스템의 실제 성능 향상과 함께 그들 자신 제프 딘 : 일반 컴퓨터에는 큰 기회가 있습니다

시스템 운영 체제의 중심에 무엇이 있는지 생각하면 또는 컴파일러 또는 저장 시스템 또는 다른 컴퓨터 시스템, 그들은 일반적으로 종류가 가득하다 손으로 쓴 경험적 방법론 알다시피, 어떤 프로세스가 운영 체제 사용할 수있는 준비된 프로세스 중에서 다음 일정을 예약 하시겠습니까? 또는 컴파일러의 경우, 알다시피, 이 루프 그물 순서 또는이 루프 주문 코드를 방출? 아니면 가변적인가? 레지스터에 모두 들어 맞지 않을 때 메모리를 쏟아 붓는가? 그리고 많은 경우에, 나는 이것이 실제로 있다고 믿습니다 학습 문제 그래서 사람들이 손으로 쓰는 경향이있는 발견 적 방법 일반적인 경우에 잘 작동해야합니다

그리고 그들은 그런 식으로 정말로 발전 될 수 없습니다 시스템이 사용되는 방식에 완전히 적응할 수 있습니다 Bigtable 스토리지 시스템에서 예를 들자면, 근본적으로 핵심 가치 저장소가 있습니다 그리고 클라이언트 요청은 Bigtable 서버로 들어옵니다 특정 데이터를 요청할 수 있습니다

다른 테이블에서 읽습니다 그리고 그렇게되면 Bigtable 서버 그것을 명명 된 메모리 캐시에 넣기로 결정하고, 그래서 그 데이터가 다시 필요하다면, 알다시피, 당신은 그것을 캐시에 가지고 있습니다 디스크에 가서 가져올 필요가 없습니다 그리고 보시면 많은 정보가 있습니다 결정을 내릴 때 사용할 수 있습니다

디스크의 데이터 우리는 예를 들어 내부 사용자 그룹을 알고 있습니다 그 프로세스를 실행중인 작업의 데이터를 요청했습니다 우리는 아마도 이것을 요구 한 직무를 알고 있습니다 그리고 당신은 휴리스틱을 쓰지 않을 것입니다

그래서 순차적 인 MapReduce 스타일의 처리가 많습니다 데이터를 한 번 읽으려는 작업을 처리하고, 절대로 1 시간 후까지 다시 사용하십시오 유사한 MapReduce가 시작됩니다 하지만 실제로 캐시에 삽입하고 싶지는 않습니다 재사용을 즉시 처리하지 않기 때문입니다

하지만 당신은 결코 휴리스틱을 쓰지 않을 것입니다 Bigtable 서버 중간에 즉, 작업 이름이 MapReduce 대시로 시작하는 경우, 그런 다음 캐시에 삽입하지 마십시오 그러나 학습 추론이 할 수있는 것을 살펴 본다면, 꽤 빨리 패턴을 배울 것입니다 MapReduce 대시로 시작하는 것처럼 보이는 이러한 작업 캐시에 삽입 한 데이터를 재사용하는 것처럼 보이지 않습니다 그래서 저는 그것을 삽입하지 않을 것입니다

그리고 수천 명의 사람들에게 거대한 잠재력이 있다고 생각합니다 컴퓨터 시스템에서 수천, 수천의 발견 적 방법론 실제로 대부분 배울 수 있고 그들이 실제로 어떻게 행동하는지 적응할 수 있습니다 사용되고있다 MELANIE WARRICK : 너무 기쁘고 흥미 롭습니다 이것이 개선 될 수있는 방법에 대해 생각해보십시오

너에게 묻고 싶은 것들이 너무 많아 우리는 확실히 제한 될 것입니다 그래서 나는 공간을 확보하고 싶다 네가 우리가 이것을 발표 할 때 남아프리카에있을 것입니다 그리고 구체적으로 말하면, 당신은 깊은 학습 케이프 타운 밖에서 일어나는 인다 바

그럼 네가 어떻게 지내는지 조금 말해 줄 수 있니? 이것, 회의 자체에 관여, 그리고 당신은 무엇에 대해 말할 것입니까? 물론이지 그래서 나는 도전적인 문제를 푸는 것에 대해 이야기 할 것입니다 깊은 학습이나 뭔가의 세계에서 좋아요 제프 딘 : 사실, 그것이 프레임 된 방식입니다

국립 공학 아카데미 주위에있다 2008 년 엔지니어링에 대한 중요한 문제 목록 21 세기에 일할 큰 규모의 공동체 그리고 그것은 14 가지 영역의 목록입니다 의료 정보학 향상, 더 나은 약을 개발하고, 태양 에너지 생산을 향상시킵니다 그리고 만약 당신이 그들을 보았다면, 저는 실제로 기계 학습이 태클에 유용 할 것이라고 생각한다 그 다른 모든 것들의 크고 작은 조각

그래, 맞아 제프 딘 : 그리고 그 말은 틀에 박혔습니다 조금은 어이, 우리가 가지고있는 흥미로운 일이 여기있다 완료는 해결 방법의 일부입니다 이러한 웅장한 도전 과제 중 일부가 있습니다

좋았어 제프 딘 : 그리고 그 깊은 학습 Indaba, 내 생각 엔, 정말 흥미 진진한 사건입니다 그것은 – 약 400 명 또는 500 명 정도라고 생각합니다 대부분 아프리카 대륙에서부터 다른 나라에서 그리고 실제로 급성장하고 흥미 진진한 커뮤니티가 있습니다

기계 사용에 흥분되는 아프리카에서 학습 및 기계 학습 연구, 아프리카 국가의 문제를 해결하기 위해 기계 학습을 사용 전 세계에 걸쳐 그리고 저는 이것이 정말로 흥미 롭다고 생각합니다 아프리카의 연구 공동체의 팽창을보기 위해, 다른 나라들도 마찬가지입니다 그래서 그 일에 참여하게되어 기쁩니다 나는 실제로 우간다와 소말리아에서 어렸을 때 살았습니다 오, 와우

마크 AND델 : 멋지다 그래서 방금 들었을 때, 멜라니 워릭 : 그것은 당신에게 중요합니다 이 그룹에 참여하고보고 성장할 수 있어야합니다 마크 멘델 : 환상적입니다 멜라니 워릭 : 나는 또한 뇌가 가나로 확장했다

그리고 거기에 복장이 있습니다 무스타파 시세 (Moustapha Cisse)가 주도했으며, 우리는 어느 시점에서, 잘하면, 팟 캐스트에 올 것입니다 내가 그를 만났기 때문에 그는 훌륭합니다 MARK MANDEL : 훌륭합니다 멜라니 워릭 : 알아

네 네 멜라니 워릭 : 그는 훌륭합니다 그리고 우리가 말하는 것처럼 그들이 바닥에서 떨어져 있고 달리는 것을 압니다 다른 단체들도 있니? 당신이 성장하기를 기대하고 있거나 다른 사무실에 있습니다

당신이 이야기 할 수있는 회전을 찾고 있습니까? 아니면 우리가 지금 말할 수없는 것입니까? 제프 딘 : 우리는 가나 사무소에 대해 매우 흥분하고 있습니다 우리는 사무실 공간을 혁신하기위한 마지막 골목에 서 있습니다 우린 사무실에 사람들을 고용 했어 내가 생각하기에는 큰 도움이 될 것 같아 우리의 글로벌 연구 기관에 그들은 두 기계 모두에서 환상적인 작업을 수행 할 것입니다

학습 연구, 일종의보고 가나 특유의 흥미로운 적용 문제들 아프리카의 나머지 지역 그리고 나는 그것이 좋을 것이라고 생각합니다 나는 무스타파를 좋아한다 그는 훌륭한 지도자이며 훌륭한 사람입니다 우리 사무실에 그를 데려 간다

멜라니 워릭 : 그는 멋진 사람입니다 내가 너에게 묻고 싶었던 다른 것, 또는 다른 몇 가지 그래서 Deep Learning Indaba를 기대합니다 누가 관심을 가지고 있는지, 거기에 쇼 노트에 제공 할 리소스입니다 우리가 만져보고 싶은 마지막 몇 가지 너를 풀어주기 전에

최고의 조언 중 하나 인 것을 알고 싶다 당신이 당신의 경력에서받은 것 제프 딘 : 특정 조언이 필요한지 모르겠습니다 나는 받았지만, 내가 만든 관찰 내 경력을 통해 정말 좋은 방법입니다 흥미로운 것들은 사물을 알고있는 사람들과 파트너 관계를 맺는 것입니다

너는 그렇지 않다 그리고 저는 종종 3 개 프로젝트 네 사람이있는 네 사람 다양한 종류의 전문성 그리고 집단적으로 너는 함께 온다 당신 누구도 흥미로운 문제를 해결할 수는 없어요 개별적으로 해결할 수 있지만, 너는 완전 기술을 가지고 있기 때문에 또는 그들을 개발할 수 있습니다 정말 중요한 이유가 계속해서 새로운 것을 배우는 것이 좋은 방법인가요? 학교를 졸업 한 후에도

있잖아, 내가 대학이나 대학원에있을 때 생각해 학교 나 뭐든지간에, 당신은 분명히 일을 배우고 있습니다 그러나 계속하는 것이 중요합니다 사물을 배우고 새로운 아이디어를 얻으려고 그리고 일종의 뇌 자극 그리고 이것을하는 것이 정말 좋은 방법입니다

그리고 나서 그 프로젝트에서 벗어나서 다른 프로젝트에, 그리고 다른 사람들의 전문 기술은 당신에게 빛나는 문질러움을 가지고 있습니다 이제 적어도 문제를 볼 수 있습니다 전문 분야의 렌즈를 통해 그들은 이런 말을하고 있습니다 오, 예 나는 묻는 질문이나 올바른 접근법을 안다

그게 아니라해도 당신의 정식 배경 좋아요 그래, 맞아 명확히 당신은 무어의 법칙과 연구의 양에 대해 언급했습니다

그것은 특히 나오고 있습니다 당신은 어떻게 자원을 유지합니까? 연구와 그 모든 것? 네 내 말은, 다시, 나는 이것이 뭔가라고 생각한다 사물을 알고있는 사람들과 자신을 둘러싼 곳 네가하지 않으면 네가 정말 좋은 길이야 당신이 상호 작용하는 좋은 사람들의 네트워크, 그들은 부분적으로 당신의 눈과 귀가 될 수 있습니다

그들의 종류의 영역에서 흥미로운 것을주의 깊게 살펴라 오, 그래, 그거 흥미 롭다 누군가 오늘이 사실을 말해 줬어 그리고 당신은 일종의 연결을 시작할 수 있습니다 다른 영역들 사이의 점들과 잠재 성을 보아라

여기에서 개발 된 기법으로, 그것이 어떻게 여기에서 사용될 수 있는지, 또는 그것이 어떻게 잘 결합 될 수 있는지 다른 기술과 함께 그리고 실제로 서로를 구축합니다 그래서 나는 모든 것을 따라 잡는 것이 매우 어렵다고 생각합니다 따라서 집단적으로 정렬해야합니다 당신이 정말로 따라 다니는 것들을 발견하고, 다른 것들에 대한 간단한 정보를 얻으십시오 제가 관찰 한 한 가지는 많은 사람들이 정말로, 정말 깊이 연구 논문을 읽으십시오

가끔은 중요하다고 생각합니다 그러나 일반적인 학습을위한 잘못된 접근 방법입니다 나는 네가 훨씬 더 잘 봉사 할거라 생각한다 100 개의 초록 100 개를 읽을 시간이 필요하다 다른 서류와 이해의 종류 그들 각각이 가지고있는 가장 높은 수준의 개념

너는 항상 더 자세히 읽을 수 있기 때문에 당신이 그것에 대해 더 알아야 할 필요가 있다면 하지만 그 100 가지 정보를 가질 수있는 것은 좋아, 오, 그래, 그건 기술이야 그게 문제 야 우리는 그런 종류의 일을 할 수 있습니다 그 점을 실제로 연결하는 방법입니다

필드를 가로 질러 연결하기 또는 다른 문제에 걸쳐 좋아요 멜라니 워릭 (MELANIE WARRICK) : 특정 공공 연구 당신은 아주 최근에 들어 봤어요 당신 마음에오고, 당신은 마치, 나에게 흥분되는가요? 또는– 제프 딘 : 글쎄, 나는 생각한다 자동으로 컴퓨터를 사용할 수있는 방법 실험을하고, 그 결과를 측정하고, 그리고 연속적으로 흡수되는 일종의 첫 번째 실험 세트의 결과, 새로운 실험을 생성 할 수 있습니다

그래서 모든 신경 구조 검색 작업 우리 그룹이 해왔 던 AutoML 작업, 보강 학습의 많은 게임을 풀 때 약속을 지키는 기반 작업 Go 또는 OpenAI가 Dota에서 작동합니다 나는이 모든 것들이 일종의 포인트라고 생각한다 컴퓨터가있는 일반적인 방향으로 다른 해결 방법을 자동으로 탐색 할 수 있습니다 문제가 중요해질 것입니다 컴퓨터가 50,000 회의 실험을 실행할 수 있기 때문에 인간이 50을 돌리는 동안, 결과를보고, 그 다음에 다음 50 개가 무엇인지 알아 내겠습니까? 네, 그렇습니다

멜라니 워릭 : 좋아 그리고 내가 원하는 다른 질문 네가 한 모든 인터뷰에서 너에게 물어볼거야 사람들이 너에게 어떤 질문을하길 바랄까? 흥미로운 점 하나 알려 드리겠습니다 어떤 사람들은 모른다 그래서 저는 실제로 아이처럼 많이 움직였습니다

나는 12 년 만에 11 개 학교에 다녔다 그리고 저는 그것이 – 멜라니 워릭 : 그건 학교 다 제프 딘 : 학교가 많습니다 오, 새해, 새 학교처럼 멜라니 워릭 : 너는 많은 친구들을 사귀는 법을 배웠다

확실해 MARK MANDEL : 네 네 나는 그것이 나를 위해 매우 도움이되었다고 생각한다 내가 다른 곳에서 살게했기 때문에 환경의 종류에 관계없이 하와이, 보스톤, 우간다, 보스톤, 아칸소, 하와이, 미네소타, 소말리아, 애틀란타, 제네바, 시애틀, 베이 지역

과– 멜라니 워릭 : 당신은 전혀 마음을 열지 않아야합니다 제 생각에 도움이된다고 생각합니다 그 장소들 중 어느 곳에서나 정말 좋은면을 발견 할 수 있습니다 그리고 그것이 좋은 전망이라고 생각합니다 마크 멘델 : 환상적입니다

마무리하기 전에 모든 리소스를 사람들을 위해 청취자에게 추천하고 싶다 깊은 학습, TPUs, 구글 두뇌, 그냥 ML에 들어가고 싶다 연구? 너도 알다시피 나는이 질문을 많이 받았다 많은 것은 전문 지식의 종류에 달려 있습니다 누군가 이미있다

그래서 나는 하나의 대답이 없다고 생각합니다 하지만 나는 권하고있다 좋은 블로그가 많이있다 저 밖에 크리스 Olah의 블로그와 distill

pub 저널 그가 Shan Carter와 함께 시작한 것은 정말로 특정 수준의 전문 지식을 가진 사람들을위한 좋은 박람회 나는 기계 학습 크래시 코스와 같은 것이 있다고 생각한다 Google이 내놓은 Udacity와 Coursera에는 많은 코스가 있습니다 전문 지식의 수준에 따라 다릅니다 깊은 학습 교과서 Ian Goodfellow, Yoshua Bengio, 아론 쿠르 빌 (Aaron Courville)은 아주 좋은 사람입니다

목표로 삼는 자료가 많이 있습니다 덜 진보 된 수학을 가진 사람들에게 고등학생 및 중학생을위한 기술, 조차 거기에는 풍부한 정보가 있습니다 공동체가 생산하고있는 것이 정말 좋습니다 너무 많은 입문 자료와 고급 자료 모두를위한

마크 AND델 : 훌륭합니다 멜라니 워릭 : 좋아 글쎄, 우리는 당신이 말하고 있다는 사실을 다뤘다 딥 러브 인더 바에서 우리가 너를 풀어주기 전에 말하고 싶은게 있니? 아니, 정말 흥분 돼

나를 보내 주셔서 감사 드리며 대화에 감사드립니다 멜라니 워릭 : 와줘서 고마워 MARK MANDEL : 네, 고마워요 멜라니 워릭 : 감사합니다 물론이지

MELANIE WARRICK : 다시 고마워, 제프 그냥 모든 일에 참여하는 것이 정말 좋았습니다 그리고 내가 그 점에서 정말로 감사하는 많은 것들 중 하나 그가 아직도 코드하는 것을 듣고 있었다 MARK MANDEL : 네 그는 ~ 같이, 오늘은 내 하루 야

MARK MANDEL : 월요일에 내가 코드 해 MELANIE WARRICK : 그것이 바로 내가 코딩 할 때입니다 당신이되는 것처럼 그렇게하기가 어렵습니다 더 많은 선배, 당신의 삶에서 그런 유형의 공간을 만들기 어쨌든, 고마워

MARK MANDEL : 네 알았어 주의 질문 마크 맹델 : 그래서 우리 멋진 친구, 게이 게이 와이즈 : Whee

헤이 게이브, 너를위한 멋진 질문이있어 왜냐하면 우리는 당신이 코어에서 물건을 다룬다는 것을 알고 있기 때문입니다 GABE WEISS : 준비 됐어 MARK MANDEL : IoT Core가 있다면, IoT Core에서 데이터를 얻는 방법 웹 프런트 엔드에 실시간으로 표시 하시겠습니까? 나는 당신이 이런 식으로 일했다고 믿습니다

GABE WEISS : 나는 최근에있다 IoT에서 일하는 사람은 누구나 알고 있습니다 이것을하기위한 다양한 방법이 있습니다 다른 종류의 장치가 있습니다 다른 프로토콜이 있습니다

다른 모든 것이 있습니다 그래서 해변에 몇 그루의 모래가 있습니까? 이것이 얼마나 많은 방법으로 이것을 할 수 있는지입니다 우리가 그것을 황금의 길의 일종으로 한 방법 Cloud at 2018 년에 우리는 전체 end-to-end 앱을 만들었습니다 무대 위에 우리 다섯이 있습니다 그래서 우리는 장치에서 나왔습니다

우리는 일부 센서와 함께 라즈베리 파이를 사용했습니다 우리가 심장 박동을 측정 했어 그리고 그것은 MQTT와 통신 할 것이고, IoT Core가 사용하는 프로토콜입니다 받는 방법 따라서 장치에서 원격 측정 데이터를 전송할 수 있습니다

IoT 코어로 IoT Core에서 브리지됩니다 모든 원격 측정 데이터가됩니다 이벤트 스트림 관리자 인 Cloud Pub / Sub의 이벤트입니다 Cloud Pub / Sub에서 Cloud 기능을 트리거 할 수 있습니다

Pub / Sub에서 원격 측정 데이터를 가져온 것입니다 데이터웨어 하우스에 저장합니다 클라우드 파이어 스토어 (Cloud Firestore)였다 우리는 NoSQL 데이터베이스이기 때문에 Firestore를 선택했습니다 그것은 매우 낮은 대기 시간이고 특별한 소스가 있습니다

푸시 메커니즘이있어 프런트 엔드 앱에서 데이터베이스에서 데이터가 변경되면 콜백에 등록하십시오 따라서 실시간 응용 프로그램의 경우 이것은 엄청납니다 그래서 우리의 프런트 엔드는 Angular 앱이었습니다 이 콜백에 가입 한 우리가 작성한 Firestore에서 가져 와서 마음을 끕니다 비율 그래프

엔드 투 엔드 (end-to-end)로, IoT Core까지 장치였습니다 클라우드 게시 / 하위의 브리징 펍 / 서브는 클라우드 기능을 가지고 있었고, 그것을 클라우드 파이어 스토어로 밀어 넣습니다 Firestore가 콜백을 통해 각도 앱으로 실행되었습니다 좋았어 GABE WEISS : 예

MARK MANDEL : 와우 GABE WEISS : 꽤 멋졌습니다 그것도 모두 효과가있었습니다 MARK MANDEL : 그 말을 세 번 빨리하십시오 GABE WEISS : 나는 할 수 없다는 것을 안다

나는 그것을 한 번했다 그 정도면 충분했다 그렇지? MARK MANDEL : 그게 효과가 있습니다 그게 정말 좋았어 마크 맹델 (Mark MANDEL) : 사람들 – 공개 샘플이나 사람들이 실제로 할 수있는 것입니다

가서보고있어? GABE WEISS : 예 그래서 그것을 찾는 가장 쉬운 방법은 가고 있습니다 YouTube에서 "건물 IoT Google 클라우드의 애플리케이션 " 그곳에 유일한 사람이야 컨퍼런스 비디오를보실 수 있습니다

그리고 설명의 링크에서 모든 코드가 포함 된 GitHub에 대한 링크입니다 MARK MANDEL : 굉장해 멜라니 워릭 : 잘 됐네 고마워, 게이 와 주셔서 감사합니다

우리는 그주의 질문을합니다 게이브 와이즈 : 나를 보내 주셔서 고마워요 알았어, 마크 너 어디 갈거야? MARK MANDEL : 내가 뭘하고 있니? 무슨 일이야? 뭐하고 있니? 당신이 알고? MARK MANDEL : 그럼, 나올 때, 나는 도쿄에있을거야 멜라니 워릭 : 네

마크 AND델 : 나는 도쿄 다음을 준비하고있다 그래서 꽤 흥분했습니다 Agones에 대해 이야기하고 있는데, 게임에 대해 이야기하고 있습니다 사람과 물건 그래서 당신이 마을에 있다면, 인사하러와

너 무슨 일이야? 멜레 니 워릭 : 그리고 나는 스텔 렌 보쉬에있을거야 나는 아마 내가이 시점에서 많은 것을 말했을 것이라고 생각한다 네, 그렇습니다 MELANIE WARRICK :하지만 몇 가지 인터뷰를 할 예정입니다 그리고 너와 나는 둘 다 Strange Loop에있게 될거야

월말 MARK MANDEL : 그래, 정말 좋을거야 게이브, 다음 달에 특별한 곳으로가는거야? GABE WEISS : 나야 나는 유럽 여행을하고있다 나는 런던, 파리, 바르셀로나를하고있다

일련의 회의를 위해 오, 그게 어렵다고 들었어 GABE WEISS : 예 MARK MANDEL : 어느 회의에 갈 건데? GABE WEISS : 그래서 런던은 Cloud Next입니다 네, 그렇습니다

GABE WEISS : 우리의 종류의 다음 반복입니다 우리 시리즈의 그리고 파리는 팀 메이트를 방문하고 있습니다 나는 이상한 5 일의 날이 있기 때문에 날고 싶지 않아 유럽으로왔다 갔다합니다 그리고 바르셀로나는 큰 IoT 회의 인 IoT Solutions World 의회, 일종의 큰 유럽의 IoT 회의입니다

좋았어 마크 멘델 : 환상적입니다 GABE WEISS : 예 멜라니 워릭 : 음, 좋은 여행을해라 GABE WEISS : 고마워

마크, 나는 이번 주에 그것이 우리를위한 것이라고 생각한다 그래, 멜라니와 게이브, 포드 캐스트에 대한 또 다른 한 주 동안 우리와 함께 해 주셔서 감사합니다 고마워요 GABE WEISS : 고마워 MARK MANDEL : 그리고 모두 들어 주셔서 감사합니다

우리는 다음주에 모두 만날거야 [음악 재생]