Google AI with Jeff Dean: GCPPodcast 146

[음악 재생] MARK MANDEL : 안녕하세요 에피소드에 오신 것을 환영합니다

주간 Google Cloud Platform 팟 캐스트 번호 146 내 이름은 마크 만들이고 나는 언제나처럼 여기에있다 내 동료 인 멜라니 워릭과 멜라니, 어떠니? 안녕, 마크 잘하고있어 잘 지내? 나는 잘하고있어

나는 아주 잘하고있다 오늘의 에피소드에 매우 흥분됩니다 멜라니 워릭 : 예, 이번 주, 특히, 우리는 제프 딘, 우리가 가질 수있는 당신이 구글과 AI에 대해 조금 안다면 그 사람에 대해 들었습니다 TensorFlow 및 TPUs와 대형 데이터 시스템 및 CATS가 있습니다 [CAT PURRING] 너는 그것에 대해 들었을지도 모른다

마크 맹델 : 고양이? 멜라니 워릭 : 고양이 어쨌든, 모든 것 MARK MANDEL : 괜찮습니다 괜찮습니다 멜라니 워릭 : 컴퓨터 시스템, 하드웨어 및 모든 것

그래서 우리는 그와 큰 대화를 나누었습니다 이 주제들을 많이 다루었습니다 이번 주 인터뷰가 있었던 이유 중 일부는 이번 주는 Deep Learning이기 때문에입니다 Indaba, South의 Stellenbosch에서 일어나고 있습니다 아프리카

그리고 그것은 연구원들을 모으고 있습니다 아프리카 대륙 내의 여러 나라에서 온 지식을 공유 할 수 있습니다 제프 딘 (Jeff Dean)이 거기에서 말하려고합니다 나는 또한 에피소드를 녹음 할 예정이다 그래서 우리는 조금 강조하고 싶었습니다

우리는 실제로 그것에 대해 팟 캐스트에 들어 가지 않습니다 나중까지,하지만 당신은들을 수 있어요 그가 이야기 할 내용을 들어보십시오 회의에서 언제나처럼, 우리가 그것에 들어가기 전에, 우리는 일주일의 멋진 것들로 시작할 것입니다

우리는 일주일에 한 번 질문을 끝낼 것입니다 그리고 우리는 특별한 손님이 합류했습니다 우리는 그주의 질문을 돕기 위해 IoT Core에서 표시 할 데이터를 얻는 방법 웹 프런트 엔드에서 실시간으로? MARK MANDEL : 예, 우리는 Gabe Weiss를 오늘 우리와 함께합니다 GABE WEISS : 안녕 친구 멜라니 워릭 : 멋진 일을 시작하려면 주중에 내가 잡은 뭔가 Google이 최근에 베타 데이터 세트 검색을 시작한 것입니다

그래서 저는 이것을 실제로 잡았습니다 Ben Hamner, Kaggle의 CTO 인 CTO는 오늘이를 트윗했습니다 그리고 구체적으로, 그는 어떻게 이렇게하면 열린 데이터 세트에서 메타 데이터를 색인화하는 데 도움이됩니다 연구자 인 사람들에게 매우 유용 할 것입니다 공개 데이터 세트에 대해 궁금한 사람들, 그들을 탐험하고 싶다

그래서 우리는 그것에 대한 링크를 포함시킬 것입니다, 그러나 그것은 꽤 많이 있습니다 검색 도구 Google 검색 도구로 데이터 세트에만 사용됩니다 MARK MANDEL : 굉장해 나는 이것에 대해 이야기하고 싶었다 – 이것은 내가 좋아하는 정말 멋진 일이다

우리는 공개 데이터를 확대하고 있습니다 지형 공간 및 ML 기반 분석을 설정합니다 그래서 BeckIT Cloud Next를 들었을 것입니다 BigQuery 스토리지 5 페타 바이트를 추가로 발표했습니다 공개 데이터 세트에 사용할 수 있습니다

블로그 포스트에서 우리는 쇼 노트에 링크 할 것입니다 이 추가 저장 용량도 향후 5 년 동안 사용할 수 있습니다 정말 멋지다 다음부터는 7 개의 새로운 데이터 세트가 내장되어 있습니다 미국의 경계를 정의하는 우편 번호와 같은 매개 변수와 같은 것들, 기본적으로 지형 공간 질의를 지원합니다

우리는 거기에 새로운 데이터를 가지고 있습니다 [INAUDIBLE] 공간적인 것들을 할 수 있도록 ML 기반 분석, 새로운 ML 도구 키트 사용 이제 BigQuery에서 사용할 수 있습니다 그리고 만약 당신이 그 중 하나를 이용하고 싶다면, Google Cloud Platform으로 이동하십시오 시장 이동할 수있는 데이터 세트 필터가 있습니다

그리고 마지막으로, 우리는 당신을 위해 약 101 개의 다른 공개 데이터 세트가 있습니다 BigQuery에서 재생할 수 있습니다 그리고 최대 1 테라 바이트까지 갈 수 있습니다 BigQuery에서 무료로 제공됩니다 월간 매우 놀라운 기능입니다

멜라니 워릭 : 다시 한번 우리가 언급하고 싶은 또 다른 것은, Kaggle을 참조하고 또한 Google AI, Kaggle Google을 통한 새로운 도전이 있다는 것입니다 인공 지능은 특히 격려하기 위해 게시했습니다 사용자와 Kagglers가 개발할 수 있도록 사각 지대에보다 견고한 모델 데이터 세트에 존재합니다 우리는 과거에 이것에 대해 이야기했습니다 많은 사람들이 기계 학습 편견과 공정성에 대해 토론하는 것을 보았습니다

특히 데이터 자체에서 실제로 발생합니다 수집 한 데이터에서 데이터가 실제로 어떻게 편향 될 수 있는지 그러면 이것이 어떻게 구축 된 모델에 영향을 미칠 수 있는지에 대한 것입니다 그래서 그들의 도전은 구체적입니다 그것을 설명하기위한 기술과 접근법을 확인하는 것을 돕는다 모델을보다 견고하게 만들 수 있습니다

이 과제는 특히 두 단계로 실행되도록 설정됩니다 그들은 웹 사이트에서 정보를 얻었습니다 우리가 링크를 유지 하겠지만 NIPS의 시간을 감싸 안을거야 올해 말, 12 월, 그래서 당신은 그것을 체크하고 실험 할 수 있습니다 마크 AND델 : 훌륭합니다

나는 또한 우리가 체크 아웃했다는 것을 언급하고 싶다 최근 아이튠즈에서 뽑은 기술의 톱 100 팟 캐스트 우린 그 안에있어 [트럼펫 게임] 친절하니, 모두에게 정말 고마워 누가 듣고 있었는지, iTunes에서 우리를 평가 한 사람들, 기본적으로 팟 캐스트를 지원했습니다 정말 멋진 일입니다

멜라니 워릭 : 네 그리고 마지막으로,하지만 적어도, 당신이 원한다면 깊은 학습을 위해 TPU를 미세 조정 한 이유는 무엇입니까? 우리는 공유 할 블로그 게시물을 가지고 있습니다 당신이 이것을 들여다 볼 수 있습니다 그리고 우리는 이것이 오늘날과 관련이 있다고 생각했습니다 에피소드지만, 신경망이 무엇인지를 단계별로 안내해줍니다

TPU, CPU와 비교할 때 유용합니다 그리고 멋진 그래픽을 볼 수 있습니다 너를 밟아서 좋은 일을해라 시각적으로 보입니다 좋아요

멜라니 워릭 : 그리고 일부 가격 정보 하단에도 마크 멘델 : 아주 멋지다 알았어, 마크, 나는 우리가 나아가서 그것에 들어가야한다고 생각합니다 제프와 좋은 인터뷰를했습니다 MARK MANDEL : 친구 인 Jeff와 이야기하러 가자

멜라니 워릭 : 네, 제 친구 우리는 카드를 사용합니다 우리와 함께 오늘 제프 딘 (Jeff Dean) Google AI를 이끌고 있습니다 제프와 함께 해주셔서 감사합니다 제프 딘 : 저를 아주 많이 보내 주셔서 감사합니다

멜리안 워릭 : 제프, 제 말은, 많은 사람들을 알고 있습니다 너는 누구인지 알고 있지만, 우리는 항상 묻는다 쇼에 오는 모든 사람들 그들 자신에 대해 조금 말하면, 당신의 배경은 무엇입니까? 물론이지 따라서 현재 Google의 AI 부서를 이끌고 있습니다 내부적으로 Google은 Google Research in Machine 지능형이지만 외부 적으로는 때로 Google AI를 사용하십시오

우리가 누구와 얘기하고 있는지 그리고 그 조직은 많은 다른 종류를합니다 컴퓨터 과학 연구 근본적인 연구를하고 있습니다 새로운 로그를 생성하고 문제를 해결하는 새로운 기법

Google은 Google 제품 영역에서 상당한 업무를 수행합니다 흥미로운 연구 문제를 해결하기 위해 제품의 맥락에서 우리 연구의 일종을 얻습니다 모두가 알고 사랑하는 Google 제품으로 사용합니다 우리는 또한 시스템에 대해 더 많은 작업을 해왔습니다 우리 연구를 가능하게하는 인프라, 하지만 내부 개발자가 사용할 수있는 도구를 만들 수도 있습니다

Google뿐 아니라 외부 개발자 우리가 소스 물건을 열 때 그래서 TensorFlow는 우리 그룹에서 나왔습니다 인기있는 기계 학습 도구 키트입니다 우리는 이것이 실제로 확장하는 좋은 방법이라고 생각합니다 우리 연구의 영향 사람들이 쉽게 할 수있게하는 것입니다

우리가하고있는 일을 토대로 좋은 도구를 얻으십시오 유효한 그리고 우리가 일반적으로하는 네 번째 일 Google이 현재없는 새로운 영역을 찾으려고합니다 우리의 연구가 큰 영향을 줄 수 있다고 생각하는 곳에서 일하십시오 그래서 우리는 많은 일을 해왔습니다

건강 관리, 기계 학습을위한 기계 학습 우리는 로봇이 새로운 신흥 기술이라고 생각하기 때문에 기계 학습 및 연구 분야 큰 차이를 만들 것입니다 멜라니 워릭 (MELANIE WARRICK) : 당신 팀이하는 일의 관점에서, 너에게 어떤 의미가 있니? 그리고 지금 당신을 위해 어떻게 생겼습니까? 나는 이것이 어느 정도 새로운 위치에 있다는 것을 알고 있기 때문에, 올해 Google AI의 리더가 되셨습니까? 네, 그렇습니다 저는 3 월 말, 4 월 초에이 역할을 맡았습니다 기본적으로, 우리의 목표는 위대한 연구자들에게 영감을주는 것입니다 훌륭한 연구를하고 태클을하기 중요하고 야심적인 문제

우리가 일해야한다고 생각해 월요일 코딩을 보내고 있습니다 와우 와우 제 동료 인 Sanjay Ghemawat와 함께, 저는 수년 동안 함께 일해 왔습니다

나는 아마 4 ~ 5 개의 다른 프로젝트를 갖고있을 것입니다 나는 실제 기술 수준에 관여하고있다 나는 매주 회의에 가서 기술적 인 제안을한다 등등 그리고 나서 나머지 시간은 보냈습니다

합리적으로 큰 조직을 조종하려고 시도하다 올바른 일을하고 확실하게하기 우리는 올바른 문제에 집중하고 영향력을 행사할 수 있습니다 MARK MANDEL : 굉장해 멜라니 워릭 : 나는 궁금한데, 무엇을 코딩하고 있니? 제프 딘 : 대부분 C ++ 오, 재미 있네

그래서 저는 사람들을 위해이 질문을하는 것을 좋아합니다 AI와 ML에서 일하는 사람들은 다양한 대답을 얻습니다 너에게 어떤 의미가 있니? JEFF DEAN : 기본적으로, 존재한다는 의미입니다 문제를 해결할 수있는 컴퓨터 시스템을 가질 수있다 당신은 인간의 지능이 필요하다고 생각할 것입니다

Mark MANDEL : 사실 그것은 우리가 가진 가장 간결한 대답 멜라니 워릭 : 예, 꽤 간단합니다 글쎄, 당신이하는 일의 관점에서, 당신은 무엇을합니까? 당신이하는 가장 큰 도전 과제 중 하나라고 생각합니다 반대? 제프 딘 : 정말로, 그것은 흥미로운 시간입니다 컴퓨터 과학 연구 및 기계 분야에 종사하다 관심의 폭발이 있기 때문에 연구 이 분야에서는 마지막 7 ~ 8 년 정도가 될 것입니다

공동으로, 연구 공동체로서, 우리는 컴퓨터가 할 수있는 것을 정말로 추진해 왔습니다 저는 이것이 컴퓨터 비전 분야에서 가장 두드러 지다고 생각합니다 본질적으로 컴퓨터를위한 심층 학습 모델 사용 비전은 갑자기 컴퓨터를 변형 시켰습니다 지금부터 잘 볼 수 없다는 것에서 실제로 볼 수 있습니다 그리고 세계에 대한 영향을 생각한다면 그 것이다, 이미있다

그게 변형 적입니다 갑자기 자동 기계를 가질 수 있습니다 그들 주위의 세계를 인식 할 수 있고, 그들이 무엇을보고 있는지 이해할 수 있고, 이는 일반적인 컴퓨터 비전에 큰 영향을 미칩니다 따라서 많은 경험을위한 핵심 원동력입니다 Google 포토는 Google 사용자에게 제공됩니다

그게 도버맨의 사진이라는 것을 우리는 이해할 수있다 그리고 그것은 산이다 그러나 그것은 또한 건강 관리에서 변형적인 것들을 의미합니다 따라서 수 많은 영상 의학 관련 문제 이제 자동화 된 기계로 다룰 수있다 알고리즘 학습 및 의료 전문가 지원 그런 식으로

멜라니 워릭 : 네 로보틱스, 아주 분명해 로봇을 만들고 싶다면 매우 도움이됩니다 로봇이 볼 수 있다면 멜라니 워릭 : 네

그래서 그게 큰 의미가 있습니다 그리고 나는 우리가 중대한 진전을 이루고 있다고 생각한다 기계 학습과 관련된 다른 분야에서, 자연어 이해와 연설 같은 것들 인식 지난 6 ~ 7 년 동안 엄청난 발전을 보았습니다 그게 정말로이 모든 기회가 있다는 것을 의미합니다

우리가 어떻게 이러한 새로운 기능을 사용해야하는지에 대해 세상이 더 나은 곳으로 나아가도록 지금 우리가 이전에 만들 수 없었던 새로운 것을 만들어야합니다 그리고 그것은 그것이 흥분과 홍수라고 생각합니다 이 분야를 공부하는 데 관심이있는 사람들이이 분야에서 어떻게 연구합니까? 더 많은 사람들이 어떻게이 분야에 들어가 연구를 할 수 있을까요? 멜라니 워릭 : 그래서 우리는 올해 초에 클라우드 인공 지능을 대상으로하는 Faith [INAUDIBLE] 박사와 함께 나는 너무 오래 전에 DeepMind에서 [INAUDIBLE]와 이야기하지 않았다 일부 로봇 연구에 대해 이야기했습니다 그들이하는 일

Brain과 Google AI는 어떻게 협력합니까? 다른 그룹들과? 네 맞습니다 그래서 우리는 실제로 강력한 협력 관계를 유지하고 있습니다 Google 전체에서, 심지어 알파벳, 그리고 많은 분야 예를 들어 Cloud AI를 사용하면 그들이 시장에 가져 오는 것들의 Google AI 연구에서 연구 프로젝트로 시작되었습니다

분할 그리고 우리는 지금 긴밀히 협력하고 있습니다 자동차 ML 연구와 같은 것들을 가져 오는 것 이제 Cloud AutoML과 같은 제품으로 시작되었습니다 컴퓨터 비전을 가진 고객, 또는 다른 종류의 문제 일 수 있습니다 직원이 정교한 기계 학습 개발자를 보유하고 있으며, 그러나 활용할 수 있기를 원한다

이제는 존재하는 기계 학습 기능 중 하나입니다 우리는 자동적으로 고객이 제기 할 수있는 새로운 문제를 해결하기위한 훈련과 학습 있다 어셈블리에 깨진 부품이있을 수 있습니다 라인과 깨진 부분이 아니며 구별 할 수 있기를 원한다 기본적으로 이미지를 업로드 할 수 있습니다

그 (것)들을 돕는 훈련 한 모형을 얻으십시오 그 특별한 일로, 심지어 석사 학위가없는 것 직원에게 기계 학습 전문가 멜라니 워릭 : 의미가 있습니다 나는 열정의 당신의 분야 중 하나를, 특히, 그리고 당신이 중요한 영향을 미쳤던 곳에서, 특히 텐서 처리 장치 인 TPU 주변에 있습니다 TPU의 초기 개발을 주도하거나 고무 시켰던 것은 무엇입니까? 그리고 전에 네가이 대화를 나눴다는 것을 안다

그러나 특히 당신의 경험에서 네가 따라 와서 기술로 시작합니다 어떻게 그게 당신에게 왔습니까? 네 맞습니다 그래서 저는 항상 컴퓨터가 어떻게 흥미로운 문제를 해결하십시오 그리고 그 일을하는 흥미로운 방법 중 하나는 당신이 할 수있는 문제에 더 많은 계산을 필요로한다

그런 다음보다 정교한 알고리즘을 사용하고, 또는 더 큰 데이터 세트를 사용하여 더 나은 통찰력을 얻을 수 있습니다 따라서 더 많은 계산을하는 것이 일반적입니다 컴퓨팅에서 좋은 점 그리고 어쩌면 2011 년, 2012 년경에, 내가 공동 설립 한 Google Brain Project 시작하기 만하면 시작했습니다 여러 제품 팀과 공동 작업 Google에서 일부 제품에 대한 심층 학습을 사용합니다

그리고 우리가 가장 긴밀하게 협력 한 음성 인식 팀, 이전 스타일의 기계 학습 모델을 대체하는 방법 음성 인식에 사용하고 있었다 그것의 어쿠스틱 부분에 대한 깊은 학습 기반 모델로, 모델의 다른 부분은 단어의 일부분에 작은 오디오 녹음은 "바"또는 "ff"에 있습니다 또는 "ss" 그래, 맞아 제프 딘 : 그리고 다른 모델이있었습니다

우리가 처음에 집중하지 않은 처리의 그 단계 후에 그러나 어쿠스틱 모델을 심층 학습 기반으로 대체하는 것은 음향 모델은 많은 이득과 인식 정확성을 제공했습니다 그래서 우리는 음성 인식이 향상됨에 따라, 사람들은 점점 더 그것을 사용할 것입니다 그래서 저는 봉투 계산을 다시 시작했습니다 사람들의 하루에 3 분간 전화로 이야기하기 시작 했나요? 연설로 모든 이메일을 초안으로 작성하기 때문에 또는 뭔가 그리고 당시에는 많은 CPU가있었습니다

우리의 데이터 센터에서 그리고 얼마나 많은 계산을했는지 1 억 명의 사용자가 그 일이 시작되었는데, 그것은 실제로 발굴과 무서운 것이 었습니다 우리는 본질적으로 컴퓨팅 풋 프린트를 두 배로 늘려야합니다 약간 더 나은 연설을 지원하는 Google의 사용자의 겸손한 부분에 대한 인식 모델 MELANIE WARRICK : 합법적 인 것 같습니다

네, 조금 무서운 것 같아요 하지만 사용자에게 배포하려는 것이 확실합니다 당신이 보았던 인식의 이익 때문에 사실 꽤 중요합니다 그래서 우리는 우리가 무엇을 할 수 있는지 살펴보기 시작했습니다 이런 종류의 심층 학습 모델을 위해 더 계산 상 효율적 일 것입니다

그리고 정말 좋은 두 가지 속성이 있습니다 깊은 학습 모델에는 있습니다 그래서 처음에는 정밀도가 떨어지는 것에 매우 관대합니다 근본적으로, 당신이 정밀도를한다면 10 진수의 정확도를 좋아하기 위해, 이것은 실제로이 모델들에 대해서는 완벽하게 훌륭합니다 6 자리 또는 7 자리의 정밀도가 필요하지 않습니다

부동 소수점 연산에서와 마찬가지로, 또는 두 배 이상의 조합이 가능합니다 그리고 그들이 가지고있는 두 번째 재산 모든 알고리즘이 구성되어 있다는 것입니다 빌딩 블록의 소수의 다른 구성의, 근본적으로 행렬은 벡터 점을 곱합니다 제품, 선형 대수학 작풍 따라서 하드웨어 만 만들 수 있다면 저 정밀 선형 대수학을 가속화하도록 설계된, 당신은 황금이에요

그리고 그 덕분에 당신은 정말로 재단사가 될 수 있습니다 그걸 할 수있는 하드웨어 모든 종류의 꼬인 C ++ 코드를 필요로하지 않습니다 임의적 인 것들을 포인터 역 참조는 저 정밀 선형 대수입니다 그럼 갑자기, 당신은 완전히 디자인하는 방법을 재고 할 수 있습니다

그 일을하는 컴퓨터 MARK MANDEL : 정확히 무엇에 집중했는지 그것이 할 수 있는지, 특정 응용 프로그램이 있음을 의미합니까? TPU가 더 좋거나 나쁘다 네가 뭔가를 사용할 수 있다고 또는 어떻게 작동합니까? 네 맞습니다 그래서 이것은 양날의 칼 중 하나입니다

전문화에서, 당신이 과도하게 특화한다면 일반적으로 적용 할 수 없습니다 그러나 당신이 무언가를 매우 일반적으로 적용 가능하게 만든다면, 다음 모든 성능 이점을 얻을하지 않습니다 전문화에서 얻을 수 있습니다 그리고 우리는 실제로 TPU에 대해 꽤 좋은 균형을 택했다고 생각합니다 그들은 본질적으로 가속하도록 설계되었습니다

깊은 학습에서 발견 한 것과 정확히 같은 종류의 작업 모델 그래서 그들은 범용 컴퓨터 장치가 아닙니다 그러나 그들은 특정 모델에 맞춰져 있지 않습니다 그들은 모든 종류에 맞춰져있다 일반적으로 심층 학습 모델에서 발견되는 작업 그래서 당신은 그들에 비전 모델을 실행할 수 있습니다

음성 모델을 실행할 수 있습니다 반복적 인 언어 모델을 실행할 수 있습니다 최초의 TPU 인 TPU V1이 목표였습니다 오직 추측에서만, 당신이 실제로 어디에서 교육 과정보다 정확도가 떨어집니다 그리고 그것은 우리의 가장 시급한 문제였습니다

그것이 우리가 음성 인식 모델을 얻는 방법이었습니다 Google의 데이터 센터 공간을 두 배로 늘리지 않고도 그리고 나서 두 번째 TPU는 정말로 훈련과 추론을 모두 목표로합니다 그리고 우리가 그걸 처음부터 물지 않은 이유는 그 훈련은 훨씬 더 복잡한 하드웨어 디자인이었습니다 문제 추론을 위해서, 보통 당신 하나의 모델이 하나의 칩에 장착 할 수 있으며 더 많은 용량이 필요한 경우, 당신은 그 시스템의 모든 사본을 우표 처리합니다

많은 보드와 많은 컴퓨터를 넣고, 갑자기, 당신은 많은 음성 인식을 가지고 있습니다 생산 능력 교육을 위해 대형 모델에서는 거의 사용하지 않습니다 당신은 하나의 칩이 모델을 훈련시키기에 충분히 빠르며, 매우 빠르다 그리고 당신이 정말로 훈련에서 원하는 것 기계 학습 실험을위한 빠른 처리 시간이며, 또는 거대한 확장 성을 제공하므로 매우 큰 모델을 매우 대용량 데이터 세트는 매우 신속하고 반복 가능하며, 연구 관점에서 학습하는 기계

또는 배포 된 시스템 일 수도 있습니다 10 분마다 모델을 재교육하기 때문에 데이터가 변경 칩 설계 문제 만은 아닙니다 실제로는 전체 컴퓨터 시스템입니다 이것은 슈퍼 컴퓨터 설계 문제와 더 비슷합니다

너는 칩을 가지고 있고 너는 가지고있다 그 (것)들을 함께 연결하는 몇몇 복잡한 상호 연락, 또는 방법에 대한 냉각 문제가 있습니다 이 거대한 일을 식히 시나요? 여러 개의 랙으로 구성됩니다 그래서 우리가 첫 번째 시스템에서 그 것을 물지 않은 것입니다 TPU의 두 번째 반복까지 기다리기로했다

교육에도 착수하는 디자인 멜라니 워릭 : 그리고 당신은 올해 버전 3을 발표했습니다 TPUs의뿐만 아니라 네 네

과 멜라니 워릭 : 나는 냉기가 시스템, 이제 액체 야? 네 멋지다 그래, 그래, 멋지다 컴퓨터와 물을 섞을 때마다 언제나 흥미 진진합니다 [LAUGHS] 그래서 우리 센터가 Google I / O에서 발표 한 TPU v3 2018 년 5 월에 근본적으로 수랭이 발생했습니다

그래서 보드에는 4 개의 칩이 있습니다 수냉은 이들 칩의 표면으로 간다 과도한 열을 방출합니다 가장 큰 설치 면적 – 우리는 이것들을 포드라고 부릅니다 TPU v2 포드는 본질적으로, 64 개 장치, 256 TPU v2 칩으로 구성됩니다

그리고 TPU v3의 포드 스케일은 훨씬 더 큽니다 그래서 우리는 약 8 배의 계산량을 가지고 있습니다 우리가 TPU v2 포드에서했던 것처럼 TPU v3 포드에서 너의 팀에있는 몇명의 사람들을 안다 특히 Stanford DAWNBench를 실행하고있었습니다

그들은 차이점을 보여주고있었습니다 그것의 성과의 점에서 지금 당장처럼 내 머리 속의 모든 일이 바로 지금은 ImageNet입니다 할 수 있어요 멜라니 워릭 : 제발

제프 딘 : DAWNBench는 새로운 기계 학습입니다 벤치 마크는 스탠포드, 새벽 연구 그룹, 설계되었습니다 다양한 종류의 기계를 보는 것 학습 문제, 훈련과 추론, 그리고 측정 몇 가지 다른 통계 그래서 그들 중 하나는 특정 기계에 대한 것입니다 학습 문제, 얼마나 빨리 일정 수준의 정확성을 얻다 그 문제의 정확도가 좋습니다

그리고 그 중 하나는 ImageNet 처리 벤치 마크이며, 여기서 당신은 76 %의 최고 1 정확도를 얻어야합니다 MELANIE WARRICK : 그리고 이것은 이미지를 분류하는 것입니다 분류, 맞아 MELANIE WARRICK : ImageNet과 매우 비슷합니다 이것은 이것이 해결 된 것입니다

제프 딘 : 당신은 컬러 이미지를 얻습니다 그것을 1,000 개의 카테고리 중 하나로 분류해야합니다 실제로는 꽤 어렵습니다 최고 1 정확도의 인적 오류율은 약 5 %입니다 오우 와우

제프 딘 : 개 품종이 40 종류 나 되었기 때문에 당신은 구별 할 수 있어야합니다 마크 맹델 : 그럼 TPU가 꽤 괜찮은 것 같아요? 네, 그래서 TPUs는 3 위를 차지했습니다 포드 (Pod)로 전체 시간 메트릭의 스팟, 그리고 나서 상위 두 곳은 비용으로 믿습니다 퍼블릭 클라우드 컴퓨팅 리소스를 사용합니다 멋지다

WARRICK : 멋지다 자,이 칩들과 함께 일하는 것에 대해 가장 즐기는 것은 무엇입니까? 그리고 병렬 처리 작업? 제프 딘 : 사실 나는 흥분했습니다 꽤 오랜 시간 동안 병렬 처리에 대해, 대학에서 내 고등학교 1 학년 때부터 미네소타에서 병렬 처리 그리고 그 당시 나는 그것에 대해 정말로 흥분했습니다 왜냐하면 나는 더 많은 계산이 답이라고 느꼈기 때문에 더 많은 문제를 해결할 수 있습니다

그리고 이것은 흥분의 첫 번째 물결에서 일종의 것이 었습니다 80 년대 후반에 발생한 신경망에 대해 새로운 알고리즘이 개발 된 90 년대 초반 잠재적으로 흥미로운 것처럼 처음으로 부상했습니다 어려운 문제를 해결하는 방법 그리고 그 당시, 기본적으로, 신경망 장난감 크기의 문제에 대한 흥미로운 결과를 얻을 수 있습니다 정말 흥미로운 문제로 확장 할 수 없습니다

그래서 흥분의 물결이있었습니다 이것에 대해,하지만 그때 흥분의 파도, 나는 더 많은 계산을 느꼈다 시키는데 도움이 될 것 같았 어 우리는 더 큰 문제를 해결합니다 그래서 저는 교수와 함께 일하는 학부 논문을 만들었습니다

병렬 및 분산 컴퓨팅 클래스 강의 나는 독립적 인 논문을 만들었다 신경망의 병렬 교육 그래서 우리가 64 프로세서를 사용할 수있는 것처럼 느껴졌습니다 우리 부서에서 가지고있는 기계와 평행 방법을 적용해라 그것에 우리는 60 배 더 많은 계산을 할 수 있었고 그것을 적용 할 수있었습니다 이 일에, 그리고 나서 우리는 더 큰 문제를 해결할 수 있습니다

되돌아 보면, 우리는 백만 배나 더 많은 계산이 필요했습니다 60이 아닙니다 근본적으로 그냥 기다리면 더 많은 무어의 법칙으로, 적어도 약 5까지 또는 무어의 법칙이 크게 둔화 된 10 년 전 하지만 그 전에는 지난 25 년, 40 년, 심지어 우리는 일관된 2 배 성능을 얻고있었습니다 개선 2 년마다 당신은 단지 충분히 길게 그리고 갑자기 모든 것을 기다립니다

수백만 배나 많은 계산을하면 황금이됩니다 그리고 2008 년, 2009 년과 같은 일이 시작되었습니다 우리는 갑자기 처음에는 GPU 카드를 사용하여 충분한 계산을했고, 게임을 위해 디자인되었지만 분명히 밝혀졌습니다 깊은 학습 모델을 훈련하는 데 아주 유용 할 것입니다 당신이 원하는 많은 가속도가 있기 때문에 그래픽 처리를 위해 할 일 깊은 학습 모델을 훈련 할 수 있어야한다

그래서 사람들이 시작했을 때였습니다 학계에서 우리가 시작했다는 것을 정말로 알기 위해 실제 문제에 대한 흥미로운 결과를 얻기 위해 신경망 그래, 맞아 제프 딘 : 그래서 흥분이있었습니다 백업을 구축하기 시작했습니다

멜라니 워릭 : 가장 힘든 일은 무엇인가요? 당신의 경력에 ​​부품? AI가 수년 동안 잘 받아 들여진 것은 아니 었습니다 당신이 당시와 2006 년 사이에 공부할 때, 정말로, 맞습니까? 그래서 가장 어려운 순간은 무엇 이었습니까? 이 관심을 추구하는 측면에서, 이 연구를 추진하고 있습니까? 제프 딘 : 예, 사실 저는 온 것 같습니다 이것에 일반 컴퓨터 시스템 사람 그래서 저는보기를 좋아합니다 내가 가지고있는 렌즈의 종류 흥미로운 문제가 있습니까? 우리는 그 문제를 해결할 컴퓨터 시스템을 구축 할 수 있습니다

종종 표현을위한 좋은 추상화 우리가 수행하고자하는 계산, 또는 많은 양의 계산 및 병렬화 방법 파악 많은 컴퓨터에서 계산을 분산하거나 배포 할 수 있습니다 그래서 우리는 계산을 확대 할 수 있습니다 그래서 나는 학부생으로 일하고 있었지만 이 병렬 신경 훈련 [INAUDIBLE] 훈련 나는 그 관점에서 바라보고 있었다

컴퓨터 시스템을 어떻게 구축 할 수 있을까요? 그런 다음 기계 학습에 관심을 갖기 시작했습니다 2011 년에 앤드류와 충돌했을 때 Google의 마이크로 부엌에서 멜라니 워릭 : 나는 말할 것이다 그 이야기는 당신이 마이크로 부엌에 있었습니까? 네, 그렇습니다 그래서 나는 그를 조금 알고 있었다

그리고 나는 이렇게 말했습니다 아, 여기서 뭐하고 있니? 그는 오, 그리고 하루, 일주일, Google X에서 그리고 나는 내가 여기서 뭘하는지 알지 못했다 아직,하지만 스탠포드의 제 학생들이 시작하고 있습니다 어떤 종류의 문제가 신경망으로 풀릴 수 있는지보기 그들은 꽤 좋은 결과를 얻고 있습니다

나는 오, 정말? 꽤 괜찮은데 나는 학부생으로서 신경망에 대해 약간의 연구를했다 나는 그들이 지금 정말로 일하고 있다고 말했다 그리고 그는 좋아, 그렇습니다 그래서 저는 우리가 정말로 큰 신경망을 훈련해야한다고 말했습니다

그래서 그것이 어떻게 생겨 났는가? 우리는 Greg와 함께 Global Brain Project를 구성하기로 결정했습니다 코라도 그리고 우리는 근본적으로 그 당시 가속기가 없었습니다 또는 데이터 센터, 그러나 우리는 컴퓨터가 아주 많다고 말했습니다

컴퓨터 시스템을 만드는 방법을 알아 봅시다 CPU를 사용하여 정말로 큰 신경망을 훈련시킬 수 있습니다 MARK MANDEL : 그 순간이 어땠는지, 이것은 정말로 큰 일이 될 것입니까? 그렇게 생각 했니? JEFF DEAN : 우리가 조금은 조금은 한 번 같은 느낌 이었어 더 많은 일, 어쩌면 또 다른 한달의 물놀이, 그렇다면 실제로 문제를 해결할 수있는 것처럼 보였습니다 사람들이 느낀 신경망 오랫동안 올바른 추상화처럼, 하지만 어쩌면 그들은 진짜 문제에서 갑자기 일하기 시작할 것입니다

우리가 많은 계산을 적용 할 수 있다면 그리고 그것은 정말로 제 많은 관심사였습니다 지난 6 ~ 7 년 간 어떻게 문제를 계산할 수 있을까요? 당신은 기계 학습으로 태클하고 싶습니다 특히 깊은 학습? 멜라니 워릭 : 오늘 우리가 이것을 녹음 중입니다 신경 정보 처리 시스템 회의 후

11 분과 너무 많은 초처럼 매진되었습니다 제프 딘 : 48 세 멜라니 워릭 : 48 초 제프 딘 : 11 분 48 초 멜라니 워릭 (MELANIE WARRICK) : 이것을 예로 들면, 이 분야에서 분명히 많은 흥분이 있습니다

이 모든 흥분에 대해 어떻게 생각하세요? 제프 딘 : 상당한 과대 광고가 있습니다 그러나 다른 한편으로, 과대 광고 – 그것의 일부 실제로 우리가 실제로이기 때문에 실제로 정당화됩니다 우리가 할 수없는 문제를 해결할 수있는 시스템을 만들 수있다 5 년 또는 10 년 전에 해결하십시오 나는 컴퓨터 비전에 대해 언급했다

음성 인식은 엄청나게 발전했습니다 번역이 향상되었습니다 이러한 종류의 많은 응용 프로그램 실질적인 개선 또는 새로운 기능을 보여 주었으며, 어떤 컴퓨터가 할 수 있는지 그래서 나는 그것이 사람들이 흥분하는 이유의 일부라고 생각합니다 많은 사람들이 현장에 들어가고 싶어합니다

그래서 기계 학습 수업에 등록하는 것을 보았습니다 학부 및 대학원 레벨 그냥 지붕을 통과합니다 주요 기계를 다니는 사람들이 점점 더 많아지는 것을 보았습니다 회의를 배우기 연구 논문의 수를 봅니다

실제보다 빠른 지수 비율로 성장하는 아카이브 지난 7 ~ 8 년 동안 무어의 법칙보다 그것은 아주 주목할만한 일입니다 사람들의 기대를 완화시키는 것이 중요하다고 생각합니다 누가 우리가 초월적인 것들을 가질 것이라고 생각하니? 인간이 할 수없는 일반적인 문제를 해결할 수있다 다음 6 개월 내에 해결할 수 있습니다 그건 한 마디의 마약 중독이야

그것은 분명히 정당화되지 않았습니다 그러나 인식하는 것도 중요합니다 컴퓨터가 이제 볼 수 있습니다 그것은 꽤 큰 일이며, 이것은 중요한 의미를 가지고 있습니다 다른 영역, Google 또는 Alphabet, 자율 차량에 대한 작업 – 분명히, 컴퓨터 비전과 인식은 중요한 구성 요소입니다

안전한 자율 차량을 만드는 것 – 로봇 공학, 의학 이미징을위한 기계 학습, 기계 기타 의료 응용, 건강 관리를위한 학습 응용 프로그램 이것들은 세계의 주요 문제들을 변형시킬 것입니다, 좋았어 그것이 과장된 이유입니다 과도한 과대 광고를 줄이는 것이 중요합니다 내가 과대 광고해서는 안된다는 말은하지 말라

우리가 어떤 컴퓨터에서 중요한 발전을하고 있다고 생각하십니까? 할수있다 멜라니 워릭 (MELANIE WARRICK) 특히, 당신은 당신이 많은 관심을 얻지 않는 것 같은 느낌, 그러나 꽤 영향력이 있습니까? 네 내 말은, 실현이 있다고 생각해 내가 몇 가지 다른 문제를 보러왔다 우리 그룹의 연구자들은, 그리고 계속되고있는 다른 일들, 많은 과학적 문제에서 예를 들어, 전통적이며, 고성능이며, 일부 속성의 컴퓨팅 기반 시뮬레이션, 어떤 과학적인 것

어쩌면 당신은 화학적 상호 작용을 시뮬레이션하고있을 것입니다 매우 미세한 입자 수준 어떻게 전자가 흐르고 어떤 성질을 갖는가? 그게 있니? 또는 어쩌면 당신은 지진 결함을 시뮬레이션하고 있습니다 매우 상세한 물리학 기반 모델을 가지고 있습니다 미끄러짐과 지진이 어떻게 발생 하는지를 그리고 종종 이러한 계산 모델 계산적으로 매우 비싸다

그래서 당신은 당신의 시뮬레이터와 1 시간 동안 하나의 화학 물질을 사용합니다 나중에 퀀텀에 대한 정보를 얻습니다 이 화학 물의 특성, 또는 무엇이 결합 하는가? 무엇, 또는 그런 것들 그리고 실제로 시뮬레이터를 교사로 사용할 수 있습니다 그리고 만약 당신이 정말로 비싼 과학 시뮬레이터를 가지고 있다면, 종종 시뮬레이터의 기능을 수행하기 위해 신경망을 훈련 할 수 있습니다

완전히 [INAUDIBLE] 당신은 당신이 먹었을 입력을 시뮬레이터에 가져 가고, 출력을 얻었고 많은 예제를 실행했습니다 시뮬레이터를 통해 이제 당신은 [INAUDIBLE] 몇 가지 다른 도메인에서 Google은 실제로 보이는 사람들은 이것을합니다 예를 들어, 양자 화학 영역에서, George Dahl 및 우리 연구 그룹의 다른 사람들은, 다른 대학의 일부 화학자들과 함께 일했다

그들이 사용하고 있던 시뮬레이터를 가져 갔고, 티를하기 위해 신경망을 훈련했고, 지금 그들은 정확도와 원래의 HPC 스타일을 구별 할 수 없다 모의 실험 장치 그러나이 도구는 30 만 배 더 빠릅니다 MARK MANDEL : 와우 제프 딘 : 그리고 언제든지 당신의 도구를 가져 가세요

그리고 당신은 그것을 30 만 배 더 빨리 만든다 그것은 당신이 과학을 어떻게 할 것인지를 변화시킵니다 좋아, 너 상상할 수있어, 오, 커피를 만들거야 1 억 개의 분자를 가려 내고 내가 돌아 왔을 때, 나는 10,000을 볼 것이다 가장 흥미 롭습니다

그리고 같은 일이 브렌든 미드에게 일어났습니다 방문 하버드 대 교수진 1 년 동안 케임브리지에서 우리 그룹을 방문했습니다 지진 과오 시뮬레이션에 많은 노력을 기울였습니다 그는 중개했다, 직장에서 그는 단지 그가 우리를 방문하기 전에, 그가 지진 결함 시뮬레이션 대체 세계에서 가장 얇은 신경망의 내부 루프 그것은 각각 10 개의 뉴런으로 이루어진 4 개의 층이었고 갑자기, 그 일은 10 ~ 10 만 배 더 빨랐다

와우 와우 제프 딘 : 정확성의 차이를 말할 수 없었습니다 그래서 나는 그것이보기에 좋은 렌즈라고 생각합니다 과학적 컴퓨팅이나 시뮬레이션을하고 있습니까? 어떤 종류의? 그런 다음 신경망을 훈련시켜 그 근사치를 계산할 수 있습니까? 정확할 가능성이 매우 높습니다

교육 자료가 충분하다면? Mark MANDEL : 이제 저는 생각합니다 – 멜라니 워릭 : 아이디어를 줘? MARK MANDEL : 글쎄, 나는 게임, 그래서 지금 당신은 그런 종류의 공연을 얻을 수 있다면 나는 같아요 그 수준의 시뮬레이션을 위해서는 정말 흥미로운 일을 할 수 있습니다 네 맞습니다 네

멜라니 워릭 : 그리고 나는 네가 이것에 대해 말한 것을 보았다고 생각한다 신경망을 사용하여 도움을 얻고 있다는 것을 시스템의 실제 성능 향상과 함께 그들 자신 제프 딘 : 일반 컴퓨터에는 큰 기회가 있습니다 시스템 따라서 운영의 핵심에 대해 생각한다면 시스템 또는 컴파일러, 또는 스토리지 시스템, 또는 다른 컴퓨터 시스템, 그들은 일반적으로 손으로 쓴 경험적 방법을 사용합니다

어떤 프로세스가 운영 체제 여야합니까? 사용할 수있는 준비된 프로세스 중에서 다음 일정을 예약 하시겠습니까? 또는 컴파일러의 경우 코드를 내야합니까? 이 루프와 함께 주문, 또는이 루프 주문? 또는 이것이 어떤 변수가 메모리에 구축되어야하는지 그것들을 모두 레지스터에 넣을 수 없을 때? 그리고 많은 경우에, 나는 이것이 실제로 있다고 믿습니다 학습 문제 그래서 사람들이 손으로 쓰는 경향이있는 발견 적 방법 일반적인 경우에 잘 작동해야하며, 그런 식으로는 실제로 개발 될 수 없습니다 시스템이 사용되는 방식에 완전히 적응할 수 있습니다 그래서 우리의 거대한 테이블 스토리지 시스템에서 여러분에게 모범을 보이기 위해서 – 이것은 본질적으로 핵심 가치 저장소입니다

그리고 클라이언트 요청은 큰 테이블 서버로 들어옵니다 특정 데이터를 요청할 수 있습니다 다른 테이블에서 읽습니다 그런 일이 발생하면 큰 테이블 서버 그것을 이름 메모리 캐시에 넣기로 결정하고, 그 데이터가 다시 필요할 경우, 캐시에 있습니다 디스크에 가서 가져올 필요가 없습니다

그리고 보시면 많은 정보가 있습니다 결정을 내릴 때 사용할 수 있습니다 디스크의 데이터 우리는 예를 들어 내부 사용자 그룹을 알고 있습니다 그 프로세스를 실행중인 작업의 데이터를 요청했습니다

우리는 아마도 이것을 요구 한 직무를 알고 있습니다 그리고 당신은 결코 휴리스틱을 쓰지 않을 것입니다 따라서 순차적 인지도 제작에서부터 많은 처리가 이루어집니다 스타일 처리 작업 데이터를 한 번 읽으십시오 한 시간이 지나기 전에 다시 사용하지 마십시오

나중에 비슷한지도 제작이 시작됩니다 하지만 실제로 캐시에 삽입하고 싶지는 않습니다 왜냐하면 당신은 즉시 모든 사용을 얻지 못할 것이기 때문입니다 하지만 당신은 결코 휴리스틱을 쓰지 않을 것입니다 큰 테이블 서버의 중간에 즉, 작업 이름이 MapReduce 대시로 시작하는 경우, 그런 다음 캐시에 삽입하지 마십시오

그러나 학습 추론이 할 수있는 것을 살펴 본다면, 꽤 빨리 패턴을 배울 것입니다 MapReduce 대시로 시작하는 것처럼 보이는 이러한 작업 캐시에 삽입 한 데이터를 재사용하는 것처럼 보이지 않습니다 그래서 저는 삽입하지 않을 것입니다 그리고 수천 명의 사람들에게 거대한 잠재력이 있다고 생각합니다 수천 및 수천의 발견 적 방법 컴퓨터 시스템에서, 정말로, 대부분은 배우고 실제 사용 방법에 적응하십시오

멜라니 워릭 : 정말 멋지고 흥미 롭습니다 이것이 개선 될 수있는 방법에 대해 생각해보십시오 너에게 묻고 싶은 것들이 너무 많아 우리는 확실히 제한 될 것입니다 그래서 나는 공간을 확보하고 싶다

네가 우리가 이것을 발표 할 때 남아프리카에있을 것입니다 그리고 구체적으로 말하면 당신은 거기에 있습니다 딥 러닝 인다 바에서 케이프 타운 바깥에 위치 그럼 어떻게하면되는지 알려주시겠습니까? 너는 이것에 연루되어있어, 회의 자체, 그리고 당신은 무엇에 관해 말하고있을 예정입니까? 물론이지 그래서 나는 도전적인 문제를 푸는 것에 대해 이야기 할 것입니다

깊은 학습이나 뭔가의 세계에서 좋아요 사실, 프레임 된 방식은 주위에 있습니다 국립 공학 아카데미 2008 년 중요한 문제 목록을 발표했다 엔지니어링 공동체를 위해, 커다랗고, 21 세기에 일하기

그리고 그것은 14 가지 영역의 목록입니다 의료 정보학 향상, 더 나은 약을 개발하고, 태양 에너지 생산을 향상시킵니다 그리고 만약 당신이 그들을 보았다면, 저는 실제로 기계 학습이 태클에 유용 할 것이라고 생각한다 그 다른 모든 것들의 크고 작은 조각 그래, 맞아

제프 딘 : 그러니까 그 얘기는 약간 짜 맞춰져 있습니다 이봐 요, 여기 있습니다 우리가 해낸 흥미로운 일들 그것은 일부를 풀기위한 길의 일부입니다 이 웅대 한 도전 지역의 좋았어

제프 딘 : 그리고 딥 레이디 인다 바 (Deep Learning Indaba) 정말 흥미 진진한 사건입니다 그것은 모임입니다, 나는 약 400 명 또는 500 명이라고 생각합니다 거의 아프리카 대륙에서부터, 다른 나라에서 그리고 정말로, 급성장하고 흥미로운 커뮤니티가 있습니다 기계 사용에 흥분되는 아프리카에서 학습 및 기계 학습 연구, 아프리카 국가의 문제를 해결하기 위해 기계 학습을 사용 전 세계에 걸쳐 그리고 나는 이것이 정말로 흥미 롭다고 생각한다

아프리카의 연구 공동체의 팽창을보기 위해, 다른 나라들도 마찬가지입니다 그래서 그 일에 참여하게 된 것을 기쁘게 생각합니다 나는 실제로 우간다와 소말리아에서 어렸을 때 살았습니다 와우 와우

마크 AND델 : 멋지다 그래서 나는 단지 – 멜라니 워릭 : 그것은 당신에게 중요합니다 이 그룹에 참여하고보고 성장할 수 있어야합니다 마크 멘델 : 환상적입니다 멜라니 워릭 : 두뇌가 확장 된 것도 알고 있습니다

가나에, 그리고 복장이 있어요 무스타파 시세 (Moustapha Cisse)가 이끌고 있는데, 우리는 어느 시점에서, 잘하면 포드 캐스트에 올 것입니다 내가 그를 만났기 때문에 그는 훌륭합니다 대단한데 멜라니 워릭 : 알아, 그는 위대해

그리고 나는 그들이 바닥에서 떨어져 있고 우리가 말하는 것처럼 달리고 있다는 것을 알고 있습니다 당신이 다른 그룹이 있습니까? 성장할 것, 또는 다른 사무실 너는 심지어 말 할 수있는 회전을 찾고 있니? 아니면 우리가 제대로 이야기 할 수없는 것입니까? 제프 딘 : 우리는 가나 사무소에 대해 매우 흥분하고 있습니다 우리는 사무실 공간을 혁신하기위한 마지막 골목에 서 있습니다 우린 사무실에 사람들을 고용 했어 내가 생각하기에는 큰 도움이 될 것 같아

우리의 글로벌 연구 기관에 그들은 두 기계 모두에서 환상적인 작업을 수행 할 것입니다 학습 연구, 흥미로운 적용을보고 가나와 그 나머지 지역에 특유한 문제들 아프리카 나는 그것이 무스타파를 아주 좋아할 것이라고 생각한다 그는 훌륭한 지도자이며 훌륭한 사람입니다 우리 사무실에 그를 데려 간다

멜라니 워릭 : 그는 멋진 사람입니다 내가 너에게 묻고 싶었던 다른 것, 또는 다른 몇 가지 그래서 Deep Learning Indaba를 기대합니다 누가 거기에 관심이있는 사람, 쇼 노트에 제공 할 리소스가 있습니다 우리가 만져보고 싶은 마지막 몇 가지 너를 풀어주기 전에

최고의 조언 중 하나 인 것을 알고 싶다 당신이 당신의 경력에서받은 것 제프 딘 : 특정 조언이 필요한지 모르겠습니다 나는 받았지만, 내가 만든 관찰은 내 경력은 재미있는 일을하는 정말 좋은 방법입니다 당신이하지 않는 것을 알고있는 사람들과 파트너가되기 위해서

그리고 저는 종종 비슷한 프로젝트, 3 가지 프로젝트 또는 네 사람, 각자 다른 종류의 전문성 그리고 집합 적으로, 당신은 함께합니다 당신 누구도 흥미로운 문제를 해결할 수는 없어요 개별적으로 해결할 수 있습니다 하지만 집단적으로 할 수 있습니다

기술의 전체가있다 또는 그들을 개발할 수 있습니다 정말 중요한 이유가 계속해서 새로운 것을 배우는 것이 좋은 방법인가요? 학교를 졸업 한 후에도 나는 당신이 학부 때 생각한다 또는 대학원에서, 또는 무엇이든, 당신은 분명히 학습 것들

그러나 일을 계속 배우고 픽업하는 것이 중요합니다 새로운 아이디어와 일종의 뇌 자극, 이것은 정말 좋은 방법입니다 그리고 나서 당신은 그 프로젝트로 떠납니다 당신은 다른 프로젝트로 진행합니다 다른 사람들의 전문 지식 중 일부 너에게 빛나는 문양이있어, 지금 적어도 문제를 볼 수 있습니다

그들이 가지고있는 전문 지식의 렌즈를 통해, 오, 그래, 그렇게 많이 생겼어 내가 물어볼 질문이나 올바른 접근법을 안다 그게 아니라해도 당신의 공식적인 배경 그래, 확실히 당신은 무어의 법칙과 연구의 양에 관해 언급했습니다

그게 나오고 특히 서류들 당신은 어떻게 자원과 연구를 유지합니까, 그리고 그 모든? 그래, 다시 말하자면, 나는 이것이 너 자신을 둘러싼 곳이라고 생각해 당신이하지 못하는 것을 아는 사람들은 정말로 좋은 길입니다 네가 좋은 사람들의 네트워크를 가지고 있다면 당신이 상호 작용한다는 것은 부분적으로 당신의 눈과 귀가 될 수 있습니다 관심있는 분야에서 흥미로운 것을주의 깊게 살펴보십시오

말하자면, 오, 예, 그것은 재미 있습니다 누군가 오늘이 사실을 말해 줬어 그리고 서로 다른 영역간에 도트를 연결할 수 있습니다 여기에서 개발 된 기법의 잠재력을 확인하십시오 그것이 어떻게 여기에서 사용될 수 있는지, 그것이 어떻게 잘 결합되는지 다른 기술과 함께, 그리고 실제로 서로를 기반으로합니다

그래서 나는 모든 것을 따라 잡는 것이 매우 어렵다고 생각합니다 그래서 당신은 집단적으로 당신이 정말로 당신이 어떤 것을 발견 할 필요가 있습니다 너 자신을 따르고 그 후에 대담한 정보 수준을 얻으십시오 다른 것들에 대해서 제가 관찰 한 한 가지는 많은 사람들이 정말로, 정말로 깊이 연구 논문을 읽었습니다 때로는 중요하다고 생각합니다

그러나 일반적인 학습을위한 잘못된 접근 방법입니다 나는 네가 훨씬 더 잘 봉사 할거라 생각한다 100 개의 초록 100 개를 읽을 시간이 필요하다 다른 서류와 최고 수준의 이해 그들 각각이 가지고있는 개념 너는 항상 더 자세히 읽을 수 있기 때문에 당신이 그것에 대해 더 많이 알아야 할 필요가 있다면, 100 개의 정보를 가질 수는 있습니다

좋아, 오, 그래, 그건 기술이야 그게 문제 야 우리는 그런 것을 할 수 있습니다 그 점을 실제로 연결하는 방법입니다 필드를 가로 질러 연결하기 또는 다른 문제에 걸쳐

좋아요 멜라니 워릭 (MELANIE WARRICK) : 특정 공공 연구 너는 최근에 들어 봤어, 특히 그게 마음에오고, 당신이 맘에 든다면, 나에게 흥미 롭습니다 제프 딘 : 글쎄, 나는 생각한다 자동으로 컴퓨터를 사용할 수있는 방법 실험을하고, 그 결과를 측정하고, 결과를 지속적으로 흡수합니다 첫 번째 실험 집합의 새로운 실험을 생성합니다

그래서 모든 신경 건축물 검색 작업, 또는 우리 그룹이 가지고있는 자동차 직업 해왔다, 강화 학습 기반의 많은 Go와 같은 게임을 풀 때 약속을 보여주는 작품 또는 우리의 [INAUDIBLE] 나는이 모든 것들이 그 일반적인 방향을 지적한다고 생각한다 자동으로 컴퓨터를 사용할 수있는 방법 문제 해결을위한 다양한 접근 방법을 모색한다 중요한 일이 될 것입니다 컴퓨터는 50,000 회의 실험을 실행할 수 있기 때문에, 인간이 50을 돌리는 동안, 결과를보고, 그 다음에 실행해야 할 다음 50 가지 항목을 파악합니다 MARK MANDEL : 네

멜라니 워릭 : 좋아, 그리고 다른 질문 나는 모든 인터뷰에서 너에게 묻고 싶다 너는 해본 적이있다 무슨 질문을 할까? 사람들이 너에게 물어 보길 바란다 흥미로운 점 하나 알려 드리겠습니다 어떤 사람들은 모른다

그래서 저는 실제로 아이처럼 많이 움직였습니다 나는 12 년 동안 11 개 학교에 다녔다 그리고 나는 생각한다 멜라니 워릭 : 그건 학교 다 제프 딘 : 학교가 많습니다

오, 새해, 새 학교처럼 멜라니 워릭 : 너는 많은 친구들을 사귀는 법을 배웠다 확실해 네 제 말은 제게 도움이되었다고 생각합니다

내가 다른 곳에서 살게했기 때문에 환경의 종류에 관계없이 하와이, 보스톤, 우간다, 보스톤, 아칸소, 하와이, 미네소타, 소말리아, 애틀란타, 제네바, 시애틀, 베이 지역 멜라니 WARRICK : 당신은 전혀 개방적이어서는 안됩니다 제 도움이되는 것 같아요 그 장소들 어디에서나 정말 훌륭한면을 발견 할 수 있습니다 나는 그것이 좋은 전망이라고 생각합니다

마크 멘델 : 환상적입니다 마무리하기 전에 모든 리소스를 우리 청취자들에게 추천하고 싶다 깊은 학습을 원하는 사람들, TPUs, Google 두뇌, 줄기 세포 연구 그래, 나는이 질문을 많이 받았다 그것의 많은 것은 전문 지식의 수준에 달려 있습니다

이미있다 그래서 나는 하나의 대답을 가지고 있지 않다고 생각하지만, 나는 추천한다 많은 블로그가 있습니다 크리스 Olah의 블로그와 distillpub 저널 그는 숀 카터 (Sean Carter) 특정 수준의 사람들을위한 정말 좋은 박람회입니다

전문 지식 내 생각에는 기계가 크래시를 배우는 것과 같아 Google이 제시 한 과정 Udacity와 Coursera에는 많은 코스가 있습니다 다양한 수준의 전문 지식, 깊은 학습 Ian Goodfellow, Yoshua Bengio 및 Aaron 교과서 쿠르 빌은 아주 좋은 것입니다

목표로 삼는 자료가 많이 있습니다 수학이 덜 진보 한 사람들 같은, 고등학생 및 중학교의 기술 학생 거기에는 풍부한 정보가 있습니다 공동체가 생산하고있는 것이 정말 좋습니다 너무 많은 입문 자료와 고급 자료 모두를위한

마크 AND델 : 훌륭합니다 멜라니 워릭 : 좋아 글쎄, 우리는 당신이 말하고 있다는 사실을 다뤘다 딥 러브 인더 바에서 우리가 너를 풀어주기 전에 말하고 싶은게 있니? 아니, 정말 흥분 돼

나를 보내 주셔서 감사하고 대화에 감사드립니다 멜라니 워릭 : 와줘서 고마워 고맙습니다 MARK MANDEL : 정말 고마워요 물론이지

MARK MANDEL : 다시 한번 Jeff에게 감사드립니다 그냥 모든 일에 참여하는 것이 정말 좋았습니다 그리고 내가 그 점에서 정말로 감사하는 많은 것들 중 하나 그가 아직도 코드하는 것을 듣고 있었다 네 그 애가 오늘 하루 야

MARK MANDEL : 월요일에, 나는 암호를 썼다 MELANIE WARRICK : 그것이 바로 내가 코딩 할 때입니다 당신이되는 것처럼 그렇게하기가 어렵습니다 네 인생에서 그 유형의 공간을 만들기 위해 더 많은 노인 어쨌든, 고마워

MARK MANDEL : 네 알았어 주의 질문 마크 맹델 : 그래서 우리 멋진 친구, 게이 게이 와이즈 : Whee

헤이 게이브, 너를위한 멋진 질문이있어 왜냐하면 우리는 당신이 코어에서 물건을 다룬다는 것을 알고 있기 때문입니다 GABE WEISS : 준비 됐어 MARK MANDEL : IoT Core가 있다면, IoT Core에서 데이터를 얻는 방법 웹 프런트 엔드에 실시간으로 표시 하시겠습니까? 나는 당신이 이런 식으로 일했다고 믿습니다

GABE WEISS : 나는 최근에있다 IoT에서 일하는 사람은 누구나 알고 있습니다 이것을하기위한 다양한 방법이 있습니다 다른 종류의 장치가 있습니다 다른 프로토콜이 있습니다

다른 모든 것이 있습니다 그래서 해변에 얼마나 많은 모래 덩어리가 있습니까? 이것이 얼마나 많은 방법으로 이것을 할 수 있느냐입니다 우리가 황금 경로의 일종으로 그 일을 한 방법 Cloud at 2018 년에 무대에 전체 엔드 앱을 만들었습니다 우리 다섯이 있었어

그래서 우리는 장치에서 나왔습니다 일부 센서와 함께 Raspberry Pi를 사용했습니다 우리가 한 일은 심장 박동수를 측정하는거야 그리고 그것은 프로토콜로서 MTTT와 통신 할 것입니다 우리는 IoT Core를 사용하여 수신 방법을 이해합니다 따라서 장치에서 원격 측정 데이터를 전송할 수 있습니다

IoT 코어로 IoT Core에서 브리지됩니다 모든 원격 측정 데이터가됩니다 이벤트 스트림 관리자 인 Cloud Pub / Sub의 이벤트입니다 Cloud Pub / Sub에서 Cloud 기능을 트리거 할 수 있습니다

Pub / Sub에서 원격 측정 데이터를 끌어 내려면 데이터웨어 하우스에 저장합니다 클라우드 파이어 스토어 (Cloud FireStore)였다 우리는 FireStore를 SQL 데이터베이스가 아니기 때문에 선택했습니다 그것은 매우 낮은 대기 시간이고 특별한 소스가 있습니다 푸시 메커니즘이있어 프런트 엔드 앱에서 데이터베이스에서 데이터가 변경되면 콜백에 등록하십시오

따라서 실시간 응용 프로그램의 경우 이것은 엄청납니다 그래서 우리의 프런트 엔드는 Angular 앱이었습니다 FireStore에서이 콜백에 가입 한 우리가 작성한 그것을 끌어 당겨 우리의 심장 박동수를 그래프에 그립니다 끝까지 끝까지, IoT Core까지 디바이스였습니다 Cloud Pub / Sub에서 브리징됩니다

Pub / Sub에는 클라우드 기능이 있습니다 그것을 Cloud FireStore로 밀어 넣습니다 FireStore는 콜백을 통해 각도 앱으로 실행됩니다 좋았어 GABE WEISS : 예

MARK MANDEL : 와우 GABE WEISS : 꽤 근사했습니다 MARK MANDEL : 그 말을 세 번 빨리하십시오 GABE WEISS : 나는 할 수 없다는 것을 안다 내가 한 번 해냈어

충분히 좋았지, 그렇지? MARK MANDEL : 그게 효과가 있습니다 공개 샘플이 있습니까? 사람들이 실제로 가서보고 볼 수 있습니까? GABE WEISS : 예 그래서 그것을 찾는 가장 쉬운 방법은 YouTube에 있다면, 당신은 "IoT 애플리케이션 구축"에 대한 검색을 수행합니다 Google Cloud에서 " 그곳에있는 유일한 사람

컨퍼런스 비디오를보실 수 있습니다 설명의 링크 모든 코드를 사용하여 GitHub에 연결됩니다 MARK MANDEL : 굉장해 멜라니 워릭 : 잘 됐네 고마워, 게이

와 주셔서 감사합니다 우리는 그주의 질문을합니다 게이브 와이즈 : 나를 보내 주셔서 고마워요 알았어, 마크, 너 어디 갈거야? MARK MANDEL : 내가 뭘하고 있니? 너 뭐하고 있니, 뭘 안다고? MARK MANDEL : 그래서 나올 때, 나는 도쿄에있을거야 멜라니 워릭 : 네

MARK MANDEL : 도쿄 다음 준비하기 매우 흥분했습니다 나는 거기에 대해 이야기 할 것이다 [INAUDIBLE] 나는 일부 게임 사람들과 이야기하고 있습니다 그래서 당신이 마을에 있다면, 인사하러와

너 무슨 일이야? 멜레 니 워릭 : 그리고 나는 스텔 렌 보쉬에있을거야 나는 아마 내가이 시점에서 많은 것을 말했을 것이라고 생각한다 예, 그렇습니다 MELANIE WARRICK :하지만 몇 가지 인터뷰를 할 예정입니다 그리고 너와 나는 둘 다 Strange Loop에있게 될거야

월말 MARK MANDEL : 그래, 정말 좋을거야 게이브, 다음 달에 특별한 곳으로가는거야? GABE WEISS : 나야 우리는 유럽 여행을하고 있습니다 나는 런던, 파리, 바르셀로나를하고있다

일련의 회의를 위해 오, 그게 어렵다고 들었어 MARK MANDEL : 어느 회의에 갈 건데? GABE WEISS : 그래서 London은 Cloud Next입니다 이는 우리 시리즈의 다음 반복입니다 그리고 파리는 팀 메이트를 방문하고 있습니다

나는 이상한 5 일이 있기 때문에, 나는 유럽으로 앞뒤로 날아 다니고 싶지 않다 그리고 바르셀로나는 큰 IoT 회의 인 IoT Solutions World 의회, 일종의 큰 유럽의 IoT 회의입니다 좋았어 마크 멘델 : 환상적입니다 GABE WEISS : 예

멜라니 워릭 : 음, 좋은 여행을해라 GABE WEISS : 고마워 마크, 나는 이번 주에 그것이 우리를위한 것이라고 생각한다 MARK MANDEL : 네 Melanie와 Gabe, 우리와 함께 해줘서 고마워

Podcast에서 또 다른 주간 고마워요 GABE WEISS : 고마워 MARK MANDEL : 그리고 모두 들어 주셔서 감사합니다 우리는 다음주에 모두 만날거야

[음악 재생]