Prabhakar’s Keynote: Reinventing Productivity Using AI

[음악 재생] 연사 1 : Prabhakar Raghavan을 소개하고 싶습니다 우리의 다음 기조 연설

토크 제목은 AI를 사용하여 생산성 향상입니다 Prabhakar Raghavan은 Google의 엔지니어링 담당 부사장입니다 Raghavan은 교과서의 공동 저자입니다 "무작위 알고리즘"및 "소개 정보 검색에 " 그는 국립 공학 아카데미의 회원입니다

ACM과 IEEE의 동료이며 [AUDIO OUT] 교수였습니다 스탠포드 대학 CS의 나는 개인적으로 그의 [무관심] 수업을 들었다 당신의 책에있는 문제 세트에 놀랐습니다 2009 년에, 그는 Laurea honoris causa를 수여 받았다 볼로냐 대학에서

2003 년부터 2009 년까지 Raghavan은 편집장 "저널 오브 ACM" UC Berkeley에서 전기 공학 박사 학위를 받았습니다 컴퓨터 과학 및 기술 학사 IIT Chennai에서 Google에 합류하기 전에 그는 IBM, Verity 및 Yahoo에서 감사합니다, Prabhakar, 그것을 직접 제작 해 주셔서 감사합니다 [박수 갈채] PRABHAKAR RAGHAVAN : [INAUDIBLE] 우리가 얻을 수 있을까요? 큰

고맙습니다 그 말을 듣고 생각하면 틀릴 수도 있습니다 나는 아직도 과학자 야 난 아니다 나는 반대편으로 탈출했다

내 직업은 Google의 생산성에 대한 책임입니다 Gmail, Google 문서 도구, 및 몇몇 다른 사람 오늘 제가 이야기하는 것은 어떤 생각입니다 AI를 사용하여이 불투명 개념을 향상 시키십시오 생산성의 좋습니다, 그래서 여기에 제가 오늘 다룰 것입니다

이 강연에는 네 가지 테마가 있습니다 나는 처음 세 개를 빠르게 돌리겠다 이 테마들 중 네 번째 테마에 약간 머물러 있습니다 우리가 실제로 만든 제품을 포함하는 사례 연구입니다 그리고 희망적으로 많은 사람들이 사용합니다

맞아, 처음부터 시작하자 존 맥카시 (John McCarthy)는 초기에 튜링 상 (Turing Award)을 수상했습니다 '70 년대에, 그는 1987 년에 훌륭한 CSM 논문을 썼다 나는 너희 모두에게 독서를 촉구한다 그가 말한 곳에, 이것은 내가 내 튜링을 좋아했을 것입니다

나는 그것을 쓸 시간이 없다는 점을 제외하고는 상 강연이되었다 그러나 16 년 후, 내가 말하려고했던 모든 것 여전히 사실입니다 그리고 여기에 그가 말하길, "불행히도 우리의 과학, 인공 지능의 보편성 문제 우리는 지금까지도 거의 미해결이다 많은 새로운 아이디어가 있습니다 " 그리고 이것은 1987 년에 작성되었습니다

그것은 30 년 전이었습니다 첫 번째 요점은 내가 시작하기를 원한다 30 년 후, 우리는 여전히 똑같은 말 맥카시 (McCarthy)의 늦은 사건은 더 이상 볼 수 없지만, 그러나 30 년 후, 우리는 여전히 인공 지능에 일반성이 없습니다 당신이 기계를 만들 수 있다는 사실 세계를 이길 챔피언은 실제로하지 않습니다

텍스트의 흐름을 취할 수있는 기계를 만드는 법을 알려줍니다 정말로 인간에게 호소력을 발휘할 농담인가 보지, 그렇지? 그래서 이것은 내가 생각할 것입니다 어떻게해야합니까? 이 분야에 대해 생각해? 나에게 AI는 공학 분야만큼이나 과학으로서 나는 너의 절반이 말할 것이다 물론, 나는 그것을 얻는다

다른 반쪽은 격분하여 말하기를, 나는이 모든 어려운 과학을하고 있고 당신은 그것을 고맙게 생각하지 않는다 과학과 엔진을 이혼시킬 수 없기 때문이죠 그러나 사실 이것은 매우 사실입니다 우리는 점점 더 많은 도구를 보유하고 있습니다 Jeff는 TPU, AutoML에 대해 이야기했는데 이것들은 모든 것입니다 그는 함께 할 수 있습니다 그러나 이것은 더 이상 국가의 종류가 아닙니다

소프트웨어 공학이 맞습니까? 심지어 소프트웨어 엔지니어링도 그렇지 않습니다 체계적으로 할 수있는 시점에서 우리가 문제를 해결해주는 이러한 어려운 문제들, 그래서 모든 인스턴스에서 거의 처음부터 시작해야합니다 이봐, 빌 들어와

슬라이드로 작업하는 것에 대해 이야기하고 싶습니다 몇 분 후에 좋은 그럼이게 뭐야? 이것은 무엇을 의미 하는가? 그래서 공학 제약이라고 불리는 이러한 귀찮은 것을 얻습니다 권리? 과학과 운송 유물 사이의 격차는 어느 것입니까? 그리고 저는 실제로 제 이야기의 후반부에 이것을 강조 할 것입니다 큰

그리고 여기에 다소 논란의 진술이 있습니다 나는 경쟁이 정말로 제한이 없다고 주장한다 내가 의미하는 바는 가장 도전적인 AI입니다 문제가있는 국가에서 머물지 않는다 경쟁만으로는 충분하지 않습니다

무어의 법칙을 따라 잡고, 모든 도구와 같은 새로운 도구를 얻습니다 제프가 말한거야 스피커 2 : 무어의 법칙이 느려지고 있습니다 PRABHAKAR RAGHAVAN : 무어의 법칙이 늦어지고 있습니다 나는 그것이 더 이상 기하 급수적이지 않다는 것을 안다

하지만 여전히 충분히 빨리 성장하고있어 우리는 괜찮아 무어의 법칙은 영원히 계속 될 수 없었습니다 뿐만 아니라 물리학의 이유로,하지만 그 결과 반도체 산업이 추월 할 것이라고 제안한다 무어의 법칙이 계속된다면 세계의 GDP는, 그 일은 분명히 일어나지 않을 것입니다 좋아요, 그래서 저는 다시 많은 학자들이 볼 수 있습니다

이 말에 화가 나서, 구글에서 당신에게 아주 좋은 소식입니다 경쟁이 한계가 아니라는 것은, 하지만 우리에게는 진짜 한계가 있습니다 맞습니까? 하지만 약간 다른 방식으로 설명하겠습니다 Jeff는 놀라운 발전에 대해 이야기했습니다 우리는 지난 몇 년 동안 깊은 신경망을 보았습니다

그러나 그것에 대해 생각한다면 그것은 우연입니다 우리는이 일을 우연히 만났습니다 근본적인 것이 무엇인지 알기 어떤 의미로든 보편적으로 만드는 깊은 신경망 학습 가능한 술어가있을 가능성이 매우 높습니다

팩 감각으로, 그것은 배우고, 깊은 신경망은 그들을 배울 수 없습니다 깊은 신경망에는 근본적으로 신성한 것이 없습니다 그래서 우리는 여전히 잘못된 표현을 바라본 상태 그래서 그것이 내 뜻입니다 너는 충분한 강철을 찾으려고 노력하고있어

실제로 다리를 놓을 때 아마 페리를 짓는 것 좋은 그래서 이제는 아마 모든 사람들을 화나게했을 것입니다 나는 생산적인 일에 대해 생각 해왔다 우리는 생산성이라는 이름으로 그렇게합니다

나는이 슬라이드에 몇 가지를 배치했다 우린 끝나야 해 그렇지? 그래서이 생산적인 작업은 평범한 것에서부터 숭고한 것 이메일이 스팸인지를 결정하는 것은 매우 평범한 일입니다 인간은 쉽게 할 수 있지만 기계도 그렇습니다

그래서 모든 이메일 제공 업체는 원시적 인 것으로서, 많은 세월 동안 – 그들은 그것의 훌륭한 일을합니다 문서를 제출하는 것이 약간 어렵습니다 여러 폴더 중 어디에서 문서를 가져갈 지 결정합니다 그러나 그것은 여전히 ​​[불충 한] 분류 문제입니다 당신이 말하길, 음, 나는 기계로 할 수있다

그것의 꽤 좋은 직업 간단한 이메일 작성은 어떻습니까? 기계가 쓰기 위해 무엇이 필요합니까? 당신 대신 짧은 이메일을 보내시겠습니까? 그건 좀 힘들어 인정 하겠지? 그리고 당신은 창조성의 일부 세균을 그것과 연관시킵니다 회의 자료를 준비하십시오 회의에 들어가서 모든 것을 다 합쳤다

그 회의가 필요해 – 문서, 중요한 사실, 논쟁은 끝났지, 그렇지? 오늘의 예술 상태는 당신이 아마 관련 문서를 꽤 잘 추측하고, 그러나 그것은 회의를 준비하는 것과 같지 않습니다, 그렇죠? 그리고 숭고한 끝에 모든 길 – 훌륭한 교향곡을 쓰고, 맞아, 내 생각에 너는 나에게 동의 하겠지만 여전히 깊이 생각하고있는 것 같아 창조적 인 일, 우리가 기계와 관련이없는 일 그렇다면 우리는 최첨단의 관점에서 어디에 있습니까? 우린 어딘가에있어 우리는 컴퓨터가 당신을 위해 작은 이메일을 쓸 수 있습니다 우리가 이걸 중심으로 구축 한 프로젝트에 대해 이야기하십시오

하지만 여기에는 여전히 점이 많은 점들이 있습니다 그리고 내가 생각하는 방식 중 하나 인 진보가 의미하는 것은 무엇입니까? 진정으로 창의력을 발휘하기 위해 무엇이 필요한지에 대해 생각하고 있습니다 이 스펙트럼에서 기계의 도달 범위를 넘어서는 것입니다 이것은 단지 하나의 차원에 불과하지만 생산성의 영역에 있습니다 나는 그 진전을 AI와 논쟁하고있다

이 경계를 계속해서 압박하는 것입니다 그곳의 영토를 점점 더 정복하십시오 그래서 그 중 몇 가지를 생각해 봅시다 네가 [INAUDIBLE]되기 전에 거기에 있을지도 몰라 박물관 큐레이터의 일을 생각해보십시오 그 또는 그녀는 사진을 찍고 결정해야합니다 이게 진짜 피카소라면, 그걸 생각해 말하지만, 어쩌면 기계화가 거의되지 않을 수도 있습니다 박물관이 얻으려고하는 인공물은 다음과 같습니다

우리는 그것을 얼마나 평가해야합니까? 그것들은 판단이고, 당신은 그것을보고 말하기를, 어쩌면 우리는 그 기계를 상상할 수 있습니다 그런 일을 잘할 수있어 이러한 작업을 위로 이동하십시오 너는 그 일에 익숙하다 간트?] 여기 얼마나 많은 사람들이 [들었습니까? 간트? ?] 공정한 소수 그래? 일단 당신이 할 수있는 것을 인식하기 시작하십시오 큐레이터의 직업을 시작하면 [? Gantts?] 그걸로, 아름다운 사진을 두 배로 늘리기 시작했을 것입니다

정말 예술적이다 그래서 당신은 그곳에 도달하기 시작합니다 나는 큐레이터의 일을 시작했다 스택에서 위로 올라간다 그것은 꽤 전문화 된 작업입니다

하지만 내가 생각하기를 바라는 일반적인 환경 생산적인 작업은 매우 사소한 것들에서부터 시작됩니다 정말 어려운 일과 직업에 공동체가이 경계를 계속해서 밀어 붙이는 것입니다 그리고 지금 나는 내 남은 시간을 보낼거야 이 분야의 사례 연구에 사례 연구는 우리가 만든 제품입니다 Gmail에서 Smart Reply라고 불리며 – Balint 이 방의 어딘가에있다

나는 그가 들어온 것을 보았다 거기에 그는 뒤에 있습니다 발린 트 (Balint)는이 일을 주도한 수석 엔지니어였습니다 사실, 나는 그의 슬라이드를 많이 훔쳤다 그리고 그는 그 사람들을 매우 잘 알 것이다

좋아, 그럼 우리가 여기서 풀려고했던 문제가 뭐지? 논문은 많은 시간 동안 우리가 이메일을 받았다 기계가 생성하거나 제안 할 수 있어야합니다 짧은 응답 당신이 잠시 동안 이것에 머물면, 프로젝트에 참여한 많은 사람들 그것에 대해 열심히 생각했다 그 이유 중 일부는 이메일 전체가 아닙니다

당신은 진정으로 창조적입니다 많은 것은 꽤 예측 가능합니다 예측 가능하다면 우리는 예측해야합니다, 그렇죠? 그래서 큰 – 그리고 여러분 중 일부는이 행동을 식별 할 수도 있습니다 당신의 하루 시간 동안 탭하고 응답 할 수있는 메시지가 많이 있습니다

아주 짧은 반응을 보였으니까 – 예, 내가 그걸로 잘 하리라 확신한다 네, 내일 만나요 뭐, 맞지? 그리고 나서 당신이 가지고있는 것들이 있습니다 정말 열심히 생각해 너 때문에

무언가를 말함으로써 그 사람을 불쾌하게한다 그래서 당신은 밤늦게까지 기다리고 싶습니다 매우 신중하게 작성된 에세이 등을 작성하십시오 따라서이 작품은 신중하게 만들어진 사람들을 겨냥한 것이 아닙니다 에세이 – 정말 많은 이메일이 보내는 짧은 응답입니다

마땅히받을 가치가있다 문제 성명서는 이메일을 받으면서, 기계가 생성하는 몇 가지 응답을 제안하십시오 물론 이메일 데이터는 비공개입니다 우리의 생산성 분야에서의 접촉은 사적이며, 개별 이메일을 보지 않아도됩니다 그래서 당신은 집합 상관 (aggregate correlations)을 봅니다

그런 다음 응답을 리버스 엔지니어링하려고합니다 쌍을 수신 이메일로 보냅니다 이제 전처리 과정을 거쳐야합니다 언어를 사용하는 사람들 이 모든 것에 익숙하다 여기 당신에게 놀라운 일이 있습니다

인사말, 사인 오프 등을 버리고, 메시지 본문으로 이동하십시오 그래서 여기에 첫 번째 면제 중 하나가 있습니다 발린 트와 그의 팀은 취리히에서 처리했다 들어오는 이메일은 말했다, 나는 추운, 기침이 나고 집에 머물고 있습니다 그리고 짧은 응답은 당신이 곧 나아질 것을 희망합니다

완벽하게 합리적인, 인간이 생성 된 것, 느낌이있는 것 같아 실제로, 그것은 기계에 의해 쓰여졌다 어떻게 작동합니까? 다시, 본질적으로 당신은 [? 그램?] 수신 이메일에서 그래서 그것은 [? 그램?], "나는 감기에 걸렸다" "감기에 걸렸습니다

" "감기에 걸렸습니다" "열이있었습니다"그리고 당신은 "곧 더 좋아질 것"과 같은 것을 내뱉고 싶다 이 정도의 배합을 보면, 너는 진짜로 들어오는 전자 우편의이 종류를 발견하는 것을 시도하고있다 및 응답 [? 그램 ?] 그리고 뭐 당신은 LSTM에 대해 생각해야합니다, LSTM에 익숙하다면 그렇지 않다면, 아무것도 생각해라

기계 번역은 문자열을 받아 들인다 안으로, 밖으로 나가는 끈을 뱉어 내고, 또는 보낼 수있는 문자열을 점수를 매기십시오 그게 바로 우리가 한 일입니다 2015 년에 [INAUDIBLE]에 의해 실제로 이에 대한 논문이있었습니다 그걸 설명해 줬어

발린 트 (Balint)의 동료들도 적어도 하나는 가지고 있지만, 아마도 두 장, 지금은 꽤 상세한 서류들 두 장의 논문 스마트 회신 시스템 구축 방법 마지막 한 가지는 작년에 KDD 였다고 생각합니다 가서 확인해 보시지, 응? 좋은

그래서 그것은 매우 직설적 인 것처럼 보입니다 실제로 이것으로 제품을 만드는 것을 제외하고는 어렵습니다 이것이 내가 원하는 네 번째 주제가되는 곳입니다 터치 할 때, 실제로 사용자 경험 중요한 일입니다 그것은 내가 강조하고 싶은 무엇인가입니다

남은 연설을 위해, 맞지? 문제는 이메일, 결과 문구, 당신은 가장 좋은 제안을 고르고 싶습니다 그래서 제일 먼저할만한 가치가 있느냐고 묻습니다 충분한 정밀도와 정확성을 얻을 수 있습니까? 이것이 실제로 가치있는 일인가? 실제로 사용자가 작성하고자하는 것을 정확히 추측 할 수 있습니까? 그리고 대답은 실제로는 필요가 없다는 것입니다 당신이 언어 적으로 충분히 가깝다면, 좋아, 이건 내가 정확히 쓴 것이 아니야 하지만 충분히 가까워서 가져 가겠습니다

그리고 그것은 뭔가로 변하는 것입니다 사용자가 시작함에 따라 자기 보강 행동이 시스템을 사용하기 위해 그들은 강화한다 언어 학적으로 해쉬 된 문장의 일부 그래서 곧 보자, 곧 보자 이들은 모두 똑같은 변형입니다

기계는 그 중 하나를 예측하기 시작합니다 사람들이 탭합니다 그런 다음 그들이 보는 것에 강화되기 시작합니다 무엇이 나중에 생성되는지 이제 대부분의 이메일에는 간단하고 예측 가능한 응답이 있습니까? 충분히 분석에서 나온 것으로 나타났습니다

그 대답은 '예'였습니다 사실 이메일이 있습니다 Gmail 스마트 답장은 아무 것도 예측하지 않습니다 우리가 말하기 때문에 단순히 우리는 손을 내미면서 말합니다 우리는 이것을 어떻게하는지 모른다

그리고 그것은 초기 오프라인 실험 중 하나였습니다 팀이 그랬어 얼마나 많은 답장을 제안합니까? 우리가 답글을 득점하고 있기 때문에, 그리고 여러 가지 이유로, UX를 ​​포함하여 우리는 사용자가 30 개의 응답 중에서 선택하게하려는 경우 그중 하나가 좋기를 바랍니다 따라서 Gmail의 스마트 답장 실제로 세 가지 응답을 선택합니다 처음에는 화면에 잘 맞았습니다

모바일 장치에서, 우리는 정말로 스스로에게 예산을 줬습니다 세 가지 짧은 응답 이제 우리가 초기 테스트에서 찾은 것들 중 하나 너는 이것을 내놓고, 사람들은 그것을 사용하는 것을 두려워한다 이것이 사용자 경험이 시작하는 것입니다 들어 와서 왜 이걸 두려워 했니? 그들이 당신을 만지는 것을 두려워했기 때문에, 응답은 즉각적으로 올라갑니다

그리고 당신이이 캐릭터를 거기에서 바꾸고 싶다면 그래서 우리는 사람들이 이해하도록 훈련해야했습니다 도청 응답이 즉시 사라지지 않는다는 것, 편집 모드입니다 들어가서 조정할 수 있습니다 그리고 시간이 지남에 사람들은 말하기에 꽤 능숙 해졌습니다

글쎄, 이것은 정확히 내가 입력 할 것이 아니라, 이것을 골랐다 그리고 나서 그것을 조정할 것입니다 그리고 우리는 사람들이 그렇게 많이하는 것을 봅니다 고마워요 우리 중 많은 사람들이 여기 있기를 원한다

여기 과학적 연구를하고 있습니다, 그렇죠? 실제로 사용자 인터페이스의 조정 일부 모델에 비해 사용자 동의율이 더 높습니다 개량 따라서 모델을 개선 할 수 있습니다 아마도 응답의 품질을 5 % 향상시킬 수 있습니다 하지만 그냥 말하면, 너는 무엇을, 걱정하지 마라

이것은 당신의 추가 편집없이 사라지지 않을 것입니다, 사용자가 사용하는 경향을 높였다 훨씬 더 많은 양으로, 맞죠? 그래서 사용자 인터페이스 트릭 실제로 결국 많은 문제가된다 그리고 이것은 쉽게 이해할 수있는 것이 아닙니다 나는 다시 그것을 만들려고 노력할 것입니다 좋아, 몇 가지 초기 관찰이있다

여기 초기 실험 중 하나가 있습니다 발린 트와 그의 팀이 나를 보여줬다 근본적으로, 당신은 3 개의 최고 득점 응답을 생성하고, 하나는 느낌표, 하나는 마침표, 하나는 아무것도 없다 그리고 당신은 좋아요, 이것은 쓸모가 없습니다 세 번이나 똑같은 말을하기 때문에

좋아, 이걸 없앨 수있어 팀이 만든 것은 모듈이었습니다 언어 변형을 생성합니다 그들은 이것을 다양성 문제라고 부릅니다 일단 응답을 받으면 버립니다

그 것처럼 보이고, 부정을 일으키는 것을 시도하는 무엇이든, 예 : [INAUDIBLE] 따라서 최상위 응답이 "나를 위해 일합니다"라고 대답하면 "나를 위해 작동하지 않습니다"그래서 명시적인 모듈이 있습니다 그거야 때로는 훈련 자료가 당신에게 완벽하게 좋을 때도 있습니다

무엇이 아닌 대답을 채점 컴퓨터가 당신에게 제안하길 원합니다, 그렇죠? 보고서 제출 기한은 언제입니까? 나는 단서가 없다 그리고 기계가 그것을 말할 때 사람들은 너무 행복하지 않기 시작하십시오 네가 무슨 말하는지 모르겠다 그래서 우리는 이러한 것들을주의해야합니다 내가 일련의 것들을 요약하는 방법 – 그리고 팀은 이것에 대해 수 주간 실험을했습니다

세 가지 중 가장 높은 점수를받을 수는 없습니까? 제안 그러나 우리는이 문제를 "나는 당신을 사랑합니다"라고 부릅니다 문제 훈련 코퍼스에는 어딘가에서 말하는 응답의 우위, "사랑해" 그리고 많은 시간들, 여기에서 우리는 Google이이를 시도하고 있었고 응답이 "나는 너를 사랑해"라고 제안했고 이메일을 받았다

당신의 동료로부터 "나는 당신을 사랑합니다"라고 말했습니다 너는 어때? [웃음] 그래서 우리는 이것을 벗겨 내야했습니다 일반적으로 가족 친화라는 개념을 구축하십시오 훈련 자료에는 모든 종류의 쓰레기가있을 수 있기 때문에, 그리고 반드시 그 쇼를 모두 갖고 싶지는 않습니다

귀하의 제품을 통해, 단순히 그것이 적절하지 않기 때문에 감도도 있습니다 우리는 누군가가 이메일을 보내고, 우리 친구 조가 돌아가 셨다는 것을 말하면서 정말 유감입니다 그리고 그러한 경우에는 완전히 백업하는 것이 가장 안전합니다 아무 말도하지 말고 응답 제안 중지 어쩌면, 우리는 실제로 그렇게 해왔고 사람들을 매우 화나게했습니다

따라서 많은 이메일이 수신됩니다 민감성을 높이기 위해 추측 응답 이제 여기에 메타 코멘트를 달았습니다 인간이 실제로 타이핑 할 것들이 있습니다 그러나 당신은 기계로부터의 제안으로 받아들이지 않을 것입니다

일반적으로 AI 작업에 대한 우리의 기대 우리의 기대치보다 높은 것 같다 우리 인간 친구의 우리는 인간이 오류라고 말한다 그게 뭐든간에, 맞지? 그러나 기계는 똑같은 실수를 저지르는 것이 허용되지 않습니다 내 악몽은 우리가이 제품을 출시 할 것이기 때문에, 그리고 신문은 가득 차있을 것이고, Google AI는 이건 정말 나쁜 짓이야, 그렇지? 그리고 어떻게 든 Google AI는 높은 수준으로 유지됩니다 어떤 인간보다도,이 행성에있는 70 억 인구 중 하나, 권리? 그러나 그것이 우리가 컨디셔닝해야하는 방법입니다

이것에 대해 생각해보십시오 승인? 고마워요 그래서 우리는 시작했고 우리는 실제로 상당히 황홀한 반응에 놀란다 알다시피, 이것은 트위터 샘플 모음입니다 저널리스트 한 명이있었습니다

나는 대중을 잊는다 "비즈니스 위크 (Business Week)"또는 "블룸버그 비즈니스 위크 (Bloomberg Business Week)" 누가이 아름다운 기사를 작성했는지 그는 모든 이메일에 대해 1 주일을 보냈다 스마트 회신 만 사용하는 경우도 있습니다 그의 특파원을 신비화 하지만 그는 그것이 큰 종달새라고 생각했습니다

1 주일 만에 똑똑한 회신 사실, 우리가 보는 숫자는 100 % 사용과 거의 같지 않습니다 그러나 오늘날 Gmail 응답의 10 % 이상은 사람이 선택한 것으로 스마트 회신입니다 여기서 측정 기준을 생각해보십시오 기계가 좋은 예측을했는지, 그것은 좋았던 예언이었다

그것은 인간에 의해 받아 들여졌다 그것은 상당히 높은 바입니다 우리에게로 돌아가서, 우리는 어디에서 언급하고 있습니까? 창조적 인 인간 작업, 우리는 여기에 약간의 척도가 있습니다 일부 작업 일 경우, 인간은 창의력을 발휘할 필요가 없습니다 기계가 할 수 있습니다

그리고 사용자는 실제로이를 수용합니다 원래 영어로 시작한 이래로, 우리는 이제 여러 다른 언어로 시작했습니다 가장 최근에 프랑스어 여기에 제가 잠시 동안 만들고 싶습니다 그러니 제가 마지막 슬라이드의 시점으로 가도록하겠습니다

그러나 내가 그것을하기 전에, 내가 말한 것을 틀 짓고, 인간의 생산성은 실제로 기계를위한 거대하고 풍부한 영역입니다 지능, 그리고 종종 제한은 우리 자신의 상상력 하지만 너 자신에게 물어야한다 니가하기 전에 기계로 이메일 작성하기 그 문제를 해결할 것입니다 그리고 경쟁이 거의 병목 현상이 아닙니다

우리가 이것을한다면, 유토피아적인 꿈은 실제로 더 많은 시간을 확보 할 수 있습니다 정말 창의적인 작업에 집중할 수 있습니다 매켄지 (Mackenzie)와 같은 회사의 연구가 많이 있습니다 그 말은 우리 시대의 약 5 % 정도입니다 창조적 인 작업에 소비하고, 나머지는 평범한 것에 씁니다

그래서 우리는 그 5 %를 확장하여 우리가 매일하는 일을 훨씬 더 창조적이게된다 따라서 사용자 경험과 사용자 인터페이스 거대한 요소이며, 제품을 만들 때, 이것은 당신이 정말로 이해할 수있는 어떤 것입니다 사용자에게 올바른 기대치를 설정해야합니다 여전히 통제 할 수있는 곳에서, 그 기계 학습은 그들을 돕기위한 것입니다 완전히 대체하고 이메일을 쓰지는 않습니다

대신에 자율적으로 우리는 실제로 좋은 방법론을 갖고 있지 않습니다 이러한 UI 선택의 원리 분석을 위해, 그러나 이것들은 종종 당신이 가장 많이 얻는 이익들입니다 도망 반대로, 훌륭한 알고리즘 나쁜 UI로 죽일 수 있습니다 내가 나누고 싶은 점 – 언어 간 이동 열심히 일합니다 그래서 당신은 궁금해했을 것입니다, 음, 일단 당신이 영어로 그랬 으면, 왜 너는 안했어? 다른 80 개 언어로 해보시겠습니까? 일반적으로 자연 언어 처리 이 문제가 있습니다

영어로 문제를 해결한다고해서 문제가 해결되는 것은 아닙니다 그래서 가족 친화력은 영어로 해결할 수 있습니다 음, 그것은 당신이 프랑스어로 그것을 해결했다는 것을 의미하지 않는다 포르투갈어, 이탈리아어 등이 있습니다 다른 중요한 고려 사항이 많이 있습니다

더 많은 연구가 필요합니다 교육 자료의 안전한 집계처럼, 이 경우 뒤쪽으로 구부러진 다 어쩌면 우리는 더 나은 결과를 얻을 수 있습니다 안전한 집계를 할 수는 있지만 개인 사용자이기 때문에 데이터, 우리는 조심해야합니다 무슨 일이야? 맞춤 교육 모듈의 효과는 무엇입니까? 내가 너와 끝내는 다른 점이 하나있다

여전히 디버그 기능이 필요합니다 당신이 나쁜 보고서를 얻을 때, 그리고 우리를 위해, 일반적으로 나쁜 보고서가 발생합니다 누군가 화가 나면 Google의 CEO 인 Sundar에게 이메일을 보내, 나는 정말로 당신을 싫어합니다 내받은 편지함에있는 다음 항목을 처리합니다 권리? 그리고 나는 발린 트 (Balint)에게 전화를 건다

헤이, 그것으로 대처하고, 그것이 디버깅 할 수 없다면, 그것은 아주 열심히이다 그리고 도전 중 하나는 말하면, 글쎄, 나는 모든 것을 폐기 할거야 이 깊은 신경 그물과 인생은 행복합니다, 당신은 종종 그 디버깅 능력의 일부를 잃어 버리는가? 그래서 당신은 신중해야합니다 그래, 그만하자 몇 가지 질문을 드리겠습니다

[박수 갈채] 연설자 1 : [INAUDIBLE]에 대한 질문이 있으십니까 ?? 그래, 1 초 관객 : Prabhakar 고마워 다시 한번 말하지만 그래서 다시 얘기 할 때 욕망 우리가 AI를 적용하는 방법에있어서 더 큰 보편성을 가지려면, 우리가 아직도 가지고있는 또 다른 심각한 문제는 매우 특정한 문제조차도 해결할 필요가있다

견고성에 대해서, 우리가 무엇이든간에 아주 좋은 결과를 얻고, 테스트 데이터 등등, 종종 이러한 솔루션, 심지어는 거기서 헤드 라인이있다, 우리는 인간의 동등성을 달성하거나 패배 한 인간 등을 달성했습니다 음성 인식에 대해 몇 가지 사항을 변경합니다 기계 번역, 등등 그리고 일종의 것들이 정말로 남쪽에 있습니다 그래서 위험하지 않니? 우리는 양극화 같은 것을 이미 보았습니다

가짜 뉴스 등등이 문제를 해결하지 않으면 더 일반적인 것을 만들기 시작합니다 이러한 모든 일반적인 인공 지능 솔루션을 최대한 활용하고, 세상을 완전히 망칠 수 있다고? PRABHAKAR RAGHAVAN : 나는 당신의 요점을 잘 알고 있습니다 나는 작품에 은색 탄환이 있다고 말할 수 있었으면 좋겠다 이 중 많은 문제, 특히 너 가짜 뉴스를 언급 했어, 나 몰라

우리는 올바른 사회적 목표 기능을 알아 냈습니다 권리? 이것을 멀티 플레이어 게임이라고 생각해보십시오 모두는 합리적인 자기 이익을 가지고 있습니다 그리고 질문은, 당신이 인용 한 것을 인용하지 않고, "시스템 운영자"는 최적화해야합니까? 특히, 당신은 올바른 사람입니까? 사회적 행복이 무엇이되어야하는지에 대한 전화를하기 위해서? 권리? 그래서 우리는 여기서 어려운 윤리적 도전을 가지고 있습니다 그러나 나는 그것에 대답하는 방법을 모른다

청중 : Prabhakar 그래서 저는 여러분의 영역에서, 사용자 정의 기능의 역할이 많이 있습니까? 이 모든 인공 지능 도구가 그렇듯이, 투명성의 한 측면이 있습니다 유리 상자 모델이지만 어느 정도의 제어가 가능합니까? 당신은 AI의 사용자로서 갖고 싶어합니다 인간에 대한 충분한 통제 [INAUDIBLE] 다른 응용 프로그램에서 전자 메일, 그것은 시작되었습니다 – 모두 이해합니다 그러나 당신이 이해하는 엔터프라이즈 도메인에서, 인공 지능 도구에 대한 예제를 제공 할 수 있습니까? 인간에 의해 더 잘 맞춤화되거나 제어 될 수 있습니까? PRABHAKAR RAGHAVAN : 그것은 매우 중요한 질문입니다

긴 대답이 필요합니다 그럼 제가 간단하게하려고 하죠, 맞죠? 그래서 우리는 절대적으로 커스터마이징이 필요합니다 그리고 나는 그것이 단지 기업 일 뿐이라고 생각하지 않습니다 큰 회사의 지불에 우리가 많은 어려움을 겪었던 영역 중 하나 때로는 많은 노력을 기울이고 때로는 어려움을 겪습니다

학교와 학생입니다 그래서 우리가하는 일은 실제로 많이 움직입니다 이 기술 [부끄럽다] 학교 맞지? 그리고 우리는 끊임없이 거기에서 배우고 있습니다 학생입니다 나는 새로운 세대를 의미한다

완전히 다른 기대 이러한 기술 중 맞춤 설정 수준 당신은 일반적으로 우리를 완전히 불어 넣을 필요가 있습니다 그리고 내가 얻는 유일한 선도 지표는 행동을 바라 보는 것입니다 학생 행동의 두 가지 예를 보여 드리겠습니다 놀람에 의해 우리를 완전히 붙 잡았던 우리의 도구를 제공 한 많은 학생들 자신의 에세이를 자신의 휴대폰에 쓰는 것이 행복합니다

그런 다음 랩톱으로 전환하여 서식을 지정합니다 그리고 그것은 행동입니다 그래서 어떻게이 학생들을 도울 수 있습니까? AI를 사용하여 학생들의 작문을 어떻게 도울 수 있습니까? 그래서 그들은 훨씬 더 용이 해졌습니까? 우리가보기 시작한 또 다른 학생 행동 학생들은 선생님이 질문을 할 것이라고 기대하고 있습니까? 그들은 답변에 대한 짧은 비디오를 녹음합니다 그들은 타이핑하고 싶지 않습니다 학생들이 어떻게 이런 일을하도록 도와 주나요? 따라서 이러한 경우에 필요한 맞춤 설정 너와는 아주 다르다

전자 메일 및 긴 형식의 텍스트를 필요로하는 회사에서 생각하기 등등 우리가 많은 것을 실험하고있는 다른 것들 중 하나 이제 채팅 텍스트와 같은 짧은 양식 텍스트입니다 당신은 어떻게 그들을위한 언어 모델을 구축합니까? 실제로 강력하고 언어 간 전송 그런 것들? 따라서 이들 각각은 새로운 행동의 사례입니다 그것은 커스터마이징의 필요성을 이끌고 있습니다 고맙습니다

관객 : 기본적으로 약간의 접선 질문이 있습니다 그 연구 부분에 대해서 이야기했을 때 그것을 제품으로 가져 가야합니다 그래서 확실히 연구에 좋은 점이 많이 있습니다 교육 데이터를 실험하는 동안 세트와 모든 것 제품의 실제 사용자에게 노출되었습니다

환경에서는 많은 결과를 볼 수 있습니다 그리고 기본적으로 옳은 것은 무엇입니까? 당신이 그것을 결정하는 데 사용하는 측정 기준입니다 사용자에게 갈 준비가되어 있으며 사용자에게 도달합니다 (예 : 사용자) 이메일을 통해 몇 가지 반복을 보여줍니다 그렇다면 [INAUDIBLE]을 (를) 어떻게 결정 하시겠습니까? 먼저 메트릭을 결정하십시오

그것이 [INAUDIBLE]로 준비가되었다고 말하는가 ?? PRABHAKAR RAGHAVAN : 그것은 위대한 질문입니다, 하나는 Smart Reply의 경우, 나는 발린 트 (Balint)를 기억하고있다 이러한 길고 정교한 토론은 거의 주 단위로, 그리고 스스로를 설정, 무엇 우리 자신을 증명하는 데 걸리는가 우리는 다음 단계로 갈 수 있습니다 이것은 단지 1 주일일지도 모릅니다 또는 2 거리, 맞죠? 그리고 당신이 많은 회사에서 일하고 있다면 우리가 할 준비가되어있는 것들 중 하나 이러한 측정 항목에 실패하면 실제로 프로젝트를 죽일 준비가되어 있어야합니다 당신이두기 때문에 매우 힘들어요

몇 달, 몇 달 동안 투자 할 수 있습니까? 그리고 감정적 인 투자, 그리고 당신이 말할 수 있고 싶어, 있잖아, 잘 풀리지 않았어 예를 들어, 당신이 그 프로젝트를 진행할 때, 첫 번째 측정 항목은 이메일의 몇 분량입니까? 응답을 얻으시겠습니까? 짧은 응답을받는 이메일의 비율은 어느 정도입니까? 짧고 예측 가능한 응답을 얻는 이메일의 비율은 어느 정도입니까? 그리고 이것은 우리가 오프라인으로 할 수있는 분석이었습니다 일단 그렇게하면, 좋아, 얼마나 자주 실제로 예측을 할 수 있습니까? 어떤 종류의 정확성을 얻을 수 있습니까? 예상되는 예측 시간은 몇 분의 일입니까? 응답, 인간 사용자에게 맛있어 보이는가? 그리고 그것들은 여러분이 실제로 측정 할 수있는 측정 기준입니다 그러나 아주 자주, 당신은 같아요, 나는 그것을 믿지 않습니다 우리는 위대한 일을했고,이 인간들은 그것을 받아들이지 않습니다

권리? 이 일반 사용자 그리고 너는 그걸로 살아야 해 글꼴의 색조를 조정해야합니다 그리고 잘 연구 된 모든 것들 – 그러나 당신이 미터식이 요법에 자신을 두지 않는다면, 당신은 정말로 좋은 발사를 가지지 않을 것입니다 그래서 그것은 아주 큰 질문입니다

매우 긴 주제입니다 저는 실제로 앞으로 수년 동안, 그 물건에 쓰여진 박사 학위가있을거야 스피커 1 : 여기에 질문이 있습니다 관객 : 경험을 공유해 주셔서 감사합니다 Smart Reply 시스템으로 [? 이벤트?] 연구원, 내가 보았다

Sequence to Sequence Model을 시작했다고합니다 아마 ACL에서 얻을 수있는 모델입니다 종이 같은 거 그런데 당신은 종소리와 휘파람을 더해야했습니다 그것이 실제로 인간에게 맛있고 유용하다는 것을 확인하기 위해, 다양한 대답을 포함하여, 응답하지 않도록하고, 또는 그들이 가족 친화를 움직이는 지, 등등, 등등

[? 이벤트?] 연구원, 내 질문 당신이 하드 제약 조건을 추가 하시겠습니까? 이 심볼릭 알고리즘은 여러분이 만들고, 또는 원래의 신경 모델에 이러한 조정할 수 있습니다 그 자체로 연구에서 엔지니어링에 이르기까지, 다소 휴리스틱하고 해커 일종의 또는 다소 원칙이 있습니까? PRABHAKAR RAGHAVAN : 그게 큰 질문입니다 그리고 Bal은 앞으로 나아와 답을 자유롭게 느낍니다 하지만 내가주는 대답은 사실 그들 모두의 혼합물 때로는 각각 조금씩해야합니다

당신은 맨 위에 해킹 된 일을해야합니다 왜냐하면 결국, 우리 주인은 일종의 과학적 표준이 아닙니다 행복한 사용자입니다 10 억 명이 넘는 사용자가 Gmail에 서비스를 제공 할 때, 그들 중 500 명이 화나게되면 트위터 폭풍에 빠질 수 있습니다 그때까지는 10 %가 그것을 사용하고 있기 때문에 1 억 명이 넘습니다

그것은 당신이 옳은 일을했다는 좋은 신호입니다 그러나 나는 우리가 그렇게 많은 선택을했다는 것을 말할 수 있습니다 잘못되었을 수 있습니다 발, 그걸 더하고 싶니? BALINT MIKLOS : 좋아, 나는 하나의 구체적인 예를 가지고있다 똑똑한 응답의 다양성 단위를 위해, 우리는 처음으로 그것으로 시작했습니다

훌륭한 종류입니다 클러스터링 문제와 그 모든 것들, 우리는 그것에 노력했다 어떤 시점에서, 엔지니어는 손을 내밀었다 고맙다 나는 시험해 볼거야

나는 더 특별하게 작성된 수동 유형과 비슷하게하려고 노력할 것이다 우리가 해킹 할 수있게 해주는 도구 그 후, 우리는 그것을 그래프 기반 기계로 훈련 시켰습니다 학습 문제 그리고 결국 우리는 매우 원칙적인 입장에 처해 있습니다

하지만 너는 비슷한 롤러 코스터에 들어갔다 원칙이 완전히 해키하고, 그리고 지금 우리는 기분이 좋다, 오오 음, 이것이 내 해결책이다 그것은 당신이 통과해야 할 롤러 코스터입니다 관객 : 안녕하세요 내 이름은 American Express의 [INAUDIBLE]입니다

그래서 당신이 과학을 부르는 것이 매우 흥미 롭습니다 이 공동체에서이 두 가지 측면, 즉 과학, 다른 하나는 제품 슬래시 엔지니어링입니다 글쎄, 전통적으로, 이들은 상당히 별개의 느낌 커뮤니티 이 두 사람이 정말로 가까이오고있는 것을 보시겠습니까? 내 말은, 과학자들이 더 많은 제품 개발 정신 및 엔지니어 더 많은 데이터 과학, 기계 학습, 그런 것들 이것들이 합쳐지는 것을 보시겠습니까? PRABHAKAR RAGHAVAN : 좋습니다

다시 한 번 주요 질문입니다 나는 어떤 사람들에게 의지하지 않고 생각한다 데이터 과학과 같은 인기있는 buzzwords 등등, 나에게 분명해 보인다 지금 떠오르고있는 회사와 그들이하는 일 실제로 사용자 통찰력, 엔지니어링, 그리고 깊은 과학 그리고 저는 그것들을 구획화하는 것이 합리적이지 않다고 생각합니다

그리고 말하길, 당신 일은 공학 이예요 내 것은 과학이다 그렇게 잘 작동하지 않습니다 당신이 그것을 함께 치고, 박사 학위를 소지 한 발린 트 팀 같은 많은 사람들이 있습니다 기계 학습에 관한 논문을 발표 한 사람, 그러나 그들이 하루 업무를 위해하는 일은 소프트웨어 작성, 이는 Google의 많은 사람들이하는 것과 같습니다

우리는 박사 학위를 가지고 있지만, 엔지니어링 분야에서는 끝납니다 그것이 실제로 작동하는 유일한 방법입니다 연설자 1 : 죄송합니다, 우리는 마지막 질문을 할 것입니다 관객 : 이봐, 프라 하카 매혹적인 토크에 감사드립니다

그래서 스마트 리플렉션에 대해 스마트 회신으로, 우리는 원하는 사용자에 대해 이야기하고 있습니다 스마트 회신을 사용하여 저장합니다 다른 방법을 본 적이 있습니까? 다른 사용자가 시작하는 것 – 처음에는 스마트 회신 일반적으로 사람들이 대답하는 것이고, 그러면 다른 쪽 아마 이걸 예측하기 시작할거야 Smart Replier입니다 예를 들어 LinkedIn처럼 누군가 새 직장에 축하해

단추를 누르는 것만 알면 자동으로 그 메시지의 가치는 떨어집니다 PRABHAKAR RAGHAVAN : 좋은 질문입니다 사실, [INAUDIBLE] 우리는 Gmail 및 다른 팀에 있습니다 누군가가 당신에게 답장을 보내고, 잠깐, 정말 똑똑한 대답이었습니다 너는 그걸 쓰지 않았지, 그렇지? 우리가 실제로 고려한 한 가지는 – 시스템 설계 초기에 반대했다

스마트 답장을 선택하면 말하는 스마트 한 대답에 의해 생성되는 작은 물건, 그리고 당신이 말한 바로 그 이유 때문에, 우리는 그것을하지 않기로 결정했습니다 우리는 사람들이 비인간적 인 것처럼 느끼기를 바라지 않았습니다 그래서 우리는 그렇게하지 않았습니다 그리고 다른 한 가지는 많은 시간입니다 나는 정확한 숫자를 잊는다 – 사람들은 실제로 스마트 답장을 편집하십시오

그것에 대해 생각하는 한 가지 방법은 QWERTY 키보드의 경우이 세 개의 큰 키가 있습니다 각각은 문장의 시작이다 QWERTY 키보드로 원하는대로 끝내십시오 그리고 그것은 풍부한 탐험으로 이어지기 시작합니다 이것에 사용자 인터페이스가 어떻게 개발 될 수 있는지

그래서 이것에 대해 더 많은 것을 기대해주십시오 매우 감사합니다 고마워 [박수 갈채] [음악 재생]