Getting Started with the People + AI Guidebook

[음악 재생] DI DANG : "사람 + AI 가이드 북" 모범 사례, 예제 및 도구를 제공합니다 집중하는 AI 기반 제품을 만들 수 있도록 가장 먼저 사람들에게

Google의 People + AI Research 팀에서 개발 PAIR로서 가이드 북은 데이터와 통찰력을 기반으로합니다 실제 Google 제품, 팀 및 학술 연구에서 "People + AI"에서 다룬 개념을 살펴 보겠습니다 가이드 북 '을 참조하여 작업에 적용하기 시작하십시오 가이드 북에는 6 개의 장이 있습니다 "사용자 요구 및 성공 정의" "날짜 수집 및 평가", "정신 모델" "설명 성 및 신뢰", "피드백 및 제어" "오류와 정상적 실패" 각 장은 고유 한 고려 사항을 다룹니다 AI 기반 제품을 만드는 다른 기술로 디자인하는 것과 다릅니다 이러한 인간 중심 AI 개념을 설명하기 위해 우리는 예제 앱을 만들었습니다

안내서 전체에 사용됩니다 팀이이 지침을 실천으로 전환 할 수 있도록 이 연습 문제를 워크 시트에서 사용할 수 있습니다 첫 번째 장, "사용자 요구 및 성공 정의" "우리가 이것을 AI로해야합니까?" 결국 특정 문제가 잘 맞을 수 있습니다 AI로 해결되는 반면 다른 사람들은 AI로 이익을 얻지 못할 수 있습니다 우리는 AI에 의미가있을 때도 접촉합니다 작업을 전체적으로 또는 더 의미가 있는지 자동화 인공 지능이 사람의 능력을 향상시키기 위해 그 일을 스스로 할 수 있습니다 셋째, 의도적으로 디자인하는 방법을 배우게됩니다 AI가 성공을 정의하는 방식 인 보상 기능 그리고 실패

이는 사용자 경험에 큰 영향을 미칩니다 "데이터 수집 및 평가" 훈련 데이터는 AI 모델의 작동 방식을 정의하므로 귀하가 직접 제공하거나 수집 한 교육 데이터 시스템의 출력과 UX 품질을 결정합니다 이 장은 이해하는 데 도움이됩니다 모델을 훈련시키기 위해 수집해야 할 데이터 사용자의 문제를 해결할 수 있습니다 그리고 마지막으로, 장 모델 출력이 아닌 경우 수행하는 튜닝을 다룹니다

제품 목표와 사용자 요구가있는 목표 우리가 이해하는 것이 중요합니다 AI 기반 제품에 대한 사람들의 정신 모델 AI 시스템을 설계하여 발전시킬 수 있도록 그들의 기대와 함께 시간 온 보딩은 커뮤니케이션에 중요합니다 AI 기반 제품이 할 수있는 일, 할 수없는 것, 어떻게 바꿀 수 있는지, 사용자가 어떻게 더 나아질 수 있는지 또한 공동 학습을 계획해야합니다 AI 기반 시스템이 배우고 적응할 때 이 시스템의 사람들의 정신 모델 응답으로 변경됩니다 "설명과 신뢰" AI 시스템 작동 방식에 대한 올바른 수준의 설명 사용자와의 올바른 신뢰 수준을 구축하는 데 중요합니다

먼저 신뢰를 교정하십시오 AI 모델 출력을 완전히 예측할 수있는 것은 아니며 우리의 디자인 결정은 사람들이 시스템의 출력을 신뢰할 때 자신의 판단을 적용합니다 마찬가지로 사용자에게 중요 할 수 있습니다 AI의 자신감을 이해하기 위해 시스템은 예측에 있습니다 시스템이 언제, 언제, 어떻게 표시되는지를 설계해야합니다

신뢰 수준 "피드백 및 컨트롤"장 AI 디자인 고려 사항 살펴보기 사용자 피드백을 순서대로 캡처 사용자에게 더 큰 것을 제공하기 위해 통제 감과 신뢰감 피드백을 모델 개선에 맞출 때 우리는 사람들에게 어떤 정보가 수집되고 있는지 알려주고 그것이 무엇인지, 그리고 그것이 그들의 경험에 어떻게 도움이되는지 현실은 AI가 오류를 일으키거나 실패한다는 것입니다 이 장은 우리가 어떻게 우아하게 이 경우를위한 디자인

또한 오류의 원인을 식별 할 수있는 방법을 살펴 봅니다 AI 시스템에서 오류는 비 직관적 인 방법으로 사용자와 시스템 제작자에게 나타납니다 마지막으로, 앞으로의 경로 설계에 대해 논의합니다 인내를 장려 할 수있는 실패에서 시스템과 함께 사람들과 AI의 관계를 유지하고 더 나은 전반적인 경험을 지원합니다 이것이 "People + AI Guidebook"입니다

디자인 및 제품 안내 제공 인간 중심 AI 구축 AI 분야가 발전함에 따라 제품 디자인 방식도 마찬가지입니다 가이드 북이 성장하고 바뀔 것입니다 당신의 도움으로 귀하의 의견을 듣고 싶습니다 가이드 북 확인-아래 설명의 링크- 더 많은 동영상을 보려면 채널을 구독하십시오

시청 해 주셔서 감사합니다 [음악 재생]

How to Upgrade Colab with More Compute (AI Adventures)

YUFENG GUO : 이전에는 AI Adventures에서 우리는 Colab을 훌륭한 방법으로 보았습니다 데이터 과학 및 기계 학습을 시작하기 위해 세계

그러나 일부 모델이 있습니다 오랫동안 실행해야하거나 원하는 더 많은 메모리 또는 GPU를 얻을 수 있습니다 더 많은 컴퓨팅 성능으로 Colab을 어떻게 연결할 수 있습니까? 계속 지켜봐 주시기 바랍니다 AI Adventures에 오신 것을 환영합니다 예술, 과학, 기계 학습 도구

제 이름은 Yufeng Guo이며이 에피소드에서 우리는 구글 클라우드 플랫폼의 딥 러닝을 사용할 것입니다 Colab 환경을 지원하는 VM 몇 에피소드 전에, 우리는 어떻게 머신 러닝을 선택하여 딥 러닝 VM 생성 프레임 워크 오늘은 해당 VM을 사용하고 Colab을 연결합니다 해당 머신의 리소스를 활용할 수 있습니다 시작하려면 물론 VM을 만들어야합니다 그리고 그것을 큰 것으로 만들어 봅시다 클라우드 마켓 플레이스로 향하십시오

딥 러닝 VM을 찾아서 선택하겠습니다 승인 이제 매개 변수를 선택합니다 이름을 지어 봅시다 colab-box라고 말하십시오

그리고 좋은 측정을 위해 우리는 8– 아니오, CPU 16 개, 메모리 약 60 기가? 그리고 이제 GPU를 위해 V100을 선택합시다 그리고 우리는 그들 중 두 가지를 가질 것입니다 네 이제 우리는 요리를하고 있습니다

우리가 그것을 기다리는 동안 우리가 어떻게 얻을지에 대해 조금 이야기 해 봅시다 VM과 대화하기위한 Colab 우리가 사용할 두 가지 트릭이 있습니다 이 연결을 가능하게합니다 첫 번째는 Colab이 실제로 로컬 런타임에 연결하십시오 로컬 Jupyter Notebook Server가 실행중인 경우 랩톱에서 말하면 Colab을 사용할 수 있습니다 그 서버의 프론트 엔드로 원한다면 일반적인 Jupyter Notebook 프런트 엔드보다 Colab의 오른쪽 상단 메뉴에서 액세스 할 수 있습니다

우리가 활용할 두 번째 요령 딥 러닝에서 포트 포워딩을 할 수 있다는 것입니다 액세스 할 수 있도록 방금 생성 한 VM 로컬 컴퓨터에서 여기에 표시된 명령으로이를 수행 할 수 있습니다 실제 로컬 터미널에서 실행하십시오 Cloud Shell이 ​​아닌 컴퓨터에서 이 특별한 상황에서, 우리는 포워드하기를 원하기 때문에 실제로 로컬 컴퓨터에 명령을 실행하여 Cloud Shell에서는 실제로 목표를 달성하지 못합니다 Cloud Shell로 포트를 전달할 필요가 없습니다

일반적으로이 포트 전달 설정 Jupyter에 액세스 할 수 있다는 의미 일뿐입니다 로컬 프런트 엔드의 서버 하지만 우리가 Colab을 열고 말해 주면 로컬 런타임에 연결하기 위해 해당 로컬 런타임 실제로 포트가 전달 될 것입니다 딥 러닝 VM에서 따라서 두 사람이 연결됩니다 이제 둘을 함께 연결하면 실제로 두 개의 V100이 있습니다 Colab 프론트 엔드에서 GPU를 실행하고 액세스 할 수 있습니다 이제 Colab과 딥 러닝 VM을 이해했습니다

함께 작업하고 설정을 얻는 방법을 기반으로 당신의 요구가 어떻게 변화하는지에 대해 프론트 엔드는 어떻게 생겼는지 백엔드 시스템이이를 주도하고 있습니다 예를 들어 로컬 백엔드에 대해 개발할 수 있습니다 처음에는 더 많은 힘을 얻고 싶을 때 딥 러닝 VM으로 이동하십시오 데이터 과학 환경을 어떻게 설정합니까? 어떻게 변경하고 유연하게 할 수 있습니까? 그리고 필요에 따라 성장? 아래 의견에 알려주십시오 Cloud AI Adventures 에피소드를 시청 해 주셔서 감사합니다 그리고 당신이 그것을 즐겼다면, 최신 에피소드를 모두 얻으려면 구독하십시오

그들이 나올 때 지금은 딥 러닝 VM으로 향하십시오 Colab Notebook과 연결해보십시오 [음악 재생]

Developers' Stories #1: Google says WHAT? – Trí tuệ nhân tạo (AI)

안녕하세요 개발자의 이야기에 관심을 가져 주셔서 감사합니다

– Google에서 뭐라고 말합니까?, rubikAI의 칼럼 우선, 너 자신에게 조금 소개 할 수 있겠 니? 그는 Stee입니다, 회사에서 Stee입니다 당신은 개발자 백엔드입니다 예, 예 이 프로그램의 첫 번째 손님으로, rubikAI 칼럼 인 WHAT?에 오신 것을 환영합니다

오늘 당신을위한 규칙에 대해 조금 소개해 드리고자합니다 매주, 프로그램은 키워드를 선택할 것입니다 Google에서 해당 키워드를 검색하면 상위 5 위가됩니다 이 키워드에 대해 30 초 동안 의견을 말하고, 그리고 그 30 초 동안에, 그는 또한 달걀을 잡기 위해 젓가락을 사용해야했습니다 달걀을 지닐 수 없거나 30 초 안에 질문에 대답하지 않으면 실패한 임무로 간주되며, 처벌은 우리가 마실 준비가 된 물 잔 중 하나를 선택하는 것입니다

그럼 게임 규칙은 아직 안다 고요? 너 분명하다 그럼 오늘 키워드를 발표하겠습니다 인공 지능 (AI)입니다 먼저 짧은 것을 제거하십시오 영화? 인공 지능? 네가 오랫동안 본 영화 '터미네이터'가 있다고 생각해

미래에서 돌아 오는 로봇이 있습니다 AI 관련 영화라고 생각했습니다 아마 Wall-E 또한 좋은 영화 일 것입니다 정보 기술 분야입니까? 너에 따르면, 네 그는 IT 직원이기도하고 IT 직원이기 때문에 인공 지능을 말하는 대부분의 사람들은 정보 기술과 관련이 있습니다

그래서 정보 기술이라고 생각합니다 그의 3 번이 벗겨져 두 번째 키워드를 벗겨 냈습니다 나에게 무언가를 줘서 뭔가를 털어 버리니? 당신에 따르면, 현대 세계를위한 인공 지능은 많은 것들입니다 대부분은 정밀함이 필요한 산업입니다 내가 생각하는 것은 내 자신의 것을 가질 가능성이다

인공 지능은 그를 포함하여 많은 사람들의 직업을 강탈 할 수 있습니다 Okie 이제 좀 더 하드 코어를 연주, 왼손은 오른손이 아닙니다 앞으로는 될 것인가? 미래의 인공 지능은 무엇입니까? 그 질문은 그런가요? 제 생각에는 AI는 미래입니다 앞으로는 그것은 무엇입니까

AI는 많은 것을 차지하고 있습니다 그렇다면 미래는 어떻게 될 것입니까? 나는 미래가 미래에 어떤 사람이 될지 상상하지 못했습니다 벌써 30 초가되었습니다 이제 너에게 벌이 될 것이다 이것은 당신이 선택한 처벌 인 5 번 글래스입니다 나는 이것에서 나쁜 것을 보았다

마시기가 쉽지 않습니다 당신은 이전 문장에서 죽었습니다이 문장은 빠르다 탑 코스? 사실 그는 AI와 관련된 과정을 공부하지 않았습니다 하지만 그는 열쇠가 rubikTALENT라는 것을 알고 있습니다

그리고 베트남에서는 방금 과정에 대해 들었습니다 도전 과제를 완료 한 것을 축하하고 프로그램에 참여해 주셔서 감사합니다

Google AI Impact Challenge Accelerator Highlights

[음악 재생] 스피커 1 : AI의 두 번째 하이 터치 포인트에 오신 것을 환영합니다 영향 챌린지 액셀러레이터

이제 당신은 박수 갈채를 보낼 수 있습니다 [CHEERING AND APPLAUSE] 전 세계에서 20 명의 수혜자가 있습니다 AI를 사용하여 사회적 선을 개선하기 위해 노력하고 있습니다 금주의 희망은 우리의 수 여자 팀뿐만 아니라 그들이 필요로하는 기술적 인 도움을 얻는다 프로젝트를 앞당길 수는 있지만 그들이 계속 영감을 얻기를 희망한다

우리는 엄청난 영향을 받아 영감을 얻었습니다 그들이하는 일 [벨 링잉] 발표자 2 :이 이벤트는 우리에게 근본적으로 숙련 된, 우리가 실제로하지 못한 일들에 대해 생각하게 만듭니다 깊이 생각한 스피커 3 : 이것은 일련의 도구를 제공합니다

우리가 어떻게 우리가 관객과의 커뮤니케이션에 통합 우리가 봉사하는 것 발표자 4 : 사용자 연구 및 사용자 피드백에 대한 정의 사이클은 앞으로 나아갈 것입니다 나는 여기 사람들로부터 통찰력을 얻었다 그러니 다음 단계를 확실히 거쳐야합니다 다음 단계가 많습니다

연설자 5 : 오늘 우리의 목표는 더 큰 그림을 가져 오는 것입니다 AI 제품 결정 관련 컨텍스트 사용자가 직면 한 고려 사항 귀하의 제품에 많은 영향을 미치게됩니다 당신의 기술적 가시성보다 작업 스피커 6 : 나는 이벤트의 가장 좋은 부분이라고 생각한다 우리가 여기서 가지고있는 상호 작용입니다

모든 20 개 그룹 간의 의사 소통 여기가 아주 중요합니다 스피커 7 : AI 코치와 함께 분대 시간을 가졌습니다 우리가 만든 진전에 대한 그의 의견을 얻었습니다 우리가보고있는 문제 매우 흥미 있었다 SPEAKER 8 : 우리는 멘토에게 소개되었습니다

필드에서 다양 한 산책에서 예를 들어, 나는 많은 것을 관련시킬 수있다 EOC이 말한 것 중 투자하는 많은 프로젝트에 참여했다 AI에서 공익을 위해서 스피커 9 : 실제로 작은 단계로 매우 빠르게 움직일 수 있습니다

그리고 당신이 그것을 알기도 전에, 당신은 실제로 한 사람을 위해 그것을 해결하는 것으로부터 10 명으로 이동하고, 100 명 ~ 1,000 명, 100 만 명 IASON GABRIEL : 새로운 기술을 설계 할 때, 당신이 정말로 분명하게 사회적으로 유익한 용도인지 확인하십시오 케이스 너무 자주, 알다시피, 우리는 앞으로 나아가고 있습니다 왜냐하면, 혁신은 참신하고 재미 있습니다 평판 좋은 일종의 이익이 있습니다

이 일을하는 것 연사 11 : 멘토링 세션 정말 우리에게 가치있는 것입니다 놀랍습니다 몇 초 내에, 그들은 우리의 문제를 아주 완벽하게 이해합니다 우리가하려는 일들과 도전들 우리 프로젝트의 발표자 12 : 실제로 우리는이 팀을 조종 할 수 있습니다

시간을 낭비하지 않는 방식으로 돈을 낭비하지 않고 자원을 낭비하지 마십시오 그래서 그들은 실제로 매우 효율적인 경로와 같아지고 있습니다 사회 복지를하는 것까지 왜냐하면 우리 모두가 그들을 조종하기 때문입니다 스피커 5 : 미래에 대한 나의 희망 우리가 나중에 그들과 연락하고들을 수있는 기회를 얻는다는 것입니다

어디에서 작동합니까? 재사용해야 할 우수 사례 또는 iterated 그들이 실제로 있는지 확인하려면 결국 모범 사례입니다 스피커 13 : 우리는 정말 진지하고 사려 깊은 대화 우리는 평등하게 함께 일했습니다 그리고 저는 그것이 정말로 인상적인 것 같아요 Google 규모의 조직 스피커 11 : 나는 그것이 영감을 주었다고 생각한다

또한 정말 흥분되는 운동이었습니다 정말로, 제 생각에는, 당신은 많은 것을 가지고 있습니다 여기에서 시작하여 테스트하고 싶습니다 그래, 그래, 분명히 말할거야 연설자 7 : 그냥 많은 사람들과 이야기하는 것뿐입니다

믿을 수없는 사람들, 맞죠? 두뇌를 선택하고 자신의 경험을 듣고, 그것은 매우 굉장했습니다 연설자 4 : 그러한 큰 회사가 종류는 우리의 뒤를 가지고있다 스피커 3 : 환상적입니다 훌륭한 학습 경험이었습니다 스피커 6 : 우리가 더 많은 일을하고 더 많은 것을하도록 동기를 부여합니다

세상이 더 좋은 곳 발표자 14 : 모두가 모이는 것을 보니 반갑습니다 이번 주와 놀라운 진행 팀이 이번 주에 달성 한 성과 나는 그들을 계속보고 싶다 에너지와 운동량을 기반으로 지난 몇 달 동안 그들이 개발 한 그들의 프로젝트와이 가속기의 마지막 며칠 동안, 실제로 그 학습 내용을 받아 적용 해보십시오

엄청난 충격을주기 위해 프로젝트에 적용 나는 그들이 그들이 가질 것을 안다

Kartik Hosanagar: "AI Governance and Risk Management" | Talks at Google

[음악 재생] 카팁 호사나가르 : 여기에와 주셔서 감사합니다 이곳에 와서 이야기하는 것이 대단히 기쁩니다

크리스가 언급했듯이, 나는 교수 다 와튼 학교에서 나는 최근에 출판 된 책의 저자이며, "기계 정보에 대한 인간의 가이드"라고합니다 나는 언제나 계약 상 의무가있다 나는 인공 지능이나 기술과 관련이있는 무엇이라도 원격으로 이야기한다

우리 책 커버 자켓의 스크린 샷을 보여줘야 해 사람들이 미묘하게 복사본을 가져 오는 것에 영향을줍니다 책 읽는 중 그래서이 책은 기계에 관한 결정이며 특히, 기계 학습에 대한 기회와 도전 그리고 개인, 어떻게 기업, 규제 기관 자동화 된 결정을 관리하는 것에 대해 생각할 수도 있습니다 오늘은 주로 이야기 할 것입니다

그것에 대해 제가 생각하는 거버넌스 프레임 워크입니다 그리고 특히, 저는 시작할 것입니다 기계의 역할에 대해 조금 이야기함으로써 우리 삶의 결정 그 중 많은 부분이 직관적입니다 나는 그것을 빨리 공유 할 것이다

그런 다음 기계 결정의 위험에 빠지게 될 것입니다 그리고 그것을 통치 이제이 책을 연구하는 과정에서, 나는 많은 사람들을 인터뷰했다 그리고 정말로 흥미있는 사람들 중 한 명 내가 인터뷰 한 것은 22 세의 중국 선전이었습니다 그녀의 이름은 Yuan Zhang이었다

그리고 그녀는 생명 공학 전문직에 있습니다 그리고 내가 실제로 발견 한 것들 중 하나는 그녀의 일상적인 습관에 관해서는 일상적인 대화였습니다 그녀는 Xiaobing이라는 소셜 미디어 유명인과 함께했습니다 이제 Xiaobing은 소셜 미디어의 유명 인사입니다 그녀는 4 천만 명의 추종자가있는 10 대 소녀입니다

그리고 뉴스 보도가 믿어 져야한다면, 이 추종자의 4 분의 1 이상 어느 시점에 Xiaobing에게 "당신을 사랑해"라고 말했습니다 자아 빙 (Xiaobing)에 대해 정말로 흥미로운 점은, 40 대 소셜 미디어 연예인 임에도 불구하고 추종자가 백만 명에 달하는 그녀는 실제로 그녀의 추종자들 중 한 사람과 매일 대화를 나누고 있습니다 물론, 배우는 것은 놀라운 일이 아닙니다 샤오빙은 실제로 인간이 아니며, 하지만 Xiaobing은 생성 된 채팅 봇입니다 10 대 소녀의 인물로 Microsoft에서 그것은 중국에서 대단히 성공적이었습니다

자아 빙 (Xiaobing)의 성공에 힘 입어, Microsoft는 비슷한 chatbot을 시작할 수 있는지 질문했습니다 미국에서, 나는 우리 모두 또는 우리 대부분을 생각한다 들었습니다 그리고 그 chatbot은 Microsoft Tay였습니다 그리고 Tay는 2016 년에 출시되었습니다

그리고 몇 분 안에 시작할 수 있습니다 테일러는 인종 차별 주의자, 성 차별 주의자, 파시스트 밥솥으로 변했다 그 모든 종류의 공격적인 것들에 이르기까지, 페미니스트들 히틀러가 지옥에 타야한다 권리 및 많은 다른 것들 사실, 그 해 말에, "MIT Technology Review" 마이크로 소프트 테일러 (Microsoft Tay)를 최악의 기술로 평가했다

그리고 내가 Xiaobing과 Microsoft Tay에 대해 읽었을 때, 나는 도울 수 없지만 궁금해 어떻게 된거야? 매우 유사한 접근법을 사용하는 두 개의 채팅 로봇 똑같은 회사가 가질 수있는 그러한 엄청나게 다른 결과? 그리고 그것이 제가이 책을 쓰는 관점에서 시작하게 한 것입니다 또는 아이디어를 탐구하기 시작합니다 그리고 그 과정을 시작한 이래로 자동화 또는 자동화의 예를 더 많이 보았습니다 지난 2 년, 3 년 동안 의사 결정이 잘못되었습니다

예를 들어, 작년 말에는 로이터 통신의 이야기가있었습니다 이력서 스크리닝 알고리즘에 대해 아마존이 생각났다 Amazon의 문제는 매우 직관적이며 직관적입니다 물론 구글도 관련이있다 아마존은 일 년에 10 만 명이 넘는 사람들을 고용했습니다

아마도 이력서가 수백만 개일 것입니다 그리고 당신은 큰 팀조차 가질 수 없습니다 그 많은 이력서를 통과 할 수있는 신병 모집 자의 인터뷰에 초대 할 사람을 알아 내십시오 그래서 그들은 프로세스를 자동화하려고했습니다 초대 할 사람과 후보자를 결정할 수 있습니다

그리고 그들 자신의 내부 조사 나중에이 시스템에 성별 편견이 있음이 드러났습니다 그리고 나서, 뉴스 보도에 관한 한, 그들은 사용을 중단했다 그리고 다시 한 가지 예입니다 다른 많은 것들이 있습니다 몇 년 전 ProPublica의 이야기가있었습니다

법정에서 사용되는 알고리즘에 관한 정보 판사와 가석방 담당관에게 양형을 통보하고, 보석금 및 가석방 결정 그래서이 알고리즘은 피고의 프로파일을 볼 것입니다 그런 다음 기록 데이터를 기반으로 다양한 위험 점수 – 예를 들어, 이 사람이 다시 도망 갈 가능성을 예측하십시오 그리고 그 정보는 심사 위원에 의해 사용될 것입니다 선고 결정, 가석방 담당관의 결정 가석방 결정 등

그리고 ProPublica의 분석에 따르면 그 알고리즘 경주 편견이 있었다 특히, 잘못 예측할 가능성이 두 배나 높았습니다 흑인 피고인들의 미래 범죄 백인 피고인보다 그리고이 기사는 많은 예제를 제공했으며, 그 중 하나는 슬라이드에 바로 있습니다 그리고 당신에게는 개인, 남성이 있습니다

누가 무장 강도 2 건을 저질렀 는가? 그는 위험도 점수가 매우 낮았습니다 아프리카 계 미국인 인이 여인에게 청소년 경범죄가 적 었으며 위험 점수가 높았습니다 그녀의 프로필에는 아무 것도 없었지만 그리고 이것들은 단지 몇 가지 예일뿐입니다 더 많은 예제가있었습니다 나는 Google에있어 너무 많은 Google 예제를 선택하지 않았습니다 너희들은 더 많이 안다

그러나 말하자면, 자동 완성은 잘못되었다 또는 이미지 태그 지정이 잘못되었습니다 그래서 그러한 종류의 예제도 있습니다 대규모로 학습하는이 기계를 보는 모든 회사 잘못한 것들의 예가있을 것이다 한 방향으로 또는 다른 방향으로

우리가 이런 종류의 문제를 볼 때 의문 하나의 접근 방식은 무엇입니까? 기계의 충격을 최소화하기 위해 사용 잘못된 결정, 특히 우리가 사용할 때 높은 지분에 대한 결정을 내리는 기계 환경의 종류, 말하자면, 신용 승인, 대출 승인 또는 모집 등등? 그리고 그것이 제가 이야기하고자하는 것입니다 하지만이 주제의 알고리즘을 처음 접하는 것으로 시작하겠습니다 우리 인생에서 많은 결정을 내리고 있습니다 이것은 동기 부여가 필요한 환경이 아닙니다 이봐, 내기가 더 높아질 수는 없어

알고리즘은 많은 결정을 내리고 있습니다 그래서 내가 처음에 말하려고하는 것 아마도 당신이 이미 알고있는 것을 확인하려고 할 것입니다 그러나 아마, 그것은 숫자를 더합니다 너에게 상당히 직관적 인 것 얼마나 많은 결정을 내렸는가? 알고리즘으로 구동됩니다 빨리 덮어 버리면 이를 위해 거버넌스 프레임 워크로 뛰어 들어라

그리고 물론, 무엇보다도, 여기 Google에 올 때, 나는 이것에 대한 당신의 관점 그래서 나는 내 발표를 짧게 지킬거야 당신의 견해와 의견을 얻기를 바랍니다 그리고 질문도 따라서 우리를위한 결정을 내리는 알고리즘의 관점에서, 나는 우리 모두가 우리 자신이 좋아하는 예제를 가지고있을 것이라고 생각한다

그러나 확실히, 우리 모두가 관련 될 수 있고 하나는 그동안 잠시 있었어 쇼핑하러 가자 그리고 아마존 닷컴에 가면 메시지를 볼 수 있습니다 이것을 본 사람들은 결국 그 제품을 구입했습니다 또는 이것을 구입 한 사람들도 다른 제품을 구입했습니다

그리고 질문은 얼마나 많은 결정을 내리는지에 있습니다 그리고 우리 중 대부분은 우리 선택에 미묘한 영향을 미친다는 것을 알고 있습니다 다양한 방법으로 한 연구는 3 분의 1 이상 아마존에서 결정의 원산지 알고리즘 권장 사항에서 이제 이러한 권장 사항은 선택의 수에 영향을 미친다 만들다, 우리가 만드는 구매의 수, 그러나 그것은 또한 선택의 종류, 종류에 영향을 미친다

우리가 소비하는 제품도 사실, 제 연구에서, 저는 이해에 매우 관심이있다 자동화 된 권장 사항 변경 방법 우리가 소비하는 제품의 혼합, 우리가 소비하는 미디어의 혼합, 등등 한 연구에서 우리는 상위 5 개 온라인 소매 업체와 파트너 관계를 맺었습니다 미국에서 실험을했습니다 50 만 명의 사용자가 쇼핑 경험이있어 알고리즘 권장 사항이 없었으며, 그리고 그것은 통제 집단이었고, 또 다른 10 만 명의 사용자들 협업 필터가 있는데, 이는 본질적으로 같은 추천, 이것도 구입 한 사람들 이 다른 제품을 샀다

그래서 우리는이 시스템이 어떻게 종류를 변화 시켰는지 살펴 보았습니다 사람들이 소비하는 제품 그리고 특히, 우리는 어떻게 보았는가에 관심이있었습니다 그것은 판매의 다양성을 변화시킵니다 제품의 다양성을 어떻게 변화 시키나요? 사람들이 전체적으로 소비한다는 사실을 알고 있습니까? 그리고 이것은 그것의 묘사입니다

그리고 특히, 내가 여기에서 플로팅 한 것은 무엇인가? 로렌츠 곡선으로 알려져 있습니다 시장의 그래픽 표현이다 다른 제품의 점유율 Lorenz 곡선은 종종 소득 불평등을 계획하는 데 사용됩니다 부의 불평등을 살펴보십시오

그리고 여기서 우리는 판매 불평등을보고 있습니다 그리고 x 축은 근본적으로 제품을 가지고 있습니다 가장 인기있는 제품이 가장 적은 제품 그리고 가장 인기있는 제품은 오른쪽에 있습니다 그리고이 그래프의 y- 축은 누적 시장 점유율을 가지고 있습니다 제품의

즉,이 그래프가 말하는 것입니다 만약 검정색 곡선을 보게된다면 그것은 Lorenz입니다 우리의 컨트롤 그룹에 대한 곡선, 우리 그룹을 의미 어떤 권고도받지 못했다 그 제품의 하단 40 %입니다 매출의 약 5 %를 차지했습니다 마찬가지로 제품의 하단 80 %를 보면, 그들은 매출의 약 37 %를 차지했습니다

그래서 우리는 80-20 규칙을 제외하고들은 것입니다 80-37입니다 그것이 여기에 있습니다 이제 검정 곡선은 로렌츠 곡선입니다 권장 사항에 노출되지 않은 사용자의 경우 점선으로 된 빨간 곡선은 로렌츠 곡선입니다

권장 사항에 노출 된 사용자의 경우 그리고 주목할 것은, 권장 사항에 노출되어 있으며, 제품의 하단 40 % 구매의 약 1 %를 차지했습니다 그리고 제품의 하단 80 %는 27 %의 시장 점유율을 보였습니다 요컨대,이 추천 시스템을 시작한 후, 틈새 시장 제품의 시장 점유율 실제로 감소하고 인기있는 제품의 시장 점유율 실제로 증가했다 그리고 이것은 놀랍습니다 왜냐하면 약속 알고리즘 권장 사항 검색 비용을 줄이고, 이러한 틈새 시장을 발견하는 데 도움이됩니다

그리고 그것은 일어나지 않았습니다 그리고 사실,이 사실을 이해하는 한 가지 방법이 있습니다 제품의 절대 판매를 살펴 보는 것입니다 나는 여기서 시장 점유율을 꾸몄다 이는 제품의 상대적 판매량입니다

우리가 제품의 절대 판매량을 보면, 우리가 찾은 것 제품의 모든 종류의 절대 판매, 틈새 제품이나 블록버스터 등 모든 것이 올라갔습니다 그러나 인기있는 제품의 판매 벽감 제품의 판매보다 더 많이 올라갔습니다 따라서 상대적인 기준에 따라 "부자가 더 부유 해졌다"는 종류의 효과가있었습니다 무슨 일이 일어 났는지 조금은 그렇다 지난 30 년, 40 년 동안 수입이 있다고 가정 해 봅시다

40 년 전을 소득으로 보았을 때, 모든 그룹의 소득 – 가장 가난한 그룹, 가장 부유 한 그룹 – 모두가 올라갔습니다 그러나 상대적으로 부자 가난한 자보다 부유 한 길을 가졌습니다 그래서 소득 불평등은 실제로 증가했다 그리고 우리는 비슷한 효과를 발견합니다 그리고 이것은 여기에 사용 된 알고리즘 가장 인기있는 디자인 중 하나입니다

협업 필터입니다 이것을 구입 한 사람들도 이것을 구입했습니다 따라서 추천 할 제품을 위해, 그것은 다른 사람들에 의해 구매되어야합니다 그래서 거기에 편향된 인기가 있습니다 대조적으로, 또 다른 디자인은 콘텐츠 기반 권장 사항으로 알려진 당신은 인기를 보지 않습니다

당신은 제품의 실제 속성을보고, 다른 제품을 찾으십시오 속성 측면에서 유사하다 그리고 그 디자인에는 이런 종류의 대중성 편향이 없습니다 그리고 하이브리드 디자인이 있습니다 예를 들어, Spotify는 하이브리드 디자인을 사용합니다

공동 작업 필터를 사용하는 곳에서 콘텐츠 속성을 사용하여 음악을 추천합니다 따라서 음악을 보여주는 것과 다른 사람들은 소비하고 또한 물건을 발견하는 것을 돕고 있습니다 그것은 당신이 선호하지 않는 것들에 가깝습니다 하지만 디자인과는 별도로 우리 연구 결과에 따르면 사람들이 사들인 제품의 혼합을 바꾸고, 그들이 소비하는 미디어의 혼합 등이 포함됩니다 물론 이것은 전자 상거래의 한 예입니다

다른 설정으로 가져갈 수 있습니다 미디어를 보면, 예를 들어, 데이터 과학자 Netflix에서 이것을 측정 한 논문이 나왔습니다 시청 시간의 80 % Netflix에서 스트리밍되는 것은 어느 시점에서 발생합니다 알고리즘 권장 사항을 통해 그래서 우리를 조종하는 알고리즘 적 권고 사항입니다 쇼에 들어간 다음 우리는 쇼를 많이 소비합니다

예를 들면 마찬가지로, 다른 연구에 따르면 70 % 사람들이 YouTube에 머무르는 시간 알고리즘 권장 사항에 따라 결정됩니다 다시 말하지만, 나는이 특별한 것에 너무 많이 들어 가지 않을 것입니다 여기 계신다면, 아마도 나중에 오프라인에서 채팅 할 때이 측정 항목에 대해 자세히 설명해주세요 그러나 최종선 – 그들은 우리의 선택의 제비를 몰고있다, 소비하는 제품, 소비하는 미디어, 우리의 사회적 네트워크조차도 Facebook 또는 LinkedIn에 추가 한 친구, 그러나 우리의 개인적인 삶, 물리적 세계, 소셜 네트워크

예를 들어 Matchcom 또는 Tinder와 같은 데이트를 보는 경우, 주도되는 대부분의 경기 알고리즘 권장 사항에 따르면, 이것은 당신이 데이트해야 할 사람입니다, 또는 이것은 당신이 결혼해야하는 사람입니다 또한 알고리즘이 선택에 영향을 미치기도합니다 심지어 그것을 깨닫지도 않고 흥미로운 한 가지 예가 연구 조사에서 나온 것입니다

그것은 페이스 북에서 행해졌 다 그래서 2012 년에 페이스 북은 사용자들과 함께 실험을 실시했다 그들이 사람들의 투표 결정에 영향을 줄 수 있는지 알아보기 뉴스 피드를 변경하여 특히이 연구는 다음과 같이 설계되었습니다 다수의 사용자 – 컨트롤 그룹 – 일반, 일반, 오래된 Facebook을 가졌습니다 경험, 뉴스 피드 알고리즘은 이전과 동일하게 유지됩니다

그러나 다른 사용자 집합, 처리 된 사용자, 그들의 뉴스 피드 알고리즘이 한 가지 간단한 방법으로 수정되었습니다 더 연약한 것보다는 단단한 뉴스 이야기를 추천 할 것 같았습니다 또는 더 재미있는 뉴스 내용 예를 들어, 그 시스템은 재미있는 고양이 비디오를 추천 할 가능성이있다 경신 뉴스를 추천 할 가능성이 높습니다

2012 년 이라크에서의 전쟁일지도 모릅니다 그리고 그것은 이야기의 종류일지도 모릅니다 그것은 추천했을 것입니다 그리고 나서 그들은 스스로보고 한 유권자 투표율을 관찰했습니다 따라서 선거를 중심으로 페이스 북에는 I Voted 버튼이 있으며, 사람들이 투표 한 것을 나타 내기 위해 클릭 할 수 있습니다

그리고 그들은 스스로보고 한 투표가 대조군의 경우 약 64 %였다 그러나 뉴스 피드 알고리즘이 더 많은 뉴스 기사를 추천하기 위해 수정 된 것, 67 %까지 올라갔습니다 이제 3 % 포인트는별로 들리지 않을 수도 있습니다 그러나 우리는 이미 선거가 단지 3 %보다 훨씬 작은 비율의 영향을받습니다 그리고 분명히이 시스템들은 사람들이 할 수있는 중요한 정치적 결정

그것은 사람들의 영향뿐만 아니라 선출 된 대표자가 어떻게 우리에게 봉사 하는지를 그래서 미국의 여러 곳에서 학생들의 결정 어떤 학교가 알고리즘으로 만들어 졌는가 앞에서 언급했듯이, 법정에서, 알고리즘은 사람의 가능성에 대한 추천을합니다 양형을 인도하는 범죄를 범하고, 보석금 및 가석방 결정 그들은 더 많은 결정을 내릴 것입니다 자율 차량이든 의학이든간에 당신은 정밀 의학쪽으로 밀고 있어요, 그 아이디어는 치료가 DNA 프로파일을 기반으로 각 개인에게 맞춤화되었습니다

그리고 그 유전자 데이터는 인간에게 너무 거대합니다 과정 그리고 다시 한번, 그것은 자동 의사 결정이 될 것입니다 따라서 요점은 간단히 말해서 기계 많은 결정을 내리고 있습니다 스테이크가 높습니다

그리고 만약 그들이 실패한다면, 그것은 법정에서 경주 편견이든, 또는 대출 승인이나 채용 결정에 편향된 경우, 또는 다른 많은 예들과 같이 말뚝은 꽤 높습니다 그래서 거버넌스 구조가 있어야합니다 이러한 종류의 위험을 관리합니다 그래서 그것에 대해 이야기 해 봅시다 그리고 특히 두 가지 질문 우리가 이것을 관찰 할 때 일어나는 일은, 이런 종류의 행동을 주도하는 것은 무엇입니까? 둘째, 회사는 어떻게해야할까요? 그리고 정부는 그것에 대해 무엇을해야할까요? 그것에 대해 사용자, 개인이 무엇을해야합니까? 처음부터 시작합시다

왜 이런 일이 생길까요? 다시 말하지만, 여러분이 잘 아는 청중입니다 왜 이런 일이 일어나는 지 알 것입니다 그것은 데이터에 있습니다 그리고 이러한 편향이나 문제는 데이터에서 선택됩니다 하지만 도움이되는 한 가지 비유 내가 그것을, 특히 비 기술자들에게 설명 할 때, 알고리즘을 비교하거나 대조하는 것입니다

행동과 인간의 행동 그래서 인간 행동과 함께, 심리학자들 인간의 행동을 자연에 부여하고 양성합니다 자연은 아주 간단하게 우리의 유전 암호입니다 우리가 부모에게서 물려받은 것 양육자는 환경입니다

알고리즘을 보면 매우 유사합니다 그들은 자연이 있습니다 프로그래머가 코드를 입력하는 알고리즘의 논리, 또는 알고리즘이 따르는 규칙, 유전 암호 알고리즘에 해당합니다 그리고 양육은 그들이 배운 데이터입니다 그리고 함께 알고리즘 작동을 유도합니다

그리고 당신이 자연을보고 양육한다면, 친구가 한 번 말한 것이 있습니다 자연이나 육성 – 어느 쪽이든, 부모는 책임이 있습니다 나는 여기에 자연이나 양육을한다고 생각합니다 – 어느쪽으로 든, 데이터 과학자는 탓할 것이다 그리고 나는 어느 쪽이든, 당신은 같은 사람을 탓할 수 있다고 생각합니다 그러나 다른 이유로

그러나 흥미로운 점은 우리가 세계에서 프로그래머가 모든 규칙을 세계에 입력 한 곳 알고리즘이 취하는 많은 동작 데이터에서 배운다, 우리는 세계로 나아 간다 예측 가능성이 떨어지고 새로운 종류의 위험이 발생합니다 비즈니스 청중과 이야기 할 때, 특히 CEO 및 이사회, 은행에 대해 생각하는 경우 대출 승인 결정 및 신용 승인을하는 결정, 많은 위험이 관련되어 있습니다 이런 종류의 결정으로 – 사회적 위험이 테스트없이 결정을 내림 데이터의 편향 또는 최종 결정에 대해, 그것이 신용 점수인지 모집인지, 회사에 대한 평판 위험 알고리즘은 편파적이거나 해킹에 취약하다 다른 사람들에 의한 – 다른 사람들에 의한 적의 공격 – 소송 위험 및 규제 위험까지 포함합니다

우리가 아는 바와 같이, 많은 규제 당국이이를보고 있습니다 그리고 위험은 회사가 사전 조치를 취하지 않으면, 그때 당신은 무거운 규제가옵니다 실제로 혁신을 저지합니다 많은 사람들이 GDPR이 기업에 지나치게 번거로울 것이라고 불평하고 있습니다 준수하고, 창출 된 가치 컴플라이언스 비용에 비례하지 않습니다

그리고 어떤 수준에서는, 무거운 규제 많은 개인 정보를 침해 한 결과입니다 그리고 만약 회사들이 조심하지 않으면, 다시 한 번, 무거운 규제를 볼 수 있습니다 그럼 질문은 물론입니다 좋습니다 어떻게 기업이이를 능동적으로 관리합니까? 그리고이 책에서 나는 무엇을 제안 했는가? 나는 알고리듬 적 권리 장서를 부른다

나는 몇 가지 기본적인 권리 사용자들에 대해 이야기 해왔다 있어야 해? 그리고 회사는 무엇을 순서대로해야 하는가? 이러한 문제를 파악할 수 있도록 또는 그들이 일어날 확률을 줄이십시오? 그래서 저는 그 주요 기둥에 대해 이야기하고 싶습니다 내 권리 장전 그리고 나는 크게 세 가지 주요한 것들에 대해 이야기 할 것이다 중요성

그래서 저는이 사용자 컨트롤에 대한 아이디어로 시작하고 싶습니다 그리고 이것은 단순히 거기에있는 아이디어입니다 사용자의 피드백 메커니즘이어야 함 알고리즘에 그리고 알고리즘을 디자인 할 때 많은 시간을 필요로합니다 특히 자율 알고리즘과 의사 결정을 할 때, 우리는 디자인 접근법에 대해 갈 것입니다

우리는 사용자가 이상적으로 이것을 생각하고 모든 것을 자동화하자 사용자는보다 수동적 인 방식으로 사용할 수 있습니다 그리고 그것이 이것이 문제의 근원이라고 생각합니다 그리고 사용자가 어떻게 사용자를 제공하는지 실제로 생각해야합니다 영향을주기위한 어떤 수준의 통제 알고리즘 '동작도 포함합니다

그리고 물론, 내가 당신에게 통제권을 주어야한다고 말하면, 말하기는 쉬운 일이지만, 매우 복잡한 일입니다 실제로 예를 들어 2015 년에 Facebook은 사용자가 자신의 뉴스 피드를보다 잘 제어 할 수 있도록합니다 그래서 Facebook은 사람들이 할 수있는 믹서 스타일의 컨트롤을 발표했습니다 실제로 몇 가지 슬라이드 만하면됩니다

DJ 슬라이드처럼 몇 가지 컨트롤을 슬라이드 해보세요 이런 말을 더 많이 해줘 이런 종류의 사람들로부터 게시물을 줄이십시오 그 종류의 게시물을 더주세요

사람이 많거나 사진이 많고 콘텐츠가 적습니다 그래서 그들은 많은 기능을 공개했습니다 그리고 그들은 그것들을 세트 사이에 굴려 넣었습니다 이 기능을 테스트 할 사용자의 이제 데이터가 다시 돌아와 분석되었습니다 사용자 행동에 어떤 영향을 주 었는지, 그들은 액세스 권한이있는 모든 사용자 대부분이 컨트롤에, 그들은이 통제를하는 것이 매우 행복했습니다

사용자 만족도가 매우 높았습니다 그러나 참여도 데이터를 살펴본 결과, 이 사용자들은 다음과 같은 것을 좋아했습니다 적은 수의 게시물을 클릭하십시오 그들은 페이스 북에서도 더 적은 시간을 보냈다 그리고 흥미롭게도, 일어난 일은, 사람들은 자신이 통제 할 수 있다고 느끼고 있었다

그들은 만족했다 그러나 그들이이 다이얼을 움직이는 방법 사람들에게 덜 매력적이었던 뉴스 피드를 제작하고있었습니다 그들은 페이스 북에서 더 적은 시간을 보내고있었습니다 그리고 결국, 페이스 북은 단계적으로 단계적으로 일부 기능을 제거하고 일부 기능을 전원으로 사용 고급 기능 만 사용할 수 있습니다 여러 페이지의 설정 등을 거쳐야합니다

그리고별로 많이 사용되지 않습니다 그리고 그때 그때 무슨 일이 일어 났습니까 사실 많은 다른 설정에서 충분한 증거가 있습니다 즉, 사용자에게 제어 권한을 부여하면 실제 실적 내려 간다 실제로 Match

com의 다른 예가 있습니다 그들이 실제로 사람들에게 물었던 곳, OK, 너 누구하고 데이트하니? 그리고 사람들은 이렇게 말할 것입니다 다음과 같은 관심사와 누가 어쩌면이 종교를 가지고 있고, 누가 그것을하고 싶어하는지, 누가이 일을하고 싶은지 등등 그리고 그들은, 좋아, 우리는 당신의 선호도를 가지고 있다고 말했다 우리는 그것을 바탕으로 시도하고 일치시킬 것입니다

Matchcom에서 발견 된 것은 일치율 그들이 무시한 것보다 사용자의 의견을 청취 할 때 더 낮았습니다 사용자는 데이터를보고 그냥 보았습니다 누구의 프로필은 숨어있는 사람들입니다 그런 다음이를 바탕으로 일치를 제안합니다

그래서 결국 그들은 그것을 잊고 결정했습니다 사람들에게 그들이 원하는 것을 묻는 것은 의미가 없습니다 따라서 사용자에게 제어 권한을 부여 할 때, 그것은 약간의 성능을 상하게하는 것으로 보인다 하지만 여기서 좋은 소식이 있다고 생각합니다 당신이 둘의 균형을 어떻게 잡았는지

Wharton의 동료 중 일부가 수행 한 연구가있었습니다 그리고 그들은하려고했는데, 사용자의 영향은 무엇인가? 알고리즘의 신뢰에 대한 통제? 그리고 그들이 한 일은 연구를 실행 한 것이 었습니다 참가자들은 참가자들을 네 그룹으로 나눴다 모든 그룹에게는 고등학생에 대한 데이터가 제공되었습니다 그리고 학생들에게이 학생들이 얼마나 훌륭한 성적을 낼지 예측했습니다

표준화 된 테스트에서 할 수 있습니다 그래서 그들은 사회 경제적 데이터와 같은 데이터를 가지고있었습니다 이 사람들이 고급 배치를 택했는지 여부 수업 및 기타 시험, 친구들의 수 그런 종류의 데이터가 대학에 남았습니다 그리고 그들은 데이터를보고 예측할 예정이었습니다 이 사람의 점수는 얼마입니까? 그들은 또한 알고리즘 컨설팅 옵션을 가졌습니다

이전 데이터에 액세스 할 수있는 그리고 그것은 그것의 자신의 견적을 줄 것입니다 그들은이 사용자들을 네 그룹으로 나눴습니다 첫 번째 그룹은 알고리즘을 조정할 능력이 없었습니다 그들은 그들이 가고 있는지 여부를 결정해야했습니다 알고리즘을 사용할지 여부

그리고 그들이 알고리즘을 사용할 것이라고 말하면, 뭐든간에 그 알고리즘의 추정치, 그것은 구워진 것입니다 그래서 그들은 통제 할 수 없었습니다 그것은 완전히 자율적입니다 그리고 그들은 입양 여부에 관계없이 결정을 내려야합니다 두 번째와 세 번째 그룹은 최소한의 통제력을 가졌다

알고리즘을 통해 – 거의 제어 할 수 없습니다 그래서 그 그룹 중 하나가 알고리즘의 추정치를 취할 수 있습니다 득점을 플러스 또는 마이너스 10 포인트로 변경하십시오 다른 그룹은 알고리즘의 추정치를 취할 수 있습니다 몇 가지 사례가있었습니다

알고리즘을 뒤엎고이 특별한 경우에, 나는 내 번호를 넣고 무시할거야 알고리즘이 말하는 것 그리고 마지막 그룹은 완전한 자유를 가졌다 그들이 원하는대로 할 수 있습니다 그리고 그들은 점수가 주어졌습니다

그들이 원하는대로 할 수 있습니다 흥미롭게도, 그들이 발견 한 것 그 신뢰가 그 그룹에서 가장 낮은 것이 었습니다 알고리즘에 대한 제어권이 없다 그들은 입양 여부를 결정해야했습니다 그리고 그들은 알고리즘을 제어 할 수 없습니다

그래서이 사람들이 원하는 가능성 알고리즘을 채택하는 것은 낮다 알고리즘에 대한 신뢰가 낮습니다 사람들에게 돈을 주면 신뢰가 극적으로 향상되었습니다 최소한의 통제 예를 들어 점수는 알고리즘에서 가져옵니다

다이얼은 실제로 여백에서 조금 움직일 수 있습니다 여기저기서 또는 드문 경우 당신은 알고리즘을 우회하는 것이 허락되었습니다 두 경우 모두 신뢰가 극적으로 향상되었습니다 자, 무엇이 더 재미 있었는지 나중에 테스트했을 때, 그들은 사용자에게 제공 한 제어 수준은 중요하지 않습니다 그들이 사용자들에게 많은 통제권을 주었다면, 신뢰는 그들에게 거의 통제를주지 않는 것과 같았습니다

그리고 그것은 정말로 문제였습니다 사람들에게 통제력을 주어야한다 그들은 공연을 해칠거야 알고리즘이나 시스템의 그들이 관찰 한 것은 그들은 사람들이 원하는대로 무엇이든 할 수있게 해주었습니다 그러나 그들이 말했을 때, 여기에 알고리즘이 있습니다, 하지만 다이얼 조금 줄께

이걸 조금 조정하면 신뢰가 올라 갔고 성능도 꽤 높게 유지되었습니다 그래서이 흥미로운 트레이드 오프를 보여줍니다 나는 달콤한 장소가 있다고 생각한다 이 그래프에서 파란색으로 나는 신뢰합니다 사람들에게 돈을 줄 때 신뢰가 극적으로 향상됩니다

약간의 통제 그러나 그들에게 많은 통제권을 부여하는 것은 실제로는 아닙니다 신뢰 측면에서 그렇게하십시오 그러나 성과는 지속적이고 지속적으로 악화되고 있습니다 그래서이 작은 통제 사용자 신뢰 유형 문제 해결에 도움 성능을 해치지 않습니다

그리고 사실 틀림없이 많은 설정이 있습니다 사용자에게 약간의 제어 권한 부여 실제로 실적을 도울 수 있습니다 특히 너는 능력을 상실 할 때 알고리즘이 뭔가 잘못됐다고 생각할 때 그 중 흥미로운 한 가지 예가 페이스 북이 가짜 뉴스 문제를 본다면 2016 년에 많은 사람들이 가짜 뉴스 기사를 보았습니다 그들의 뉴스 피드에

그러나 단순히 피드백 메커니즘이 없었습니다 사용자로부터 알고리즘까지 그래서 알고리즘을 알리는 방법이 없었습니다 어떤 이야기는 가짜라는 것 그리고 물론, 문제 후, 페이스 북 지금 두 번의 클릭으로, 우리는 게시물이 불쾌하다고, 게시물이 가짜 뉴스라고 말하면서, 게시물은 폭력적인 콘텐츠입니다

그리고 그것은 실제로 매우 흥미롭고 중요한 것입니다 추가 및 알고리즘 도움이됩니다 예를 들어, 뉴질랜드의 테러 공격에서, 많은 초점이 사실에 달려 있었다 그 페이스 북의 알고리즘은 테러 공격의 생방송 비디오가 게시 된 것을 감지합니다 그러나 사람들은 많은 사용자들이 콘텐츠에 불쾌감을 표시 할 수있었습니다

많은 사람들이 콘텐츠를 불쾌하거나 폭력적으로 표시했습니다 그것은 그 자체를 바로 잡을 수있다 그리고 비디오가 실제로 잡혔습니다 동영상 종료 12 분 이내에 그 때 그것은 바로 제거되었습니다 그리고 틀림없이, 그것은 늦었습니다

하지만 최소한 피드백 메커니즘이 있습니다 나중에 더 빨리 잡힐 것입니다 그래서이 사용자 컨트롤의 성격이 다를 수 있다고 생각합니다 그것은 페이 스북이 사람들에게주는 것과 같을 것입니다 알고리즘에 피드백을주는 기능 단순히 알고리즘에 알리면 이것이 잘못된 결정이라고 생각하거나 생각합니다

이것은 문제가되는 게시물입니다 사용자가 말할 수있는 AdChoices와 같을 수 있습니다 앞으로도 이와 같은 광고를 다시 게재하지 마십시오 아니면 자율 차량 일 수도 있습니다 사용자가 말할 수있는 오버라이드 (override) 기능처럼, 음, 자율적 인 건 알지만, 나를 대신 할 길

그래서 저는 통제의 개념이 디자인으로 구워졌다 꽤 중요한 것입니다 그리고 종종 제품 디자인이 많이 있다고 생각합니다 자율적 인 일에 집중하기 여기에는 사용자 제어가 없습니다 두 번째 부분은 투명성입니다

이제 투명성은 사람들이 기계 편향과 문제에 관해 이야기 할 때 많은 것을 얻습니다 기계 결정 등등 하지만 투명성 또한 꽤 흥미롭고 미묘한 차이입니다 이야기 특히 규제 당국을 볼 때, 투명성에 관해 이야기 할 때, 그들은 학술 문헌에서 알려진 것에 대해 이야기합니다

기술적 투명성으로서, 이는 소스 코드가 공개되어야합니다 그리고 그 방법으로 제안 된 많은 경우가 있습니다 문제를 해결합니다 예를 들어, 2010 년 5 월, 미국 주식 시장에 플래시 사고가 발생했습니다 그래서 일어난 일은 많은 주식의 주가 상당히 극적으로 떨어지기 시작했다

34 분 만에 1 조 달러의 시장 가치 쓸어 버렸다 실제로 많은 유명 기업 Accenture와 같은 회사는 페니를 거래했다 그리고 규제 당국이 들어 섰다 시장을 폐쇄하고 모든 거래를 막았습니다 일어나는 것에서

그들은 많은 거래를 뒤집었다 결국 시장이 회복되었습니다 그러나 이것은 정말로 규제 당국의 관점에서, 1 조 달러가 닦일 수있는 방법은 어떨까요? 30 분 만에? 그리고 그들은 그것을 조사하기 시작했습니다 그리고 그 분석은 여러 가지 가능한 이유를 검토했습니다 그리고 보고서의 큰 범인 중 하나 고주파 거래 알고리즘이 끝났어

한 번의 큰 판매가 일어난 것을 보았습니다 인과 관계 개념이 없어도 이상한 일이 일어나고 있습니다 그리고 하나의 알고리즘이 팔리기 시작했습니다 그리고 하나의 알고리즘이 팔립니다 또 다른 알고리즘은 판매를 관찰하고 판매를 시작합니다

그리고 그들은 광란에 빠져서 이것을 많이 팔았습니다 그리고 규제 당국, CFTC, 상품 및 선물 거래위원회, 이걸 걱정 했어 그리고 그들은 그 (것)들을 허용 한 결정을 찬성했다 법무부가 접근 할 수 있도록 소환장없이조차도 모든 소스 코드에 이러한 거래 알고리즘 중 그리고 분명히 업계는이 일로 인해 화가 나서 놀라움을 금치 못했습니다 이 독점적 인 알고리즘을 만들고 있기 때문에 그 사람들이 단지 언제든지 소스 코드를 살펴보십시오 그래서 업계는 항의했습니다

결국 CFTC는이 규정을 철회하고 변경했습니다 또 다른 예는 2017 년입니다 뉴욕 시의회 의원 제임스 바카 (James Vacca) 그는 자동화 된 결정을 규제하는 법안을 제안했다 정부에 의해 그리고 구체적으로, 그를 귀찮게 한 것은 무엇입니까? 많은 결정이 내려 졌다는 것이 었습니다

도시가 어떤 경찰관을 배정했는지 선거구, 학교에 배정 된 학생, 아무도 설명 할 수 없다 아무도 왜이 사람이 거기로 이사 왔는지 말할 수 없었습니다 그것은 마치 소프트웨어와 마찬가지로, 그게 무슨 일이야 그래서 그는 법안을 제안했다 시에서 사용하는 모든 소프트웨어 자동 결정, 소스 코드 작성 이용 가능해야한다

그리고 다시, 모든 벤더들은 항의하기 시작했고 말했다 이봐,이 일은 할 수 없어 그리고 결국, 그들은 물러 섰고 그들은 다른 규정이나 법안을 통과 시켰습니다 이 법안은 실제로 비 청구서 다 결국, 우리는 준비 할 태스크 포스를 세울 것입니다

무슨 일을 해야할지 그러나 요점은 그들이 투명성을 바라 보는 것입니다 모두가 투명성에 대해 이야기합니다 그리고 그들은 뒤로 물러 난다 기술적 투명성에는 명백한 문제가 있기 때문입니다

회사는 독점 소프트웨어를 만들고, 그리고 나서 그것을 사용할 수있게해야합니다 귀하의 지적 재산권을 침해합니다 또한 알고리즘을 해킹에 취약하게 만듭니다 또는 게임 예를 들어 Google이 검색 순위 알고리즘을 공개하도록 강요 당했고, 다음 모든 검은 모자 서구 기업과 웹 사이트 분명히 그것을 게임하고 더 높은 순위를하려고합니다

명확하게 기술적 투명성은 문제가됩니다 그러면 문제는 무엇입니까? 그리고 또 다시, 그것은 실제로 제어 결과와 비슷합니다 그 극단으로 갈 필요가 없습니다 사실, 당신은 가치가별로 없습니다 10 년 전과 마찬가지로 오늘날의 기술적 투명성으로부터 10 년 전, 소스 코드를 보면, 알고리즘이 어떻게 동작하는지 볼 수 있습니다

오늘날, 일부 고급 기능의 소스 코드를 보면 알고리즘은 1,500 줄의 코드가 될 수 있습니다 왜이 알고리즘이 필요한지 알려주지 않습니다 그것이하는 것처럼 행동한다 소스 코드를 묻는 것조차 없습니다 보았던 연구가있었습니다

신뢰에 대한 투명성의 영향 그래서 이것은 BSD 학생이 수행했습니다 Rene Kizilcec의 스탠포드에서 그리고 그는 투명성에 미치는 영향을 조사했습니다 알고리즘을 신뢰하십시오

그리고 구체적인 설정은 MOOC 과정의 채점이었습니다 따라서이 코스는 온라인 코스입니다 수천 명의 학생들이있다 그리고 숙제와 제출물을 채점해야합니다 학생들의 그리고 당신은 50,000 또는 20,000의 숙제를 채점하기 위해 조교를 고용 할 수 없습니다

제출 그래서 그들 중 많은 사람들이 동료 평가를하고 있습니다 각 숙제는 3 ~ 4 명의 동료에 의해 등급이 매겨집니다 그리고 나서 그들은 그 성적들을 평균 낸다 그런 다음 평균 등급을 계산하십시오

그러나 물론, 그것은 평균 등급을 만든다 임의의 기회에 취약합니다 그것은 당신의 숙제가 3 ~ 4 명인 것에 달려 있습니다 에 배정 받았다 그들이 한 일은 알고리즘을 만들었습니다

성적에 따라 사람들의 성적을 재조정합니다 사람들의 경향 그래서 그들은 보았고 말할 것입니다,이 사람 그들이 등급 매기기에 엄격한 것처럼 보입니다 우리는 거기에서 조정할 것이다 그 사람은 관대 한 것처럼 보입니다

우리는 그것들을 다른 방향으로 조정할 것입니다 등등 그래서 그들은 알고리즘을 만들었습니다 그리고 학생들은 학생들이 이 알고리즘을 수락하십시오 그래서 다시 여기에서 학생들의 세 그룹을 만들었습니다

한 그룹의 학생들은 최종 학년과 아무것도 얻지 못했습니다 그밖에 그리고 예상대로, 그 시스템에 대한 신뢰 당신이 가진 모든 것이 있기 때문에 다소 낮았습니다 그것이 어떻게 조정되었는지에 대해 말하지 않고 최종 학년이었습니다 왜 그것이 조정되었는지, 등등

두 번째 그룹에는 한 단락의 설명이 있습니다 그것은 아주 간단하게, 조정되었습니다, 이러한 요소를 살펴 보는 통계 모델이 있습니다 그리고 그것은 다음과 같은 방식으로 조절됩니다 매우 높은 수준의 설명 그들이 이러한 설명을 제공하면 신뢰가 훨씬 커졌습니다

나는 신뢰 구간에 숫자를 보여주지 않았다 하지만 내가 말하는 모든 것을 가정 해주세요 통계적으로 유의하다 다음으로, 그들은 더 많은 정보를 주었다 그것은 단지 한 단락의 설명을 줄뿐만 아니라, 그것은 모든 개인 학년 할당 됨

그것은 조정 공식을 줬다 그리고 그것이 어떻게 수정되었는지 자세히 설명했습니다 그리고 나서 그들은 그 집단에 대한 신뢰를 관찰했습니다 그리고 흥미롭게도 사실은 신뢰합니다 다음과 같은 수준으로 떨어졌습니다

정보 없음 실제로, 그것은 약간 더 낮았지만 약간 더 낮았습니다 통계적으로 유의미한 재미있는 것은 사람들에게주는 것입니다 많은 정보가 정말로 신뢰로 도움이되지 못했습니다

아주 높은 수준이었습니다 그리고 그것은 사용자가 필요한 모든 것입니다 그들의 신뢰를 얻으려고 그리고 사용자에 관한 한, 우리는 매우 높은 수준에 대해 이야기하지 않습니다 모델 투명성 또는 설명 결정에 관한 그러나 그 결정을 내리는 것은 훨씬 더 높은 수준입니다

그건 그렇고, 나는 모든 것을 언급하는 것을 잊었다 신뢰에 대한 기대는 사람들에 대한 것이라고 위반되었다 그래서 이들은 예상했던 것보다 적은 것을 가진 사람들입니다 그 (것)들을 위해 동일 또는 더 많은 것을 얻은 사람들은, 그들이 얼마나 투명하게되었는지는 중요하지 않았습니다 그것은 당신이 기대하는 것입니다

그래서 이것이 우리로 하여금 믿을 수있게 만들면, 좋습니다 기술적 투명성이 필요하다 신중하게 조정 된 레벨이 필요합니다 투명성 그게 무슨 뜻 이죠? 나는 나를 위해, 먼저 사용자에게 알리는 것을 의미한다고 생각한다

알고리즘이 결정을 내렸다 그래서 사용자에게 알고리즘이 관련되어 있다는 것을 알아야합니다 사실 Google이 Google Duplex 데모를했을 때, 헤이, 다른 사람이 거기 있다는 것을 몰라요 그들이 말하는 채팅 봇 그리고 구글은 다음과 같이 말했다

우리는 사람들이 알고 있는지 확인합니다 하지만 우리가하지 못하는 설정이 많이 있습니다 알고리즘이 어디에서 만들어 졌는지 알아라 말하자면, 외로운 결정과 그런 것들 그래서 알고리즘이 관련되어 있습니까? 알고리즘은 어떤 종류의 데이터에 액세스합니까? 예를 들어, 당신이 직업을 신청한다면, 단지 간단한 정보 직장에 나와있는 것 이상 신청서 또는 귀하의 신청서, 우리는 다른 것들도 보았습니다

우리가 뭘 더 보았 니? 우리는 소셜 미디어 데이터를 조사했습니다 그래서 어떤 데이터가 있는지에 관한 정보 사용되는 변수, 고려되는 변수, 이 변수들이 얼마나 중요한지와 얼마나 많이 그들이 중요하니? 물론, 깊은 ​​학습 같은 것들로는 더 어려워집니다 알고리즘 또는 임의의 포리스트 또는 이러한 알고리즘 프로그래머가 정말로 정확히 모든 변수에 대한 가중치가 무엇인지 말하십시오 그러나 최근 연구에서 가능하다 해석 가능한 기계 학습에 중점을 둡니다

해석의 두 가지 아이디어에 많은 강조점이 있습니다 하나는 전역 해석 가능성이라고하는 것입니다 합계 수준에서 말할 수있는 능력입니다 인구 수준에서,이 깊은 학습 모델 대출 승인시 교육에 가장 집중하는 경향이있다 결정

두 번째로 중요한 변수는, 소득입니다 세 번째로 중요한 변수는 참조를 말하자 그러나 그것은 집합적인 수준에서 그 가중치들을 명확하게 해줍니다 다른 하나는 지역 해석 능력이며, 이 특별한 결정에 대해 말할 수있는 능력입니다 가장 중요한 다섯 가지가 이것들이었습니다

그리고 이것은 상대적 가중치입니다 그리고 그것은 오늘날의 환경에서 매우 달성 가능하다고 생각합니다 기법 그리고 그 투명성 수준은 사용자에게 충분합니다 내가 언급했듯이, 매우 높은 수준의 투명성 실제로 사용자를 돕는 것 이상으로 많은 상처를줍니다

그래서 마지막으로, 방금 말한 것은 사용자에 관한 것입니다 전문가가되면 어떻게 될지 물어볼 수 있습니다 시스템을 평가하고 있습니다 그들은이 세 가지 또는 네 가지 질문 이상을 원합니다 내가 방금 제기 한 변수, 사용 된 변수 그리고 무게는 무엇입니까? 그들은 조금 더 많은 정보를 원합니다

그리고 그것은 저를 세 번째 기둥으로 가져옵니다 이것은 감사의 아이디어입니다 기업은 감사 절차를 마련해야한다고 생각합니다 기계 결정, 특히 하이 스테이크 스 설정에서 어떤 모델이 높은 이해 관계 결정을 내리고 있는지 확인하십시오

그 다음에는 감사 프로세스를 마련해야합니다 그리고 그 감사 과정은 많은 것을 볼 것입니다 예를 들어, 입력과 관련하여, 그것은 모델을 훈련시키는 데 사용되는 데이터입니다 데이터 품질을 평가하고 데이터 품질을 평가할 것입니다 의사 결정을 내릴 때 이것이 소셜 미디어 데이터를 기반으로한다고 말하면, 그래서 품질은 낮을 가능성이 있습니다

그 데이터에 대한 강조점은 이 다른 데이터보다 낮습니다 그것은 편견에 대한 데이터를 테스트 할 것이다 모델 그 자체, 감사는 대체 모델을보십시오 그것은 몇 가지 기본적인 통계 테스트를 할 것입니다 물론, overfitting에 대한 모델 검증, 인과 관계에 대한 테스트도 가능합니다

그것은 스트레스 같은 것들을 찾을 것입니다 시뮬레이트 된 데이터에 대해 모델을 테스트합니다 그래서 다른 데이터를 생성하고 평가하십시오 모양이 보이는 데이터에서 모델이 수행하는 작업 훈련 데이터 세트와 정말로 다릅니다 모델과 산출물을 감사하십시오

예를 들어 결정에 대한 설명이 있습니까? 지구 수준에서, 지역 차원에서? 입력에서 outliers가 어디에 있는지, 입력의 종류에 따라 아웃 라이어가 산출됩니까? 이 모든 것은 모델 감사에 사용됩니다 그리고이 책 연구의 일환으로, 책을 많이 게시했기 때문에 책을 게시합니다 나는 여러 회사들과 의견을 나눴다 ML 모델 감사 거의 아무도 그것을하지 않습니다 그리고 저는 스테이크가 높을 때, 그것은 정말 놀랍습니다

사실, 나는 그것을 더욱 놀라운 것으로 생각합니다 모든 회사는 모두를위한 품질 보증 프로세스를 가지고 있습니다 그들의 정규 엔지니어링이지만, 거의 아무 회사도 데이터 과학을위한 QA 프로세스가 있습니다 그리고 당신은 개발자를 봅니다 독립적 인 테스트 엔지니어가 있습니다

누가 시스템을 테스트하고 있는지 그러나 대부분의 환경에서 데이터 과학자입니다 모델을 개발 한 사람, 모델을 평가하는 사람, 스트레스 모델을 테스트 한 다음 엔지니어와 협력하여 배포합니다 모델 따라서 독립적 인 품질 관리 프로세스가 필요하지 않습니다

데이터 과학 분야의 대부분의 기업에서 그래서 나는 모든 회사가해야 할 것처럼 느낀다 세 가지 방어선이있다 첫 번째는 물론 모든 회사가 이미 does는 모델을 테스트하는 모델 개발자입니다 교차 유효성 검사 및 모델링과 같은 모든 작업을 수행합니다 설명

그렇다면 실제로 독립적 인 품질 보증 담당자가 있습니다 모델 테스트 스트레스 내가 생각하기에 나는 이것을 가져온다 ML 모델 테스트는 정보 보안과 비슷합니다 너는보기에 해커의 심적 상태가 거의 필요하다

이 모델을 깨는 방법, 모든 다른 방법들 그것을 깰 수있는 간단한 방법으로 그것을 깰 여부, 편향과 상관 관계, 또는 보안 종류의 방법, 적의 공격을 의미합니다 그래서 두 번째 방어선, 나는 느낍니다 데이터 과학 QA 프로세스입니다 실제로 모델을 평가합니다 그리고 세 번째 것은 당신이 무언가를 가지고있는 곳입니다

모든 모델에 대한 감사와는 달리, 그러나 정말로 높은 지분을 만들고있는 몇 개의 모델을 위해 결정, 외부 감사인이있는 곳 또는 감사원의 역할을 가진 사람 알고리즘을 실제로 감사하는 회사에서 그래서 이것들은 내가 공유하기를 원하는 것들입니다 물론, 나는 당신의 견해를 얻고 싶습니다 그래서 여기서 멈추고 질문이나 의견을 들려 드리겠습니다 [박수 갈채] 관객 : 안녕하세요 당신의 이야기에 대해 정말 고마워요

나는 모델들과 일하지 않는다 나는 그것의 그 측면에 관해 당신에게 묻지 않을 것이다 그러나 투명성과 처음 두 당신이 말하는 것들, 나는 시야에 대해 궁금합니다 어떻게 그걸 가지고 놀 수 있죠? 어쩌면 당신은 누군가 정보를 보여줄 수 있습니다 하지만 그들은 당신이 페이스 북으로 말했듯이, 이러한 컨트롤을 얻으려면 여러 폼을 클릭하십시오

아마 우리가 왜 우리에 대한 정보를 사람들에게 보여줄지도 모르지 특정 콘텐츠를 보여줍니다 그러나 당신은 거기에 도착하기 위해 몇 가지를 클릭해야합니다 검색 결과 페이지에 명시 적으로 명시되어 있지는 않지만, 예를 들면 그런 종류의 도전을 어떻게 생각하세요? 카티크 호사 나가 : 그래, 그래서, 우리가 투명성에 관해 말할 때 데이터가 있습니다

모델이 있습니다 그러면 추론이 있습니다 그것은 가중치 같은 것이고 중요한 것은 중요한 것입니다 인터페이스가 있습니다 그리고 나는 네 명 모두가 대화에 똑같이 중요하다고 생각합니다

투명성 그래서 오늘 들어 가지 않은 것들 중 하나 그러나이 책에서 언급 된 것은 투명성이다 인터페이스를 포함하여 각 측정 기준을 따라 그리고 네, 많은 회사가 있다고 생각합니다 준수를 위해 물건을 다룰 것입니다 그러나 그것은 어딘가에 숨겨져 있습니다

물론 투명성과 제어력 모두 뒤에 숨어 있으면 영향이 매우 제한됩니다 그래서 저는 인터페이스의 투명성을 생각합니다 매우 중요합니다 그리고 나는 UI 관점에서 볼 때, 그건 좋은 질문입니다 나는 그 해답을 모른다

사람들을 위해 쉽게 만들 수있는 방법은 무엇입니까? 내가 말했을 때도 – 사용자에게 제어권을 주면, 많은 연구 결과는 성능이 떨어지는 것을 보여줍니다 그렇다면이 컨트롤을 사용자를 위해 어떻게 디자인합니까? 그래서 그들은 실제로 유용한 것들을 할 수 있습니다 그들은 스스로를 해치지 않습니까? 관객 : [INAUDIBLE] ,,해야한다 기본적으로 외부에서 규제되는 것이 있습니까? [부적절하다고 생각하십니까? [INAUDIBLE] 대 다른 사람 [INAUDIBLE]과 비교하면 얼마나됩니까 ?? 카틱 호사나가 : 예 나는 규제되는 사용자 인터페이스에 대해 걱정합니다

그러나 확실히, 당신은 강력한 사건을 만들 수 있습니다 규제가 매우 높은 수준이 될 수 있습니다 로 떨어지는 것들을 사용자에게 전달해야합니다 그러나 많은 규정이 있는데, 특히 그것은 프라이버시에 관한 것이고, 그런 종류의 것들에 대해서 이야기합니다 관객 : 접근성에 대한 비슷한 규정이 있지만, 예를 들면

카티크 호사나가르 : 정확하게, 정확합니다 네, 좋은 사례가 있다고 생각합니다 인터페이스 자체를 규제하기 위해 만들어야합니다 그러나 실제로 걱정하지 않는 한 진정으로 이것을하고 싶다 아직도 물건을 만드는 동안 항상 따르는 방법 사용자가 쉽게 액세스 할 수 없습니다

그러나 나는 동의한다 나는 인터페이스가 정말로 중요한 구성 요소라고 생각한다 이의 누구든지 내 사용자로부터 좋은 아이디어가 있는지 알 수 없습니다 그 문제를 해결하기위한 디자인을 경험하십시오

나는 모른다 프라이버시 측면에서도 나는별로 매력적이지 못하다 그렇게하는 방법 관객 : 정말 재미있는 이야기 와줘서 고마워

내 주요 질문은 프레임 워크에 있습니다 처음 두 요소의 아이디어처럼 들립니다 투명성과 통제력 – 결과에 반드시 영향을주지는 않습니다 그들은 결과에 대한 당신의 인식에 영향을 미친다 재범 예를 생각해 보면, 방금 두 가지 일이 있다면 당신은 근본적으로 결과에 더 많은 신뢰를 가질 것입니다

그러나 그것은 여전히 ​​당신을 나쁜 결과로 이끌 것입니다 그래서 저는 여러분이 본질적으로 풀뿌리 변화가되거나 어떻게 든 될 것이다 실제 모델에 영향을 줄 플래그를 올리십시오 결과를 바꾸려면? 두 모델이 모델 자체에 어떤 영향을 미치는지 궁금합니다 KARTIK HOSANAGAR : 예, 좋은 질문이라고 생각합니다

특히 내가 보여 주었을 때 생각해 신뢰에 관한 연구, 꽤 쉽습니다 그것이 어떻게 신뢰에 영향을 주는지 확인하십시오 그러나 그것이 당신을 발견하거나 예방하는 데 어떻게 도움이되는지는 분명하지 않습니다 그 문제들

나는 당신의 질문에 잠시 대답 할 것입니다 하지만 저는 신뢰가 가장 중요한 부분이라고 생각합니다 단순히 이러한 실패를 볼 때, 당신은이 시스템들에 반발하는 경향이 있습니다 그리고 그 결과는 사람들입니다 알고리즘을 자신의 손해에 사용하지 마십시오

실제로 알고리즘은 평균적으로 그들보다 훨씬 잘하고 있으며 아마, 예를 들어 평균적으로 인간보다 편견이 적습니다 그러나 다시 돌아와 실제로 예방이나 발견에 도움이된다면, 나는 그렇게 믿는다 그래서 나는 페이스 북과 테러 공격에 대해 언급했다 사람들이 신고했기 때문에 탐지가 일어났습니다 그들에게 통제권과보고 할 수있는 능력이 있었기 때문에

그래서 저는 제비 뽑기가 있다고 믿습니다 사용자가 문제를 보는 예제 그들은 그것을보고 할 방법이 없습니다 또는 그들은 문제를 보지 못합니다 투명성이 없다 예를 들어 GDPR은 개인 정보 보호 규정입니다

EU에서는 거기에 하나의 절이 있습니다 이는 모델 결정에서 설명하는 것이 옳습니다 그리고 설명을 자동화한다면 그리고 당신은 사용자에게 설명을한다 그 또는 그녀는 그 결과로 그들의 대출 신청서에 거부 당함 그들의 주소 또는 그들의 우편 번호, 그렇다면 그것은 아마도 그들에게 길 일 것입니다

무언가가 잘못되었다는 것을 인정한다 호소하고 나서 고쳐야합니다 그래서 저는 투명성이 통제와 결합 된 것이라고 생각합니다 사용자가 참여할 수있는 방법이기도합니다 검출 과정의 하지만 나는 그걸로 충분하다고 생각하지 않는다

그래서 내가 중요성이 커지고 있다고 말했다 나는 마지막으로 감사를했다 그리고 나에게 여기에서 가장 중요한 조각은, 탐지 및 예방의 관점에서 감사가 이루어집니다 처음 두 가지는 주로 신뢰에서 중요하지만, 이차적으로, 관점에서 사용자가 탐지 과정에 참여하게하는 것 예방 관객 : 여기 질문

응, 얘기 해줘서 고마워 알고리즘 조정 테스트에 대한 질문이 있습니다 따라서 어느 정도의 신뢰를 얻은 결과 투명성은 높아지지만 신뢰도는 떨어지며, 그것은 저에게 연구를 떠올리게했습니다, 제 생각에는, 그것은 복사 기계가있는 도서관에서 행해졌습니다 그리고 연구자들은 왜 그들이 줄을 서기 위해 움직일 필요가 있었다 그리고 만약 그들이 전혀 변명이 없다면, 사람들은 행복하게 그들을 들여 보낼 것입니다

그러나 그들이 방금 움직이기를 시도한다면, 그들은 그들을 들여 보내지 않을 것입니다 실제로 얼마나 많은 부분이 실제 이유인지, 그리고 얼마만큼이나, 사람들은 어떤 설명을 해 주어서 기쁘십니까? 그리고 더 많은 정보를 가지고 신뢰를 떨어 뜨리고, 그 중 하나입니다, A, 그들은 그렇지 않기 때문에 그들은 두려워합니다 무슨 일이 일어나는지 이해하거나, B 실제로 문제를 볼 수 있습니까? 카티크 호사 나가 : 예, 예 그리고 나는 그 연구의 연구원들이 의인화 된 이유에 연결했다 그리고 나는 그것의 단순한 심리학을 생각한다

아주 간단하게 당신이 말한 것입니다, 그것은 당신이 설명을 얻지 못한다면, 그러나 당신은 그 결과에 행복합니다 너는 그 설명을 신경 쓰지 않는다 그러나 결과에 만족하지 않으면 설명이 없다 너는 분명히 그것에 화가났다 그러나 동시에, 당신이하지 않으면 설명을 이해하면 도움이되지 않습니다

그리고 모든 상세한 설명이있을 때, 어떤 설명도하지 않는 것만 큼 좋았습니다 왜냐하면 사람들은 그것을 이해할 수 없었기 때문입니다 하지만 실제로 중간 수준의 투명성을 가지면 당신이 설명을 읽었을 때, 그것은 거의 설명이 아닙니다 그것이 영어 설명이라는 의미에서 그것은 수학적 설명이 아닙니다

통계적 모델이 있다는 것을 의미합니다 TAs의 채점 경향을 살펴 봅니다 얼마나 관대한지에 따라 위 또는 아래로 조정합니다 또는 그들이 얼마나 엄격한 지 무게가 정확히 무엇인지는 말하지 않습니다 또는 정확하게 조정 된 방법은 사람에게 충분합니다

직관적으로 사람들에게 의미가 있습니다 그러나 당신이 말하는 순간, 여기 공식이 있습니다, 그때 내 공식은 달라질 것입니다 이 공식은 아닙니다 그래서 저는 그런 종류의 일을 생각합니다 저기서 놀고있어, 그래서 나는 사용자들을 위해 생각한다

다시 말하면, 높은 수준의 설명만으로도 충분합니다 그러나 당신은 당신이했던 것처럼, 알고리즘과 관련이없는 설정으로 그리고 다른 어떤 것보다 심리가 더 중요하다고 생각합니다 청중 : 소프트웨어 시스템의 행동 알고리즘에 대한 비난을 자주 받는다 그러나 알고리즘이 우리가하는 것을 빌드 슬래시 훈련 이런 종류의 관료 주의적 회피를 어떻게 다루어야 하는가? 책임감? 카티크 호사 나가 : 그래,이 책임 문제라고 생각해

꽤 흥미로운 것입니다 그리고 어떤 종류의 질문을 던지기 만하면됩니다 지난 주, 나는 방금 포럼을 듣고 있었다 [알아들을 수 없는] 손님 한 명이 말했다 그 이유는 알고리즘에는 이러한 편향이 있습니다

이 기술 회사가 프로그래머를 고용한다는 것입니다 프로그래머에게는 다양성이 없습니다 그리고이 프로그래머는 이러한 편견을 프로그래밍하고 있습니다 그것을 깨닫지 못한 채로 그리고 저 성명이 충격적 인 것을 알았습니다 그리고 사람들이 편견을 프로그래밍하고 있다는이 개념은 또는 프로그래머가 실제로 여기에 뭔가를하고있다

이상해 그러나 그것은 데이터에서 비롯된 것입니다 그리고 때때로 알고리즘을 비난하는 사람들이 있습니다 알 고안 편견이 있다고 말하면서 그리고 때때로 프로그래머를 비난하는 사람들이 있습니다

마치 프로그래밍되어있는 것처럼 말하는 것입니다 그리고 그것은 큰 문제라고 생각합니다 그리고 규제 당국에게도, 그들은이 이슈를 이해하지 못합니다 그리고 제가 예를 들어 말했을 때, 그들은 소스 코드와 그 종류의 것들을 공개했다 그것은 분명히 그들이 아니라는 것을 보여줍니다

무엇이 그것을 몰고 있는지, 어디에서 오는 것인지, 등등 그래서 분명히 교육이 큰 부분을 차지합니다 그리고이 모든 두려움이 언론에도 전파됩니다 이러한 문제를 만드는 이러한 이야기 그들이하는 것보다 훨씬 더 나쁜 것 거의 모든 연구에서 평균적으로 이러한 알고리즘은 인간보다 편향되어있다

인간의 의사 결정보다 문제가 적습니다 인간의 의사 결정에 초점을 맞춘 모든 연구 인간의 의사 결정이 이루어지는 모든 방법을 보여줍니다 모든 종류의 편견에 걸리기 쉽다 나는 우리가 집중하고 걱정해야만하는 유일한 감각이라고 생각한다 나를위한 이러한 편견에 대해 두 가지가 있습니다

첫 번째는 기계 결정이 인간의 방식으로 확장된다는 것입니다 결정은하지 않는다 따라서 나쁜 또는 편향된 판사가 50 만 명의 생명에 영향을 줄 수 있습니다 그러나 법원에서 전국적으로 사용되는 알고리즘 수백만의 삶에 영향을 줄 수 있습니다 그 규모가 우리가 걱정해야 할 이유입니다

그리고 다른 점은 기계 편향을 수정하는 것이 더 쉽다는 것입니다 인간 편견을 고치는 것보다 따라서 해결하기 쉽기 때문에 우리가 해결할 수도 있습니다 하지만 교육 문제가 있다고 생각합니다 그리고 그것을 일으키는 원인이 무엇인지에 대한 개념 그리고 나서 모든 두려움이 혼란스러워, 내 생각 엔, 내가 두려워하는 거대한 문제는 과잉 규제를 야기 할 수있다

그리고 저는 그것에 대해 걱정합니다 그래서 저의 책 투어에서 회사에갑니다 계속해서 말하자면, 모든 회사 규제 당국이 오기 전에 사전에 조치를 취해야합니다 왜냐하면 당신은 뭔가 잘못 될 때까지 기다릴 필요가 없기 때문입니다 당신은 사전에 뭔가를하고 규제 당국은 그것에서 벗어나 있습니다

그러나 뭔가 잘못되면, 그들은 들어와 미친 규제를 때린다 그것을 이해하지 않고 그리고 그것은 큰 문제입니다 관객 : 음, 다시 한번 감사드립니다 여기 있으니

정말 고맙습니다 이제 시간이 없어 하지만 박수 갈채는 또 다른 방법은 없을까요? 카티크 호사 나가 : 좋습니다 승인 [박수 갈채]

The What-If Tool, AI Codelabs, & more! (This Week in Cloud)

제니 브라운 : 이번 주에 우리는 What-If Tool, AI 코드 랩 및 데이터베이스 기본 사항에 대해 설명합니다 저는 제니 브라운입니다

"클라우드에서의 이번 주"에 오신 것을 환영합니다 우리는 당신에게 최저 지연 뉴스를 제공합니다 작년에 우리는 가정 도구 (What-If Tool) TensorFlow 모델 용 이제 AI 플랫폼에서도 사용할 수있게되었습니다 What-If 도구를 사용하여 더 깊게 얻을 수 있습니다

다양한 시나리오에서 모델이 작동하는 방식에 대한 이해 게시물에서 코드를 가져 와서 시작하십시오 또는 좀 더 많은 안내를 원하면이 코드 랩 시작하기 좋은 곳입니다 여기서는 Cloud AI에서 모델을 교육하는 방법을 정확히 배우게됩니다 플랫폼, 예측 생성, 물론, What-If Tool을 사용하여 여러 모델을 비교하십시오

이번 주에 한 시간 정도 시간을 들여 모델링 기술을 업그레이드하십시오 더 깊은 다이빙을 위해 @GoogleAI가 게시되었습니다 당신을 도울 GitHub에 무료 가이드의 무리 Keras 및 OpenCV에 대해 알아보십시오 우리는 이것이 소프트웨어 엔지니어에게 완벽한 방법이라고 생각합니다 #ML을 수학하지 않고 직선 경로를 원하는 사람

따라서 포괄적 인 리소스 세트가 필요한 경우 여러 곳을보고 싶지 않은 경우, @ GoogleAI의 컬렉션은 분명 당신에게 적합합니다 네가 달리기에 대해 생각해 본 적이 있다면 클라우드의 데이터베이스,이 기사 시작하기 좋은 곳입니다 최근에 게시 된 데이터베이스 솔루션을 검색 할 수 있습니다 클라우드에서 일반적인 IBM Db2를 배포하는 것부터 마이그레이션하는 것까지 GCP에 대한 기존 데이터베이스 데이터베이스 백업에 대한 팁도 있습니다 추적 기능을 추가하는 방법에 대해 설명합니다

가서 확인해 이 공지 사항에 대해 더 알고 싶다면 전체 목록을 보려면 링크를 확인하십시오 어떤 생각이나 생각이 있으십니까? 우리에게 의견을 남기거나 우리를 트윗하십시오 우리는 구름 속에서 당신을 만날 것입니다

Implementing GCP Stackdriver and Adapting SRE Practices to Samsung’s AI System (Cloud Next '19)

[음악 재생] TERRY CHO : 안녕하세요 좋아, 이번이 마지막 세션이야, 그렇지? 세션이 끝나면 집으로 돌아갈 수 있습니다

아니면 친구들과 술을 마셔도됩니다 만나서 반갑습니다 저는 클라우드 팀의 고객 엔지니어 인 테리입니다 Stackdriver 로깅을 소개하는 것은 영광입니다 유스 케이스, 삼성

고객을 소개하기 전에 로깅 자체 및 스택 드라이버를 간략하게 소개합니다 좋습니다, 시작합시다 로깅이란 무엇입니까? 이벤트 및 정보를 수집하는 로깅 시스템의 상태를 확인합니다 여기에서 문제 해결을 위해 로깅을 사용했습니다 및 디버깅

그리고 우리는 로그를 하나의 파일로 수집합니다 tailing 명령을 사용하여 모니터 할 수 있습니다 그러나 로깅은 여러 목적으로 사용될 수 있습니다 예를 들어 개발자의 경우 로깅 디버깅 및 코드 최적화에 사용할 수 있습니다 시스템 엔지니어에게는 상태 점검 및 시스템 모니터링에 사용됩니다

보안 엔지니어의 경우 비정상적인 동작을 찾기 위해 시스템을 보호하는 데 사용됩니다 그리고 요즘에는 데이터가 일반적으로 중요합니다 따라서 로그를 통해 데이터를 수집 할 수 있습니다 통찰력을 찾는다 이러한 이유로 더 많은 로그를 수집해야합니다

다양 한 레이어에서 예를 들어 CPU와 메모리 상태를 수집 할 수 있습니다 인프라 및 OS 수준 웹에서 웹 액세스 로그를 얻을 수 있습니다 서버 또는 데이터베이스

또한 일반적인 응용 프로그램에서 로그를 수집 할 수 있습니다 이러한 로그는 비즈니스와 같이 여러 목적으로 사용될 수 있습니다 분석, 감사, 대금 청구 등이 있습니다 그렇기 때문에 더 많은 [무관심] 터미널이 필요합니다 지금까지는 괜찮을지도 모릅니다

그러나 문제는 시스템이 존재한다는 것입니다 분산 아키텍처로 이동, 마이크로 서비스와 비슷합니다 그 때문에 많은 로그 파일이있을 수 있습니다 따라서 단일 모니터에서는 전체 로그를 모니터 할 수 없습니다 그래서 해결책은 무엇입니까? 해결책은, 점점 더 많이 다른 것을 사용할 수 있다는 것입니다

모니터, 맞지? 그러나 실제로는 기술적 솔루션입니다 그래서 기술 솔루션을 소개 할 것입니다 분산 아키텍처를 모니터링합니다 다음은 로깅 시스템의 일반적인 아키텍처입니다 시스템에서 로그를 수집 할 수 있습니다

카프카 (Kafka)와 같은 메시지 대기열로 보내십시오 메시지 대기열 뒤에서 로그를 수집 할 수 있습니다 수집 된 로그는 로그 저장 시스템에 저장됩니다 보관 목적으로 로그는 다음을 사용하여 인덱싱됩니다

그러한 목적을위한 인덱서 따라서 사용자는 로그를 검색하고 볼 수 있습니다 그러나 문제는 내가 언급했듯이, 로그는 데이터와 같이 여러 목적으로 사용될 수 있습니다 분석 또는 시스템 알림 그리고 요즘에는 기계 학습이 더 중요합니다

따라서 로그 데이터는 [INAUDIBLE] 모델 학습을위한 기계 학습 시스템 이 시스템은 사용자가 직접 구현할 수 있으며, 이 시스템을 합성하여 구현할 수있는 곳 다중 오픈 소스 그러나 문제는 로그하는 데 시간이 오래 걸리고, 또한 과부하 작업을 가져올 수도 있습니다 그래서 해결책은 무엇입니까? Google에는 Stackdriver가 있습니다 스택 드라이버는 운영 및 모니터링 시스템입니다

그것은 로깅, 모니터링, 디버깅, 흔적, 등등 Stackdriver를 조사 할 기회가 없다면, 데모 부스를 방문하는 것이 좋습니다 Stackdriver 데모가 많이 있다는 것을 알았습니다 정말 멋진 도구입니다 또한 Stackdriver는 여러 클라우드에서 실행될 수 있습니다

Google Cloud 및 Amazon을 포함한 인프라 서비스 오늘 저는 로깅 문제에 중점을 둘 것입니다 Stackdriver 로깅에서 로깅을 지원할 수 있습니다 컬렉션 게시물 SDK 또는 일부 에이전트를 사용하여 로그를 수집 할 수 있습니다

수집 된 로그는 저장되며, 그것을 검색하고 볼 수 있습니다 내장 Stackdriver 로깅 콘솔에 있습니다 그리고 집단 로그를 라우팅 할 수 있습니다 여러 목적지로 Stackdriver는 로그 라우터를 사용할 수 있습니다 예를 들어, 오픈 소스의 Kafka와 매우 유사합니다 로그 파일에서 메트릭을 추출 할 수 있습니다

예를 들어, 오류의 수를 세어 볼 수 있습니다 또는 우리는 서비스의 전반적인 응답 시간을 추출 할 수 있습니다 이 측정 항목을 정의하고 알림을 정의 할 수도 있습니다 예를 들어, 우리가 사고의 숫자가 있다면, 시스템 운영자에게 알림 메시지를 보낼 수 있습니다 이메일, SMS 또는 [INAUDIBLE]에 대한 페이지를 사용하여 마지막은 로그 관리입니다

여러 프로젝트의 경우 이제 제가 언급했듯이 시스템 아키텍처 이 분산 방식으로 변경되고 있습니다 따라서 응용 프로그램을 배포 할 수 있습니다 Google의 경우 여러 클라우드 프로젝트로 아마존의 경우 복수 계정이 필요합니다 우리가 다른 프로젝트의 모든 로그 행을 모니터링해야한다면 서로 다른 클라우드 개념으로 매우 고통 스러울 수 있습니다 따라서 스택 드라이버는 모든 로그를 수집 할 수 있습니다

모든 로그를 모니터링 할 수 있습니다 유리 한면에 자, 각 로그를 그림으로 깊이 들어가 봅시다 가장 먼저 로그를 수집하는 방법입니다 Stackdriver는 SDK를 제공합니다 SDK는 잘 알려진 로깅과 쉽게 통합 될 수 있습니다

뼈대 예를 들어 Java의 경우 [INAUDIBLE] 및 로그백 일반적으로 사용됩니다 이것은 Java 예제입니다 보시다시피, 코드 변경은 없습니다 Maven 종속성을 변경하기 만하면됩니다

Stackdriver 로깅 라이브러리를 삽입합니다 정말 쉽습니다 하지만 불행히도 때때로, 우리는 내장 솔루션에서 로그를 수집하려면, 데이터베이스 또는 웹 서버처럼 또는 로깅 프레임 워크가 지원되지 않는 경우도 있습니다 스택 드라이버에 의해

이 경우 Stackdriver 에이전트를 사용할 수 있습니다 이것은 유창한 오픈 소스 에이전트를 기반으로합니다 따라서이 에이전트를 사용하여 파일에서 로그를 수집 할 수 있습니다 로그를 수집하면 쉽게 검색하고 볼 수 있습니다 Stackdriver 로깅 내장 콘솔을 사용하여 로그를 저장하십시오

정말 쉽고 지원도 가능합니다 이 같은 코딩 언어 앞서 언급했듯이 로그를 수집 한 후, 다목적 용도로 여러 대상으로 라우팅 할 수 있습니다 Google Cloud Storage와 마찬가지로 로그 보관 용도로 사용됩니다 그리고 Pub / Sub는 로그 스트리밍에 사용될 수 있습니다

따라서 Pub / Sub 뒤에는 실시간을 넣을 수 있습니다 우리의 [INAUDIBLE] 시스템 또는 일부 변형 시스템에서 데이터가 허용되는 경우 또는 데이터를 BigQuery로 내보낼 수 있습니다 해석학 로그를 여러 대상으로 내보낼 수 있습니다 필터링을 기반으로합니다 따라서 로그를 선택적으로 내보낼 수 있습니다

여러 목적지로 또한 기본적으로 Stackdriver 로깅 가격 책정 저장된 로그 크기를 기반으로합니다 많은 로그를 저장해야하는 경우, 비용 문제가 발생할 수 있습니다 그래서 Stackdriver는 제외 필터를 제공합니다 즉, 로그를 기반으로 선택적으로 저장할 수 있습니다 필터에

그리고 비용을 절감 할 수 있습니다 요즘 로깅은 의미가 있습니다 내 말은, 몇 년 전에, 우리는 단지 문제 해결을 위해 그래서 문자 메시지로 충분했습니다 그러나 개발자는 사용자 ID와 같은 일부 데이터 및 트랜잭션 ID, 가격 로그에서

이 경우 구조화 된 로깅 형식 JSON 형식이나 CSV 형식과 같이 더 효과적입니다 Stackdriver는 JSON 형식을 지원합니다 이것은 nodejs 예제입니다 JSON 형식으로 로그를 작성하는 경우, JSON 페이로드 요소에 자동으로 충족됩니다

Stackdriver 로그 항목에 있습니다 이 JSON 로그를 BigQuery로 내보내는 경우, JSON 페이로드의 각 요소는 BigQuery 표의 열에 매핑됩니다 따라서 검색 가능성과 가독성을 높여줍니다 저장된 로그에서 메트릭을 정의 할 수 있습니다 이미 사전 정의 된 측정 항목이 있습니다

시스템 메트릭이라고합니다 바이트 수와 같은 데이터를 얻을 수 있습니다 또는 로그 항목의 수입니다 그러나 특정 정보를 수집하려면 로그에서 두 가지 방법으로 사용자 정의 로그를 정의 할 수 있습니다 첫 번째 방법은 카운터 메트릭입니다

간단한 카운터 메트릭이지만 몇 가지 조건을 정의 할 수 있습니다 예를 들어, 로그 수를 수집하려고합니다 그 웹 대기 시간은 10 초 이상입니다 그리고 다른 방법은 배포 메트릭입니다

통계 분포를 기록하고, 표준 편차, 합계, 평균과 같습니다 예를 들어 평균 응답을 수집 할 수 있습니다 귀하의 서비스 시간 그런 다음 메트릭을 정의하는 방법의 예입니다 정말 쉽습니다

이 측정 항목을 사용하면 측정 항목을 시각화 할 수 있습니다 Stackdriver 모니터링 콘솔을 통해 그래프를 사용합니다 웹 응답 시간의 한 예가 있습니다 히트 맵 그래프입니다 시스템 상태에 대한 통찰력을 얻을 수 있습니다

이 같은 메트릭을 정의한 후에는 경고 시스템을 만들 수 있습니다 미리 정의 된 규칙을 사용하면 Stackdriver 여러 목적지에 알림을 보냅니다 이메일에서 SMS를받습니다 그리고 신청서를 통해 통보를 보낼 수 있습니다

Pub / Sub 대기열을 통해 마지막으로 중앙 집중식 로깅입니다 앞서 언급했듯이 마이크로 서비스 아키텍처에서, 각 서비스는 다른 시스템에 배치 될 수 있으며, Google의 다른 제품, 및 다른 아마존 계정 따라서 중앙 집중식 시스템에 로그를 수집하는 것입니다 매우 중요합니다

그래서 Stackdriver는 모든 로그를 수집 할 수 있습니다 하나의 GCP 제품에 로그 모니터링을위한 유리의 단일 평면 이제까지 로깅 시스템을 살펴 보았습니다 스택 드라이버로 그러나 로깅 시스템은 다양한 목적으로 확장 될 수 있지만, 큰 데이터 분석을 좋아합니다

이것은 로깅 시스템을 확장 할 수있는 방법입니다 현실 세계에서 로그를 사용하려고 할 때 큰 데이터 분석을위한 데이터, 실제 데이터는 실제로 더럽습니다 나는 형식을 따르지 않는다는 것을 의미한다 때로는이 유형을 따르지 않습니다 때로는 필드가 null입니다

따라서 우리는 데이터 검증과 변환이 필요합니다 Stackdriver에서 로깅을 내보낼 수 있습니다 Stackdriver 로깅 뒤에있는 Pub / Sub에 넣습니다 및 [INAUDIBLE] (데이터 흐름에 의해) 데이터 흐름은 Apache의 오픈 소스 버전이며, 이는 Apache Spark Streaming과 매우 유사합니다

또한 빅 데이터 분석에 사용할 수 있습니다 그래서 당신은 몇 가지 검증과 변형을 할 수 있습니다 Google 데이터 흐름의 논리 그러나 유감스럽게도 데이터 흐름에는 코딩이 필요합니다 Java와 Python을 사용하여 그것은 약간의 작은 학습 곡선을 필요로합니다

그러나 수동 코딩 대신, Stackdriver는 템플릿 기능을 제공합니다 즉, 코딩 할 필요가 없음을 의미합니다 Google 클라우드 콘솔에서 여러 번 클릭하면 당신은 데이터 주입 파이프 라인을 만들 수 있습니다 또한 변환 논리를 추가해야하는 경우, 당신은 단순히 그것을 사용하여 구현할 수 있습니다 UDF, 사용자 정의 함수 (User Defined Function)라는 JavaScript

따라서 사용자 정의 기능을 GCS에 업로드 할 수 있습니다 Java에서 [INAUDIBLE]과 같은 패키지를 사용하지 않아도됩니다 그래서 당신은 그것을 간단히 언로 드하고 그것을 지적합니다 데이터 흐름 콘솔에서 데이터 흐름 실행 중에 변환 논리를 가져옵니다

데이터 형식을 변환합니다 Stackdriver 로깅을 사용하면, 우리는 서버 측에서 로그를 수집 할 수 있습니다 그러나 큰 데이터 분석 세계에서는 모든 사용자 여행을 모으고 싶었습니다 마케팅, 모바일, 그런 식으로 말입니다 다행히도 Google은 해결책을 제공했습니다

모바일 용 Firebase [INAUDIBLE] 모든 사용자 이벤트 정보 수집 그것을 BigQuery로 보냅니다 웹의 경우 Google 애널리틱스에서 모든 사용자 이벤트를 수집 할 수 있습니다 사이트에서 또한 BigQuery 자체에는 많은 데이터 커넥터가 있습니다 Google은 광고, 네트워크 데이터, Google Play, YouTube 데이터

내가 아는 한, 이번 주에 Google은 BigQuery를 발표했습니다 파트너를 통한 추가 커넥터 이제는 100 개가 넘는 데이터를 수집 할 수 있습니다 SNS, 광고, 및 [INAUDIBLE] 시스템을 포함합니다 따라서 모든 데이터를 BigQuery에 저장할 수 있습니다

끝에서 끝까지 사용자 동작을 분석 할 수 있습니다 정말 멋지다, 그렇지? 아니? 고맙습니다 마이크로 서비스 아키텍처의 다른 문제 로그 레코드의 관계라고합니다 문제는 사용자 A가 요청을 보낸다고 가정 해 보겠습니다 사용자 서비스

그리고 로그를 로거 파일 시스템에 씁니다 그리고 다른 서비스에 요청을 보냅니다 아이템 서비스처럼 사용자 B도 같은 것을 호출합니다 하지만 문제는 사용자 A를 추적하려고합니다

요청 만 그렇다면 사용자 서비스와 아이템 서비스를 어떻게 연관시킬 수 있을까요? 로그? 그런데, 우리는 추적 ID 인 코드 관계 ID를 넣을 수 있습니다 따라서 사용자가 사용자 서비스를 호출 할 때, 추적 ID를 자동으로 생성합니다 함께 로그에 저장하십시오 그리고 사용자 서비스는 항목 서비스에 요청을 보냅니다

이 추적 ID는 함께 전파됩니다 로그 파일에 기록됩니다 따라서이 추적 ID를 사용하여 로그 항목을 상관시킬 수 있습니다 다른 서비스들 사이 혼자서 구현할 수 있습니다 그러나 다행히 Zipkin이라는 오픈 소스가 있습니다

로깅에 Zipkin 오픈 소스를 통합하는 경우 시스템에서 자동으로 추적 ID를 생성합니다 ID를 다른 시스템으로 전파하십시오 또한 추적 ID는 자동으로 로그 파일을 함께 반환하십시오 사실, 지프 킨은 로깅 시스템이 아닙니다 원래는 분산 시스템을 지원하도록 설계되었습니다 자취

이는 분산 형 시스템의 대기 시간을 추적 할 수 있음을 의미합니다 간격으로 시스템 예를 들어 사용자 서비스 및 품목 서비스를 호출합니다 하지만 병목이 어디 있는지 알고 싶습니다 품목 서비스에 소요되는 시간은 얼마나됩니까? Zipkin 통합 후 Stackdriver도 Stackdriver 추적을 사용하여 Zipkin을 지원하십시오

스택 드라이버 추적은이 대기 시간 정보를 수집합니다 이와 같은 그래프를 사용하여 시각화 할 수 있습니다 이것은 정말로 좋다 그러나 문제는 Zipkin을 사용하는 것입니다 Zipkin 소스를 주입해야합니다

코드를 응용 프로그램에 추가하십시오 그러나 다른 시스템 대기 시간을 수집하기를 원했습니다 Zipkin에서 삽입 할 수없는 데이터베이스 (예 : 데이터베이스, 웹 서버 하지만 추적을 확인하고 싶었습니다 이 경우이 문제를 해결할 수 있습니다

인프라 영역에서 코드를 수정하는 대신 프록시를 넣을 수 있습니다 특사 프록시 인 서비스 앞에서 이것은 [INAUDIBLE] 프록시와 매우 유사합니다 그러나 마이크로 서비스 세계에서 우리는 각 서비스 앞에 많은 프록시를 배치해야합니다 그 대신에, istio는 대사 서비스를 만들었습니다

그것은 서비스 앞에서 특사를 자동으로 색인화 할 수 있습니다 그래서 응용 프로그래밍의 릴리스에 관한 언어를 사용하면 모든 추적 로그를 수집 할 수 있습니다 이러한 추적 로그는 Stackdriver와 통합 될 수 있습니다 서비스 모니터링 보시다시피, 마이크로 서비스 분야에서, 토폴로지 및 서비스 종속성 정말로, 정말로 복잡합니다

하지만 이것은이 토폴로지를 보여줍니다 또한 중요한 정보를 제공합니다 응답 시간, 오류율, GPU 사용률과 비슷합니다 좋아요, 마지막으로 개인 정보입니다 개인 정보는 매우 민감합니다

맞습니까? 개인 정보를 저장 장치에 저장하는 경우, 원래 개인 정보 용으로 설계된 경우 처리, 당신은 문제가 없을 수도 있습니다 그러나 예기치 않게 PII 또는 사용자 정보 로깅 시스템에 저장할 수 있습니다 그것은 매우 중요합니다 이를 방지하기 위해 DLP API를 사용할 수 있습니다 데이터 손실 방지 – Google 시스템을 기반으로합니다

학습 기술 그것은 자동으로 사용자 정보를 탐지 할 수 있으며, 사회 보장 번호처럼 다른 정보입니다 그리고 그것은 익명으로 해시 값으로 만들 수 있습니다 그래서 개인 정보를 막을 수 있습니다 로깅 시스템에 저장됩니다

좋아요, 작년부터 Stackdriver 로깅을 사용하여, 삼성 전자는 혁신으로 옮기기 시작했습니다 SRE와 DevOps 연습 오늘은 삼성 모바일 운영 책임자를 소개하겠습니다 시스템, 진 임, 무대에 진, 네 차례 야

HYUNG JIN LIM : 고맙습니다 [박수 갈채] 좋아, 여기 와서 반가워 실제로 선물하는 것은 영광입니다 Google Next에서 내 프리젠 테이션 이 대형 기술 회의에 오면 나에게있어서, 정말 저에게 대접입니다

내 첫 번째 큰 회의가 약 9 번 이었음을 기억한다 몇 년 전 저는 인프라 엔지니어였습니다 이 큰 소프트웨어 회사와 서비스 엔지니어 그 당시 클라우드 회의에 관한 것이 었습니다 그리고 그것은 나를 위해 정말로 눈을 뜨고있었습니다

인프라 엔지니어로서, 엔지니어링 팀에서 나에게 묻는다면 새로운 소프트웨어를 배치, 배치 기존 데이터 센터에서는 약 3 개월이 소요됩니다 업계 표준이라고 생각합니다 기존 데이터에 새 소프트웨어를 배포하려고 할 때마다 센터에서 약 3 개월이 걸립니다 그러나이 회의에서 그들은 다음과 같이 말합니다 여러 서버에서 프로비저닝 할 수 있습니다

10 분 안에 그리고 그것은 같았습니다, 이것은 내가 있어야 할 곳입니다 내 경력으로, 나는 구름 속에 있고 싶다 나는 더 많은 일을하려고 노력하고 있습니다 내 인생을 더 편하게 만들고 엔지니어링 팀을 돕습니다

게다가 올해 Google Next와 함께했던 그런 느낌 게다가 Anthos에 관해 들었을 때, 그것은 나를위한 새로운 세상과 같았습니다 게다가

내가 기존 시스템의 일부를 옮기기 위해 노력했기 때문에 [INAUDIBLE]로 전환하고 더욱 효율적이고 유연하게 작업 할 수 있습니다 그리고 많은 시간을 얻는 것이 정말 어려웠습니다 엔지니어링 팀에서 코드 변경을 요청합니다 그런데 Anthos, 우리는 코드없이 그것을 할 수 있습니다 변화, 그리고 그것은 무료입니다

이런 종류의 미래를 갖는 것이 정말 기쁩니다 업계에도 나옵니다 삼성 전자의 회사 이름을 들었습니까? [웃음] 그래 좋아 나는 당신이 삼성 전자에 대해 알고 있다고 확신한다 우리는 꽤 멋진 가전 제품을 제작하거나 제작합니다

핸드셋 장치 포함 – 매우 혁신적입니다 그리고 우리는 삼성 전자 내부의 사업 목록을 가지고 있습니다 한국에서 삼성 전자는 소비자 전자 제품에 관한 우리는 건설, 보험, 테마 파크, 호텔 및 기타 많은 비즈니스 우리는 한국에 있습니다 그들은 비즈니스를 나열하는 것이 더 쉽다고 말했다 삼성은 우리가있는 것과 비교가 안된다

이 거대한 기술 회사는 엄청난 가치가 있습니다 그들의 이름으로 그리고 대부분의 대학 졸업자들에게는 삼성에 와서 꿈을 꾼다 회사를 위해 일합니다 이유 중 하나가 좋은 지불이기 때문에 물론, 직업 안전을 제공합니다

그 이유는 우리에게는 큰 사업 포트폴리오가 있기 때문입니다 하나의 사업에 침체가 있다면, 우리는 그 사람들을 수송 할 수 있습니다 우리는 사람들을 눕힐 필요가 없습니다 내 말은, 우리는 그 사람들 중 일부를 배에 데려 간다 그것들을 다른 사업 분야로 옮깁니다

그래서 삼성과 함께, 큰 회사와, 당신은 꽤 좋은 수준의 직업 안정감을 가지고 있습니다 그리고 몇몇 사람들에게는 좋은 기회가 될 것입니다 지구 환경에서 일하기 당신은 많은 글로벌하고 똑똑한 사람들과 이야기하게됩니다 당신의 경력을 배우고, 이해하려고 노력합니다

지구 환경에서 그래서 그것은 그 대학의 다른 이점입니다 아이들도 갖고 싶어합니다 그런데 나는 그것이 단지 최근 일 뿐이라고 확신한다 삼성도 서비스 회사로 알려지기 시작했다

그래서이 응용 프로그램 서비스 목록이 있습니다 더 많은 가치를 더하려고 애쓰다 우리 스마트 폰 장치에 예를 들어, 삼성 Pay는 제 의견으로는 가장 혁신적입니다 우리가 삼성 전자에서 만든 서비스, 디지털화 된 신용 카드 또는 은행 제공 카드를 휴대 전화에 넣으십시오 그리고 당신은이 전화를 사용하여 실제로 지불 할 수 있습니다

지불하고자하는 곳이면 어디에서나 지불 할 수 있습니다 이 판매 시점 관리 장치 자기 전용 인 MST 만 허용합니다 삼성 유료 기기를 계속 사용할 수 있습니다 삼성은 그것을 지불하기 위해 서비스를 지불한다 한국과 일부 다른 국가에서 큰 성공을 거두었습니다

게다가 우리는 삼성 계정을 보유하고 있습니다 우리는 생체 인식 인증 인 Samsung Pass를 보유하고 있습니다 메커니즘, 엄지가있는 한, 네트워크에 액세스하려고 할 때 로그인 정보와 비밀번호를 가진 리소스, 그 정보가 전화에 저장된 후에, 더 이상 암기 할 필요가 없습니다 정보가 기기에 안전하게 저장됩니다

액세스하려면 엄지 손가락 만 있으면됩니다 귀하의 모든 네트워크 리소스 그리고 우리는 B2B 사업에도 종사하고 있습니다 Android 기기 용 [INAUDIBLE] 솔루션을 제공하고, 서로 다른 비즈니스 분야에서 파트너와 함께 일하려고합니다 좀 더 보여줄거야

Bixby라고 불리는 삼성 AI 시스템에 대해서 [비디오 재생] [음악 재생] – 새 Bixby, 삼성 전자에 인사 해 지능형 조수 안녕, 빅스 비 오늘 오후에 뭐하는거야? 오늘 오후 1시에 하나의 일정이 잡혔습니다

패턴 메이커와의 만남 -이 이벤트 시간을 오후 2 시로 변경하십시오 – 모든 설정 나는 사건을 저장했다 [음악 재생] 안녕, 빅스 비

근처에 이탈리아 식당을 찾으십시오 – 근처에 이탈리아 식당이 있습니다 오늘 오후 1시에 Luciano 's에서 테이블 3 개를 가져와 너 모두 점심 먹으러 왔어 [음악 재생] 안녕, 빅스 비

Uber에게 일하게 해줘 -이 승차 요금은 $ 2172입니다 탈것을 요청할 준비가 되셨습니까? – 완벽 해 [음악 재생] 안녕, 빅스 비

실행 시간입니다 – 좋아, 블루투스 켜기 삼성 헬스에서 달리기 시작, 실행 재생 목록 재생 [끝내기] HYUNG JIN LIM : 좋습니다 그건 Bixby에 관한 것입니다

현재 약 5 천 7 백만 명의 등록 사용자 Bixby 서비스를 이용하고 있습니다 그리고 Bixby 서비스의 최신 버전으로, 우리는 한국어, 영어 및 중국어를 지원합니다 그리고 올해는 이미 다섯 가지 언어를 추가했습니다 오늘날 대부분의 유럽 사람들이 그것을 사용하고 있습니다 올해는 내년에 갈 예정입니다

계속 확장하고, 다른 언어를 지원한다 세계에 그리고 우리가 Bixby로 만든 20의 변화로, 큰 변화는 AI를 열려고하는 것입니다 시스템을 파트너에게 제공합니다

우리는 동일한 기계 학습 도구를 제공합니다 우리가 내부에서 사용하고있는 우리 파트너에게도이를 활용할 수 있습니다 뿐만 아니라 파트너 당신이 개발자이고 오래 동안 도구 사용 방법을 알기 때문에 Bixby와 통합 할 수 있어야합니다 앱을 Play에 업로드 할 수있는 Play 스토어와 같은 종류 저장

Bixby Development와 비슷한 일을 할 수 있습니다 문 따라서 Bixby Department Portal에서 더 많은 정보를 찾으십시오 귀하의 비즈니스를 위해 5,700 만 명의 사용자를 확보하려는 경우 그리고 그것은 핸드셋 장치 일뿐만 아니라 그것은 TV와 냉장고가 될 것입니다 모든 가전 장치는 우리 네트워크에 연결할 수 있습니다

우리는 앞으로 Bixby와 통합 할 것입니다 다음으로, 내 동료 조영이 설명 할 것입니다 우리가 관리해온 과제는 무엇입니까? Bixby 마이크로 서비스의 50 플러스 크기와 로그의 큰 크기 우리는 오늘 달리고, Stackdriver가 우리를 어떻게 돕는 지 알려줍니다 그 문제의 일부를 해결하는 것 조영

JOOYOUNG HWANG : 안녕하세요 내 이름은 Jooyoung이고, 저는 DevOps 멤버입니다 Bixby 프로젝트에서 여기에 제 경험을 전하는 것이 정말 영광입니다 우리의 작은 경험이 당신에게 기회를 줄 수 있기를 바랍니다

우리가 그 상황을 어떻게 극복했는지 이해하는 것 로깅에 대해, 그리고 그것은 좋은 기술 참조가 될 것입니다 너를 위해서 그래, 배경으로 들어 가자 사실, 우리는 이제 새로운 Bixby 서비스를 갖게되었습니다 이전에 우리에게는 또 다른 Bixby 서비스가 있다는 것을 의미합니다 보통 우리가 로깅 시스템에 관해서 전화 할 때, 로깅 시스템은 일반적으로 디버깅을위한 것이며, 모니터링 및 분석 목적에 대해서도 마찬가지입니다

그러나 프로젝트 나 서비스의 규모가 작아서 아마도 로깅을 위해 ELK를 사용하는 것으로 생각할 수 있습니다 시스템, 또는 일종의 오픈 소스 솔루션 상황을 극복하기 위해 그러나 고객 서비스 또는 그 이상을위한 일부 서비스 대규모 서비스는 항상 자체 로깅 시스템을 구축하려고합니다 그것은 신뢰성과 확장 성을위한 것입니다 그리고 현재, 새로운 Bixby, 로그 데이터 하루에 거의 1

5 테라 바이트입니다 그리고 우리는 어떻게 우리가 다음을 사용하여 실시간 모니터링을 만족시킬 수 있습니다 우리의 현재 내부 로깅 시스템 또한 신뢰성을 보장해야합니다 확장 성 또한 고객 서비스에있어 중요합니다

따라서 이전 로깅에 대해 생각할 때 Bixby 서비스의 시스템, 주요 요점 디버깅을위한 로깅이었고, 다른 하나는 저장 점의 비용입니다 사실, 이전의 내부 로깅 시스템 우리 자신에 의해 개발되었습니다 이는 시장에서 알려진 솔루션이 아니라는 것을 의미합니다 그것은 우리 편에서 설계되었으며 우리의 개발 과정에서 개발되었습니다 팀

또한 클라우드 인프라 스트럭처에 배포됩니다 대부분의 요구 사항은 내부 사용자에 의해 결정되었습니다 따라서 모든 요구 사항을 충족시키는 것이 더 쉽습니다 우리가 로깅 시스템을 개발할 때 그러나 새로운 기능을 추가하고자 할 때, 추적 또는 E3 테스트와 마찬가지로 인프라와 디자인을 변경해야한다

로깅 시스템의 개념입니다 그러나이 시스템은 당시에 설계되지 않았습니다 간단히 말해서, 모든 로그 메시지를 로깅 시스템에 기록했으며, 간단한 모니터링은 Grafana에 의해서만 지원되었습니다 그래서 우리에게는 몇 가지 도전이 있습니다 개발자에게 추적 메커니즘을 제공 할 수있는 방법 문제를 어떻게 디버깅 할 수 있는지에 대한 도움을주기 위해 일부 문제는 자체 응용 프로그램에서 감지됩니까? 그리고 실제로 새로운 로깅 시스템을 추가 할 때 클라우드 인프라 스트럭처에 시스템의 복잡성 우리가 기대했던 것보다 훨씬 더 많이 올라간다

새로운 기능을 추가하는 것은 쉽지 않습니다 새로운 로깅 시스템으로 뿐만 아니라 비용도 올라간다 비용은 우리에게 커다란 도전이었습니다 원가 계산 비용을 줄입니다 이것이 주요 도구 요청입니다

개발자 팀 측에서 그리고 우리는 변화해야합니다 시장에서 사용 가능한 솔루션을 찾으십시오 그래서 우리는 다른 팀으로부터 몇 가지 제안을 받았습니다 사실 그것은 Google의 [INAUDIBLE]이 아니 었습니다 Google은 웹 사이트에서 Stackdriver를 검색했습니다

우리는 우리가 새 로깅을 제공하기위한 핵심 기능은 무엇입니까? 체계 먼저, 우리는 실시간 모니터링에 대해 생각해야합니다 Stackdriver는 실시간 모니터링이 로그 기반 메트릭을 기반으로합니다 로깅 시스템이 스택 드라이버를 사용 중입니다 또한 실시간 모니터링을 지원할 수 있습니다

그러나 그것은 또한 쉬운 방법을 제공했다 다른 모니터링 솔루션과 통합 할 수 있습니다 Bixby 10에는 내부 모니터링 솔루션이 있으며, 그리고 그것은 또한 지속적으로 있어야합니다 우리의 작업에 사용합니다

따라서 Stackdriver가 지원할 수 있는지 확인해야합니다 타사 모니터링 솔루션 통합, 우리는 그것이 가능하다는 것을 보장 할 수 있습니다 두 번째 로깅 시스템에서 가장 중요한 점은 디버깅 경험입니다 이제 우리의 이전 로깅 시스템, 개발자가 모든 로그를 검색하려고 할 때, 그 당시 응용 프로그램 기반 로그 만 검색 할 수 있습니다 한 가지 문제는 모든 개발자가 한 번에 표준 로그 형식

삼성의 수많은 개발자 이 Bixby 개발에 참여했습니다 그리고 그들은 그들 만의 스타일을 만들었습니다 우리는 로그 메시지를 만들었습니다 관련 로그 메시지를 표시하지 않습니다 디버깅 목적으로

따라서 개발자는 새로운 발견 여부를 확인하기를 원합니다 문제는 해당 문제 또는 다른 모듈의 것입니다 문제 개발자에게 추적 메커니즘을 제공해야합니다 로그를 쉽게 찾을 수있는 방법을 제공합니다

디버깅을위한 메시지 그래서 우리가 Stackdriver를 점검했을 때, 그것은 또한 추적 메커니즘을 지원할 수 있습니다 자동화 된 추적을 사용합니다 그러나 내부 요구 사항에는 적용 할 수 없습니다 사실, 자동으로 생성 된 추적 ID를 추가하려는 경우, 우리는 모든 개발자를 설득해야한다

해당 요구 사항을 소스 코드에 적용합니다 쉽지 않아 나는 당신 중 일부가 대기업에서 일하고 있다고 생각합니다 대기업에는 여러 조직이 있습니다 그리고 그 조직 만 개발팀에 속한다

그들 만의 전략과 정책을 가지고있다 새 코드를 추가하는 것은 쉽지 않습니다 해당 코드에 추적 용도로만 사용하십시오 그들은 어떤 부작용과 어떤 성과 새로운 메커니즘을 추가함으로써 저하 자신의 코드로 그래서 우리는 추적이 또한 새로운 로깅 시스템을 추가해야합니다 그리고 새로운 표준 로그 형식을 만들었습니다

스택 드라이버를 적용합니다 둘째, 이전 로깅 시스템 또한 시스템의 분석을 제공합니다 이는 로그 메시지 중 일부를 수집해야한다는 것을 의미하며, 다른 분석 플랫폼으로 전송됩니다 그리고 그 플랫폼은 모든 데이터를 모으고 있습니다 및 분석 데이터를 제공하는 단계를 포함한다

우리는 스택 드라이버가 그것을 지원하기 위해 우리는 그게 가능한지 여부 그래서 모든 요구 사항을 확인한 후, 우리는 어떤 건물도없이 스택 드라이버와 함께 갈 수 있습니다 내부 로깅 시스템 내부 로깅 시스템은 일반적으로 너무 많은 노력을 필요로합니다 개발할

또한 모든 프로젝트 이정표를 만족시킬 수는 없습니다 앞으로 나아갈 것입니다 이제 우리는 그렇게 할 수 있습니다 우리는 로그 형식 표준화에 대해 그렇게해야합니다 그 추적 목적을 만족시킬 수 있습니다

다른 하나는 일반적으로 새로운 로깅을 빌드 할 때입니다 시스템, 항상 우리는 사용자 관리에 대해 생각해야합니다 그래서 Stackdriver를 사용할 때, 모든 사용자 인증 또는 사용자 관리는 IIM 정책에 의해 [비 적합]입니다 그리고 Stackdriver 로그 뷰어는 기본적으로 액세스 권한을 얻은 모든 사용자가 로그 뷰어 페이지로 이동하면 즉시 콘솔에 액세스하여 로그 메시지를 검색하십시오 그리고 가장 중요한 것은 인프라 관련 시스템 메트릭의 스택 드라이버에 의해 자동으로 만들어지며, Stackdriver 서비스로 보냅니다

그러나 우리는 또 다른 커스텀 메트릭도 필요로합니다 응용 프로그램 측에서 생성됩니다 그래서 Stackdriver에 관한 것들 중 하나 로그 기반 메트릭을 지원할 수 있다는 것입니다 우리가 다른 응용 프로그램과 통신 할 수 있다고하더라도 개발자는 우리가 정의 할 수 있습니다 로그 메시지는 필터링 된 메시지에 의해 수집 될 수 있습니다

로그 기반 메트릭 그리고 그것이 작동을위한 재료 중 하나입니다 모니터링 이제 간단한 다이어그램을 만들었습니다 각 모듈에 저장된 모든 로그는 서버 및 스택 드라이버 로깅에서 수집 중입니다 에이전트는 모든 데이터를 수집하고 있습니다

해당 데이터를 Stackdriver 서비스로 전송하십시오 그리고 우리는 Datadog와 통합 할 수 있습니다 우리의 주요 모니터링 솔루션 중, 로그 기반 메트릭을 모으고 있습니다 또한 대시 보드의 통일 된 형식 하나를 보여줄 수 있습니다 현재, 우리는 SLA 연습을하지 않을 것입니다

아직 그래서 우리는 전통적인 운영 관행을 가지고 있습니다 이제 모든 계층 1 및 계층 2, 심지어 계층 세 명이 문제를 해결하기 위해 그것을 사용하고 있습니다 우리 자신의 대시 보드에 의한 탐지 또한 스택 드라이버 모니터링 도구도 사용합니다

이 대시 보드는 맞춤 대시 보드도 제공하기 때문에 창조 또한이를 다른 솔루션과 통합 할 수도 있습니다 오픈 소스 Grafana처럼 그리고 우리는 슬랙 채널을 사용했습니다 편의성을 위해 모든 경고 또는 합병증을 알립니다

그리고 우리가 모든 경고를 정의 할 수 있다면 Stackdriver 및 데이터 행에서 슬랙 (Slack) 채널을 자동으로 보낼 수 있습니다 이해 관계자에게 갈 수 있습니다 문제를 조사하거나 운영 프로세스에 알릴 수 있습니다 기본적으로 디버깅을 사용할 수도 있습니다 우리가 로그 뷰어에 액세스 할 때

분석 목적으로 모든 로그를 수집합니다 메시지를 필터링하여 Google Cloud Storage에 필터링 서비스 Pub / Sub에 의해 분석 시스템으로 이동합니다 마지막으로, 우리는 시스템 로깅을위한 스택 드라이버, 우리는 효과의 네 가지 번호를 가질 수 있습니다 그 Stackdriver를 사용한 후에 첫째, 비용 절감에 대해 이야기 할 수 있습니다

우리는 비용 절약보다 최소한 3 배는 낮다고 말할 수 있습니다 Stackdriver를 사용할 때 가능했습니다 그래서 우리는 생각할 필요가 없다는 것을 의미합니다 시스템의 모든 인프라 변경 또는 유지 관리에 대해서만 우리는 서비스의 신뢰성에 최선을 다할 수있다 및 확장 성

둘째, 모든 작업 부하를 최소화 할 수 있습니다 따라서 우리는 유지 보수에 대해 생각할 필요가 없습니다 로깅 시스템에 대해 우리는 서비스의 신뢰성에 전적으로 힘을 실어 줄 수 있습니다 셋째, 스택 드라이버를 사용할 때, 우리는 또한이 로깅 시스템을 통합 실현 다른 프로젝트에 적용 할 수있다

그 요구 사항이 Bixby 프로젝트와 정말로 유사하다면, 우리의 운영 팀은 많은 수의 서비스를 제공합니다 Jin이 말했던 것처럼 가능하면 가능합니다 Stackdriver를 다른 서비스에 추가하십시오 로깅 시스템의 통일 된 플랫폼으로서 마지막으로 우리는 또한 분석과 통합했지만 삼성 전자 내부 데이터 시스템, 그러나 더 나은 확장 성

데이터 분석의 또 다른 목적 BigQuery를 사용할 때도 가능합니다 그래서 이것이 나의 마지막 페이지입니다 그래서 나는 진에게 돌아갈 것이다 고맙습니다 [박수 갈채] HYUNG JIN LIM : 그렇습니다

나는이 마지막 세션을 안다, 나는 알고있다 당신은 당신, 당신도 알다시피, 집으로 돌아 가기를 간절히 원합니다 그러나 나는 가능한 한 빨리 만들 것입니다 하지만 제가하고 싶었던 것은 제 이야기입니다 SRE를 연습하고, 우리 환경에서 그런 일이 일어나도록 노력합니다

게다가 그래서 보자 그래서 삼성 전자와 같은 몇 가지 도전 과제는 2013 년에 입사했습니다 나는 큰 소프트웨어 회사에서왔다 워싱턴 레드몬드에 본사를두고있다

나는 약 10 년에서 12 년을 보냈다 삼성에 고용되어 가족을 한국으로 이주 시켰습니다 그리고 그때, 나 같은 다른 사람들이있었습니다 누가 글로벌 소프트웨어 회사에서 왔습니다 그리고 나서 삼성은 그 (것)들에게 환경을 소프트웨어 개발 관리 회사가 가지고 있지 않기 때문에 우리 회사에 평범한 종류입니다

핵심 비즈니스의 소프트웨어 기반에서 나왔습니다 그들의 핵심 사업은 제조입니다 그래서 그들은 환경을 조성하려고 노력하고 있습니다 소프트웨어 개발 문화를 창출하려고합니다 그러나 회사가 더 많은 투자를하기 때문에 소프트웨어 개발에서 우리는 계속해서 더 많은 서비스를 창출했습니다

분명히 더 많은 서비스를 추가 할 때마다 그 서비스를 운영하는 사람들이 더 많아 질 것입니다 그래서, 아시다시피, 서비스는 생산에 더 많이 추가됩니다 환경, 우리는 운영하고 지원하는 더 많은 사람들이 필요합니다 그 서비스들 문제는, 우리는 우리가 우리 자신을 정당화 할 수있을 것 증가하는 운영 팀의 비율

따라서 우리는 새로운 작업 방식에 대해 생각할 필요가 있습니다 생산에 들어가는 많은 서비스를 지원합니다 내가 삼성과 함께 할 때, 나는 일종의 운이 좋게도 모든 변화를 목격 할 수 있습니다 삼성 전자 내부의 소프트웨어 관리에서도 마찬가지입니다 보시다시피, 알다시피, 박스 제품, 그렇지? 따라서 우리는 6 개월마다 주력 장치를 출시합니다

권리? 우리는 S 시리즈 있습니다 우리는 노트 시리즈 있습니다 약 6 개월이 걸립니다 개발 라이프 사이클 종류의 폭포 방법론 제조 시스템에서 상자 제품에 의미가 있습니다 그리고 우리는 모든 중요한 결정을했습니다

우리는 충분한 시간이 있기 때문에 경영진에 의해 만들어지고있다 이러한 제품의 수명주기 그리고 분명히 당시에 우리는 우리의 서버를 호스팅하는 많은 전통적인 데이터 센터 그리고 모든 시스템은 모 놀리 식 아키텍처와 비슷합니다 체계

하지만 일년 내내 우리는 더 이상이 유형의 관리를 서비스와 함께 할 수 없습니다 개발 그래서 우리는 폭포에서 오는 애자일로 바뀝니다 우리는 모든 작업을 분해합니다 우리는 백 로그를 만들고 우리는 다시 성취하려고 노력하고 있습니다

알다시피, 실제로 올바른 엔지니어가 주어진다면 이러한 백 로그를 담당합니다 그리고 우리는 매년 봄에 끝나고 나간다 생산에 선적 가능한 제품 그리고 모든 결정은 이제 PO에 의해 만들어졌습니다 또는 프로덕션의 모든 주요 기능, 그것이 생방송이 될 필요가 있건 없건간에, 제품 소유자가 결정합니다

그리고 당연히, 지금 당장은 대부분의 서버 준수가없는 한 클라우드에서 호스팅됩니다 서버가 기존의 데이터 센터에 있어야한다는 것입니다 그리고 여러분도 알다시피, 왜 이런 패턴의 제작을할까요? 프로덕션의 각 기능을 분석하십시오 자신을 마이크로 서비스로 설계하는 것이 합리적입니다 모 놀리 식의 대신에

아직도, 개발 라이프 사이클의 옛 방식에서, 제가 말씀 드렸다시피, 우리는 폭포에 6 개월의 시간을 가지고 있습니다 그리고 우리는 항상 가질 수 있습니다 우리가 새로운 서비스를 도입 할 때마다, 우리는 할 수 있습니다 수술로서 우리는 엔지니어 팀에게 물어볼 수 있습니다 운영 가이드, 기술 자료 문서 작성 및 수행 프로덕션에 들어 맞는 올바른 교육 팀 환경

그리고 그것은 모두 의미가 있습니다 그러나 Agile과 Sprint가 관리하는 프로젝트를 통해, 우리는 더 이상 그 사치품을 가지고 있지 않습니다 우리는 그들에게 물어볼 시간이 없다 또는 엔지니어링 팀에 시간이 없습니다 모든 정보를 제공합니다

우리는 또한 사업간에 갈등이 있습니다 엔지니어 및 작업, 우리의 우선 순위 고객에게 안정적인 서비스를 제공하고 있으며, 엔지니어링 팀이 새로운 가치를 추구하는 곳 우리의 생산 환경에 그래서 우리는 계속이 갈등을 겪고 있습니다 이 작업을 해결하려고하는 동안 갈등과 조직적인 도전, 우리는 Google과 함께 일할 수있는 기회를 갖게되었습니다 엔지니어, Google SRE 엔지니어 및 더 많은 것을 배우려고합니다

SRE 연습 및 Google에서 SRE 연습을하는 방법 그들의 끝에서 그리고 우리는 많은 회의와 세미나를 치렀습니다 Google 엔지니어와 그런데 삼성이 Google이 아니라는 것을 깨달았습니다 그래서 제가 의미하는 바는 우리가 소프트웨어에서 온 것이 아니라는 것입니다 개발 회사

우리는 프로세스 중심의 제조업체에서 왔습니다 우리 마음의 문화 그래서 우리가했던 다음 일은 OK였습니다 그래서 우리는 SRE가 우리에게 줄 수있는 것, 어떤 종류의 이점을 이해합니다 그러나 우리는 어떻게 질문에 답할 필요가 있습니다

우리는 어떻게이 관행을 우리 환경에 구현할 수 있습니까? 그래서 우리는 다른 업계 지도자들로부터 배우기 시작할 수 있습니다 SRE 연습에서 우리는 Netflix, LinkedIn, Uber, 그리고 많은 다른 사람들 그리고 그들은 모두 공통점이 있습니다, 맞습니까? 그래서 그들은 각 종류로 – 생산에 투입된 것을 분리하다 주소 지정을 담당해야하는 담당자를 분리해야합니다

그 문제들 그들은 당신이 만든 개념을 가지고 그것을 실행합니다 따라서 시도하는 개발자가있는 경우 생산에 몰두하고, 그 사람 이러한 문제를 해결하는 방법을 알고 있어야합니다 운영 엔지니어 그래서 우리는 거기에있는 운동의 개념을 정말로 좋아합니다

그래서 우리는 우리 자신의 SRE 버전을 만들었습니다 우리는이를 글로벌 서비스 안정성이라고 부릅니다 공학 그리고 우리는 다른 구현 영역으로 나뉩니다 전에는 거의 모든 서비스가있었습니다

현재 실행중인 SLA가 있습니다 우리는 핵심 가용성 지표를 가지고 있습니다 하지만 SRE 연습에는 충분하지 않습니다 우리는 우리가 무너지는 것을 확실히하고 싶다 서비스 내의 각 기능에 각 기능, 사용자 영향 기능, SLO, SLI를 가지고 있습니다

또한 Google은 오류가 예산이 엔지니어링 팀과 전달되고 있습니다 그래서 모든 SLO를 다 써버린다면 우리는 신뢰할 수있는 시스템을 만드는 데 중점을 둡니다 새로운 아이디어를 생산에 적용하는 대신 이것은 우리가 가지고있는 SLO 문서의 한 예입니다 내가 언급했듯이, 빅스 비 (Bixby) 서비스 내에서 다른 기능을 제공합니다 그 능력 중 하나는 ASR이며, 이는 발화를 번역합니다 텍스트

그래서 우리는이 템플릿을 만들었습니다 해당 SLO의 소유권으로 응용 프로그램 수준까지 SLO의 기본 소유권은 그 것입니다 우리는 기본 소유권 아래 있습니다 운영, 우리는 인프라 관리 SLO 수준 그리고 핵심 포인트 중 하나는 인프라입니다

SLO는 응용 SLO보다 훨씬 더 엄격합니다 분명히 알다시피, 애플리케이션 SLO 기본 프레임 워크가 아닌 경우 만들 수 없습니다 아직 거기 있지? 그래서 우리는 일종의 차별화를 시도하고 있습니다 운영 책임과 엔지니어링 사이 주요 책임 Stackdriver와 Datadog를 사용하면, 우리는 그 SLA를 위해 대시 보드를 만들 수있었습니다

따라서이 SLA를 기반으로 SLA가있는 경우 SLO가 위협을가합니다 이벤트가 발생하면 통합 할 수 있습니다 Datadog and Slack과 다른 경고 메커니즘을 사용합니다 우리는 적절한 엔지니어에게 경고를 줄 수 있습니다 또한 인스턴스 관리도 마찬가지입니다

그리고 전통적인 멀티 – 티어 에스컬레이션 경로를 취하기 전에, 권리? 우리는 1 단계, 2 단계, 3 단계, 본질적으로 개발자입니다 문제가 발생하면 1 단계에서 문제가 발생합니다 두 번째 단계로 이관합니다 문제를 해결하는 방법에 대한 정보가 충분하지 않습니다 그리고 운영 측면의 2 단계는, 대부분의 경우, 기능이 어떻게 실행되고 있는지 알고 있습니다

프로덕션 환경에서 그러나 애자일과 봉사의 이름으로 알다시피, 내가 말했듯이, 항상 정보가 부족합니다 프로덕션 및 응용 프로그램 수준에서 실행되는 항목 그래서 우리는 매번 개발자를 호출하게되었습니다 따라서 가용성에 대한 SLO가 395라고 생각하면, 허용 된 중단 시간은 22 분입니다 그래서 한밤중에, 하나 이런 일이 일어나는 경우, 약 30 분을 잃는 것은 쉽습니다

그 달에 우리가 하나의 인스턴스를 가지고 있다면, SLO를 위반하고 있습니다 그래서 우리는 SRE에서 다른 접근법을 취할 필요가있었습니다 따라서 실제 오류를 찾아내는 중입니다 우리 로깅에서 더 나은 일을해라 우리는 1 단계와 2 단계를 거치지 않아도됩니다

시스템이 올바른 정보를 생성하는 경우 이러한 경고를 올바른 엔지니어에게 전달하고, 이벤트이므로 개발자가 될 수 있습니다 SLO를 위반하려고 시도하고 있습니다 인프라 엔지니어에게 갈 수도 있습니다 네트워크를 위해 사전 구축 한 일부 SLO를 위반하는 경우, 예를 들면 그래서 우리는 경고를 정확하게 지적 할 수 있습니다

그리고 우리는 일을 끝낼 수 있습니다 우리는 거기에 다중 계층 에스컬레이션을 건너 뜁니다 이것은 정말 빨리 마무리해야합니다 관리 배치 같은 생각이야

운영 팀이 자체 배포에 사용했습니다 생산 환경의 우리는 스스로를 생산 기술자라고 부릅니다 맞습니까? 그래서 우리는 안정적이고 [INAUDIBLE]의 소유권을 가지고 있습니다 비즈니스 찾고 고객 찾고 그러나 그때 우리가 SLO와 분리 할 때 개발자 및 운영 엔지니어, 이제 우리는 인프라를 만들고 있습니다

코드로서의 코드로서의 구성 새로운 변경 사항을 추진하는 소유권이 운영에 있습니다 그것이 구성 및 인프라라면 개발 팀이 새로운 코드를 소유하고 있습니다 생산에 들어가기

그리고 그런 식으로, 우리는 개발을 멈출 필요가 없다는 것을 알고 있습니다 프로덕션에 새로운 코드를 배포하는 방법 문제 해결 방법에 대한 기술 자료 모음 이 경고 때문에, 그들은 새로운 아이디어를 밀어 때 문제가 발생하면 경고 메시지가 표시됩니다 개발자가 아닌 개발자에게 곧바로 갈 것입니다 그 변화들에 대해 아는 바가없는 사람에게 코드에서 문화의 변화는 지속되지만 듣지는 않습니다

이것은 가장 힘든 일입니다 맞죠? 우리는 이것을 우리의 지도력에 알릴 수 있습니다 그들은 모두 아이디어를 얻습니다 그리고 첫 번째 의견은 알고 있습니다 문화 혁신, 당신은 이야기해야합니다

모든 사람들이 합의에 도달했는지 확인하십시오 그래서 우리는 많은 [비 숙련 된] 세미나를하기 시작했습니다 앞선 엔지니어링 팀이이 아이디어를 추진 그들이 선상에 있는지 확인하십시오 그리고 우리는 무엇이 일어나야하는지 물었다 그리고 우리가 그들에게서 필요로 할 것 인 것은 무엇이 도움이되는지에 관해 안다

그리고 우리가 한 다른 것들 우리는 특별 전담반을 만들었지? 그래서 우리는 특별 전담반을 만들거나 팀을 바칩니다 툴셋을 만들려면, 맞습니까? 우리는 애플리케이션 배포를하지 않습니다 우리는 파이프 라인, CI / CD 파이프 라인, 점진적 변경이 파이프 라인에 포함됩니다 위험 관리는 파이프 라인에 내장되어 있습니다 우리 개발팀에게는 아무런 생각이 없습니다

그들이 새로운 아이디어를 추진하려고한다면 문제가 발생하기 시작하면 문제가 발생하기 쉽습니다 다시 돌아갈 수 있습니다 따라서 우리는이 유형의 도구를 제공하는 팀을 만들려고합니다 엔지니어링 팀에게도 도움이됩니다 따라서 로깅 및 모니터링도 마찬가지입니다

QA 자동화 – QA 자동화, 보안 기능이 없습니다 아직 자동화 우리는이 다중 계획 조직 변화를 가지고 있습니다 그리고 SRE의이 모델에 맞춰보십시오 우리가 모든 것을 제공하려고 노력하는 동안 우리 SRE를위한 동일한 툴 세트에서, 우리는 또한 실제로 일하는 SRE 서비스를 가지고 있습니다

프로젝트에서 해당 플랫폼 솔루션을 연결하려고 시도합니다 실제 서비스에도 적용됩니다 나는 정말로 모든 이점을 말할 수는 없다 우리는 여전히 있기 때문에 지금 당장 가지고 있습니다 SRE 채택 단계의 하지만 그때 우리는 기대하고 있습니다

측정과 함께 우리의 서비스에 대한 더 나은 가시성을 가질 수있다 생산 과정에서 일어나는 모든 일 그리고 평균 복구 시간을 줄이는 것은 분명합니다 그래서 SRO를 만나 릴리스 시간을 줄이려고 노력했습니다 CI / CD 파이프 라인 자동화 운영 리소스를 최적화 할 수 있습니다 그래서 나는 이것이 나의 마지막 세션이라고 생각한다

우리와 함께 해줘서 고마워 이제 너는 너의 가족에게 갈지도 몰라 [음악 재생]

AI & The Global Goals

마지막 날에 대한 마지막 세션을 발표하는 것이 기쁨입니다 인공 지능 및 글로벌 목표를 달성하고 뛰어난 라인업을 확보하고 있습니다

멋진 손님 인 Kamal Ahmed가 손님을 소개 할 것입니다 당신은 제발 하루의 마지막 세션을 매우 대단히 감사합니다 가장 좋은 순간은 우리가 냉소주의를 제쳐 놓고 이야기 할 수있는 순간입니다 당신이 일하는 곳에서 매일 할만 큼 확실한 세상에서 잘하고 있습니다 그러나 이것은 길 건너에있는 사람들을 돕는 것과 마찬가지로 좋지 않습니다

일회용 플라스틱을 재활용하는 것은 다소 야망이 있습니다 세계적인 목표가 있고 그 중 17 개가 있고 17 개를 인쇄했습니다 박스가 있지만 그 뒤에 정말 큰 진술이 있습니다 굶주림도없고 굶주림도 없다 건강에 좋은 교육 우리가 노력할 수있는 무언가 2030 년까지이 세상의 시민으로서 우리는 여기에 별의 패널을 가지고 있다고 말합니다 맨 오른쪽에서 우리는 도미니크 비전을 가지고 있으며 그는 2030 비전의 창시자입니다

그의 왼쪽에있는 팔에서 지속 가능성의 머리는 비평가 Armor의 설립자 인 AI 지속 가능한 개발 목표를위한 훌륭한 젊은 리더 그녀는 Claire Melamed 지속 가능한 글로벌 파트너십의 최고 경영자입니다 그녀의 왼쪽에있는 개발 데이터는 재클린 풀러 부통령 Google 및 googleorg 대표 및 왼쪽 및 오른쪽 권한 리차드 커티스 창립자 모두와 모든 사람의 제작자 어떤 타입의 좋아하는 필름이라도 나는 우리를 차기 위해 충분히 운이 좋았다 나는 리처드를 만날만큼 운이 좋았고, 리차드를 우리는 Observer 신문과 2005 년 리차드의 소식을 전합니다 빈곤 역사 캠페인을 창설했다

Jubilee 2000 글로벌 목표 이니셔티브에 기반하여 리차드에게 건네기 전에 키커는 생각만큼이나 그렇습니다 처음에는 90 년대에 아이디어로, 그 다음에는 2000 년대에 아이디어가 배치되었습니다 그들이 꿈꾸는듯한 생각으로는 거의 어색해 보였습니다 굶주림이나 가난과 같은 일들을 해결할 때마다 그러나 내가 참여할 때마다 빈곤 퇴치 역사를 가진 관찰자와 우리가해온 1 년 동안의 긴 캠페인 Richard와 그의 팀은 우리가 얼마나 많은 진전을 이룰 수 있었는지를 놀라워했습니다 그게 네가이 방에서 사용할 수있는 도구가 너무 많기 전에였다

전 세계에서 사용 가능한 도구를 사용하기 전에 사람들이 사용할 수 있으며 세계적으로 공유 할 수있는 곳은 전 세계에 건축되고 확장 될 그래서 Richard는 왜 우리가 몇 가지 개요로 우리를 쫓아 내지 않는데, 나는 영화 우리가 어떤 주제에 관해 말할 것인지 정하는 것 다음 15 분 동안가는 시간 동안 나는 너에게 사랑스러운 사람들을 위해 올 것이다 몇 가지 질문을하면 8 월 패널을 듣고있는 사람들을 화나게 할 것입니다 리차드는 내가 운영 할 때 우리는 프로젝트의 이사회에 서면으로 글을 쓸지도 모른다 모두들 나의 이론과 칼은 항상 당신이해야 할 일들을 만드는 것입니다 물건을 만들면 이것이 관객에게 특히 적절하다고 생각합니다

오늘은 단지 정치 이론과 많은 대화를 할 수 없으므로 내가 보여줄 수있는 가장 먼저 작은 영화를 피사체를 밝게 소개하다 너는 나를 알지 못한다하지만 너에 관해서 몇 가지를 만들었다 운전자 컴퓨터가 필요없는 자동차는 체스 게임을 스스로 가르치고 생성하는 충돌에 대해 65 TeV의 양성자 빔으로 가속 할 수 있습니다 13 TeV의 질량 에너지 중심 때문에 당신은 꽤 현명합니다

사실 2050 년에 17 점을 얻었습니다 해결해야 할 문제가 있습니다 전 세계의 세계 지도자는 2030 년까지 17 개의 글로벌 목표를 환영합니다 아무도 자라지 않아 빈곤을 없애고 우리의 불평등을 기후 변화와 10 억 명의 사람들이 갖고 있지 않은 문제를 해결할 깨끗한 물과 5 명 중 1 명은 여전히 ​​교육을받지 못한다 많은 사람들이 이러한 문제가 불가능하다고 생각하지만 당신이하지 않는다고 들었습니다

불가능하다고 믿으십시오 그렇다면 실제로 가장 좋은 문제 해결사는 세상은 이제 당신이 가장 똑똑한 사람임을 증명할 때입니다 상상력 강한 문제 해결은 지나치게 과도한 도움을주는 사람들입니다 미래를 위해 우리의 세상을 구하기 위해 수백만의 생명을 구하십시오 나 같은 세대는 당신이 많은 일을하는 것과 같은 이유로 그것을 할 수 있습니다

그렇게 만날 수 있는지 알아보기 위해 2030 년까지만 보자 우리가 함께 일하면 글로벌 목표를 현실화 할 수 있습니다 그리고 나는 그 영화의 메시지를 믿는다 나는 너를 볼 때, 당신이 일하는 모든 장소를 이해합니다 제가 처음 시작했을 때의 사실을 기억합니다

영국에서 Red Nose Day라고 불리는이 일과 이런 종류의 회의에서 나는 만화의 구호를 받았다 세계 최악의 인물 수백 명 영국인의 최고 코미디언 사회적 이슈에 대한 관심과 그 일에 대한 많은 지식이 없습니다 그들은하려고 애썼지 만, 그들이 그들의 약속을 지켰 기 때문에 우리가 고안 한 특정한 것에 대한 특별한 기술은 당신이 알고있는 것입니다 우리가 몇 년 동안 빨간 코와 기금 모금을하는 날과 시간 지금 우리가 지출 할 수 있었던 16 억 달러라고 생각합니다

우리 모두가 최초의 선동자가되는 비범하고 복잡한 것들을 이해하지 못했을뿐입니다 실제로 우리는 힘을 실어주기 위해 돈을 사용했습니다 땅에있는 최고의 사람들은 많은 것을 다룬 프로젝트를합니다 이러한 목표 중 귀하가 할 수있는 모든 일에 대한 나의 일반적인 도전이었습니다 잘 생각해 봅니다

나는 아주 난해한 지역에 있거나, 그렇지 않은 창업 회사에 있습니다 시간은 있지만 문제의 진실은 당신이 하루가 시작될 때 출발점 중 하나가 내가하고있는 일을 도움이 될만한 것으로 통합하려고 노력할 것이다 다른 사람들은 다른 사람들과 파트너십을 형성한다 이 목표를 향한 목표 나는 그것이 훨씬 더 많을 때 당신이 정말로 만들 수 있다고 생각한다 16 억 명이 실제로 사람들의 삶에 영향을 미치고 나는 그걸로 멀리 떨어져 있었고 이것들은 정말 흥미로운 목표입니다

집에 갈 때 할 수있는 일은 단지 그들을보고 얼마나 흥미롭고 복잡하고 얽힌 지, 나는 언제 기억하고 있는가? 우리가 빈곤의 역사를 만들었던 MDGs는 주로 부유 한 세상은 가난한 세상에 더 많은 도움을주기 위해 더 많은 것을 빚지고 있습니다 이것이 내가 생각한 그 남자가 그날을 기억하는 것입니다 세계는 자연을위한 세계적인 기금 또는 무언가가 걸어 나갔다 회의는 우리가 환경이 일종의 부차적 인 문제라고 생각했기 때문에 그 캠페인에서 다루기에는 너무 복잡했고 이러한 목표는 실제로 정의와 환경 그리고 극심한 가난을 하나로 묶고, 실제로 모든 것을 해결하려고하는 복잡한 웹 그 (것)들을 함께 해결해서 것 및 가장 중요한 것의 한개는 또한이다 그들은 국내 문제를 다루기 때문에 오바마 대통령은 유엔의 SDGs에 관해서는 미국에서도 이러한 일을해야한다고 말했습니다 그들이 부르 키나 파소에서 일해야한다고 생각하는 것처럼 너는 실제로 생각하고있어

내가 여기에서 왔어 나는 클리블랜드에서 왔어 Cleethorpes에서 왔어 내가 집중해야 할 사람들에게 집중해야 해 당신의 사람들과 당신이 집에서하고있는 것과 똑같은 해결책이 잘 될지도 모릅니다

궁극적으로 세계의 다른쪽에있는 사람들과 여기에있는 다른 것들은 또한 내가 기억하는 선한 목적의 사람들을 결합 시키려고 노력하는 것입니다 내가 어렸을 때 관심이 있다면 일종의 기분이 좋았어 사면 그때 나는 물을 할 수없고 나는 물에 관심이있다 그런데 그것은 나를위한 것이 아니다 평화 나 굶주림 중 하나를하는 것입니다

당신은 모두 함께 작업하고 있습니다 지속 가능한 발전 목표는 전체적으로 당신의 목표를위한 싸움을 포기하지 않습니다 열정은 당신의 조직이 가장 헌신적이지만 그 사실을 깨닫게합니다 너는 큰 그림의 일부분이다 너의 지역 안에 진도는에지도 할 것이다 다른 지역에서 진행되므로 목표를 살펴 보도록 권장합니다 그들을 연구하고 그들과 함께하면 우리는 세상을 완벽하게 만들 것입니다

나는 오랫동안 사라질 것입니다 나는 장미에 사로 잡혀있는 정원에있을 것을 기대하고 있습니다 너는 너와 네 아이들이있는 군단에있는 군단에있을거야 소녀들에 의해 그렇게 확연히 변형 될 수있는이 세상을 상속 받는다 멋진 리처드 네가 어떻게 기술의 역할을 바꿀 수 있었 니? 분명히 당신은이 세계적인 글로벌 솔루션에 대한 아이디어에 참여해 왔습니다

당신이가는대로 많은 년 동안 도전 희년을 통해 1980 년대와 레드 코 데이와 빅 콘서트로 2000 년 밀레니엄 목표는 빈곤 역사를 계속적으로 그리고 계속해서 어떻게 만드는지 기술로 인해 우리가 지금 할 수있는 접근 방식에 대한 생각이 바뀌 었습니다 분명히 우리가 40 년 전만해도 아니지 만 그러나 10 년 전만해도, 당신이 어떻게 생각 하느냐에 따라 그 변화가 어떻게 일어날까요? 만약 당신이 CLE 결점에서 나온 것이라면 세상 모든것을 원자화 할 수 있습니다 클리블랜드 당신은 당신의 작은 일을 어떻게 할 수 있죠? 세계화의 길은 거의 없었던 시대에 가능했다 세계 각국의 정보를 잘 이해하고 있다고 생각합니다 2005 년과 지금은 기업과의 회의를 시도 할 때가되었습니다

그들은 더 끔찍한 것이 아니 었습니다 사실 그들은 모두 당신처럼 보입니다 나는 이제 정장을 입은 노인들에게 우리가 위험한 좌파라고 생각했다 기술에 관한 가장 중요한 것 중 하나는 권력이 움직 였다는 것입니다 당신이 알고있는 세계관을 가진 사람들과 실제로 직원과 사용자의 관점에서 지속 가능성과 관심사에 대한 세계의 보살핌 2005 년에도 알고있는 사업은 실제로 그것이 주주들과 돈만이 중요하기 때문에 큰 희망이 있습니다

변형 나는 다른 패널 중 일부가 더 잘 자격이 있다고 생각한다면 당신이 알고있는 텍사스와 그 효과에 대해 세계에 있지만 내 일반적인 관찰 나는 움직임이 훨씬 더 빨리 움직이는 것을 보았습니다 그래서 저는 믿을 수 없을만큼 영감을 받았습니다 뒤에서 거짓말을하고 me2 운동과 작은 Dickies 비디오 전날 그가 석방 한 지구에 대해서 3 천 6 백만 명이 4 일 안에 보았습니다 그래서 보편적 인 보편성이 있다고 생각합니다 기술이 성취 할 수있는 것에 관해서는 그렇지만 다른 한편으로는 당신은 또한이 위대한 기술을 가지고 있습니다

코미디언 정치인들은 당신과 이야기하기를 원하고 당신과 나는 함께 일하기를 원합니다 가장 흥미 진진한 것들 중 하나는 Tom이 말한 아이디어라고 생각합니다 디지털 공익 (digital public good)은 아이디어가 떠오르면 일하고 정부에 가져 가면 그들은 당신과 파트너가되고 싶어합니다 당신과 함께 일하고 모든 시민들에게 그 기술을 사용하십시오 Jacqueline은 google

org를 통해 귀하의 접근 방식을 조금씩 이해합니다 물론이 게이츠 재단에 다시 참여하게됩니다 작업의 유형 및 솔루션을 찾으려고 노력하는 활력있는 솔루션 당신이 조직으로 취한 접근 방식과 어쩌면 잠재 고객이 잘하고있는 작업 유형에 연결할 수있는 방법 우리가 본 것들 중 당신이 내가 생각하는 기술 공동체를 알고 있다는 것입니다 이 문제에 대해 많은 관심을 갖고 있으며 사람들은 자신이 원하는 것을 적용하려고합니다 그들이 세계에서 가장 큰 차이를 만들 수있는 가장 좋은 장소와 장소 과학자들에게는 그게 단지 중요한 기술이고 그것이 정말 사회 부문에서 빠졌지 만 약간의 격차가있었습니다 문제를 이해하는 최전선에있는 사람들과 목표와 수행해야 할 작업 및 기술 전문가가 시도한 Google에서 이것들을 우리가 한 일 중 하나에 모으는 것은 우리가했습니다

Google AI Social Impact 사이트에 일부 연구 결과를 게시했습니다 말 그대로 인공 지능과 기계가 얼마나 정확하니? 지금 배우고있는 것은 진짜 응용 프로그램이 무엇인지를 글로벌 목표와 여기에 백개와 60 개의 사용 사례가 있습니다 기술이 그런 종류의 영감을 제공하기 위해 현재 어떻게 사용되고 있는지 약간의 도로지도가있어서 기술자와 이 기술에 대해 어떻게 생각 하느냐고 생각합니다 열려있는 통로가 무엇인지 발표하십시오 또는 어떻게하면 제가 어떻게 기여할 수 있는지 알 수 있습니다

회사가 바로 기여합니다 그 부분은 생태계 구축에 관한 것입니다 우리가 한 다른 일은 방금 전 세계적인 공개 통화를 마쳤습니다 연구원 비영리 사회 사업을 열어서 우리는 인공 지능 기계를 사용하여 25 풀에 넣었습니다 백만 달러를 투자하여 최고의 아이디어를 기획했고 우리는 그 아이디어에 압도 당했다

흥미롭게도 응원 팀의 40 %가이 게임을 사용한 적이 없었습니다 해결책을 찾기는했지만 전에는 돈을 얻을 수 없었습니다 전문가가없는 경우가 종종 있었는데 여기 패널 중 일부가 우리가 그 격차를 해소하는 방법에 대해 이야기하지만 우리는 당신이 알고있는 경이로운 아이디어를 보았습니다 어떤 시간을 영원히 불렀다는 그룹이 있습니다 예를 들어 승자와 그들은 예를 들어 발전소로부터의 배출물의 실시간 매핑을 수행하고있다

기후 변화에 얼마나 강력 할 지 생각해 볼 수 있습니다 인도를 떠난 그룹이 주주 농부를 알고 있습니다 작물에 영향을 미치는 질병의 종류와 어떻게하면 문제를 진단하는 데 도움이되는 간단한 스마트 폰 기술 만 사용하여 올바른 살충제는 농부를 도우면서 살충제 사용을 세계적으로 감소시킨다 프론티어 하나 그들이하고있는 애플 리케이션으로 나는 그것이 완전히 될 것이라고 생각한다 한 세대의 진단을 도약시키고 항생제 내성을 돕습니다

문제가 정말 놀랍습니다 거기서 진행되는 솔루션은 우리가 기금을 모으는 데 도움이되는 훌륭한 아이디어 생태계를 벗어나 이러한 아이디어와 수상자 중 일부를 되돌려 놓고 우리는 또한 리처드와 그가하는 일은 내가 정말로 그렇게 생각하기 때문에 중요한 것은 여러분이 우리를 위해 열매를 맺고있는 세계 공동체로서 함께 알고있는 것입니다 이 혐의로 우린 싸우고있어 우리가 서명하고있어 함께 가서 우리는 함께 가서 그 전화를하고 솔직히 그 책임은 당신이 가진 재클린의 중요성입니다

googleorg에서이 작업을 수행합니다이 작업은 단순히 알파벳 비즈니스의 일부가 아닙니다 대기업 및 글로벌 기업과 같이 별도의 법인을 보유하는 것이 중요합니다 우리가해야 할 이러한 특정 문제를 다룰 수있는 모든 회사가 핵심 비즈니스에 대해 생각할 필요가 있다고 생각할 필요가 있습니다

당신이 누군지 알고있는 속성 당신이 테이블에 가져온 것이 무엇입니까? 놀라운 글로벌 공급망 당신이 성숙한 사람이라면 알고있는 전문 지식을 가지고 있습니까? 유익한 사업 네, 자선 사업을 지원하기 위해 우리가 googleorg를 통해하는 것처럼 잘하지만, 내가 생각하기에 Google이 할 수있는 중요한 일은 Google 제품을 통한 것입니다 예를 들어 Google 조직임을 알았습니다 자연스럽게 지원을 제공하기 위해 많은 노력을합니다 재해이지만 Google AI 팀이 주도하고 있으며 도움을주는 모델을 구축하고 있습니다

지진 여진과 같은 일들이 일어날 때까지 예측해라 저지대 강 지역에서의 홍수 및 갠지스 강 삼각주와 같은 장소 그들이 그렇게되기 전에 나는 기대가 있어야한다고 생각한다 우리가해야 할 일은 우리가 핵심 비즈니스와 함께 행동을 취하는 것과 핵심 제품과 우리는 또한 우리가 더 넓은 범위의 일부임을 확신하고 있습니다 박애주 의자에 들어가기 전에 자선 활동도 꽤 잘 했어 두 번째 Richard에게 머물면서 흥미로운 점을 발견했습니다 2005 년에 다시 생각해 보면 그의 감각에 비즈니스 분위기가 바뀌었다

그 이후로 분명히 주요 경제 사건이 일어났습니다 2007 년과 2008 년의 금융 위기에는 태도가 바뀌 었습니다 Richard는 리차드가 지적한 방식대로 사업을 펼쳤습니다 글쎄, 기술 분야에 대해서만 말할 수는 없어 직원들은 윤리적 인 회사에서 일하기를 원합니다

되돌릴 수있는 기회를 원하고 그들이 의미하는 운동의 일부인 회사에 참여하기를 원한다 실제로 당신은 세상에서 그리고 세상에서 실제로 선한 일을하는 것을 알고 있습니다 유형적인 방식으로 이것은 기업을 위해 영리하다고 생각합니다 직원들이 우리 직원들에 대해 관심을 갖도록합니까? 예 나는 AI 영향 도전을 위해 우리가주고있는 2,500 만 명을 언급했지만 더 중요한 것은 우리 AI를 포함하여 Google 직원 팀을 제공하고 있습니다 승리하는 팀 중 한 명씩을 둘러싼 전문가 보안이든 알고 있든 필요한 전문 지식을 제공하는 데 도움을줍니다

개인 정보 보호 엔지니어링이나 마케팅은 그들이 필요한 도움이 무엇이든간에 직원들이 정말로 염려하는 것과 솔직히 사용자가 관심을 갖는 것 그것도 주주 인하를 원하는 자선욕이 있습니다 당신 주주를 사면 잘 주주가 될 수 있다고 생각합니다 직원을 유도하고 동기를 부여하는 것과 같은 문제 및 사용자가 관심을 갖는 내용 이것은 우리 모두가 똑같은 방식으로 성장할 수있는 예이기 때문에 이 예 crickey의 방향은 우리에게 당신이 일에 대해 조금 말해라 유엔과 어떻게 협력 할 것인가? 우리가 함께 일하는 사람들에 대해 이미 이야기해온 네트워크 누군가 UN의 복잡한 세계를 탐색하려고하는 해결책을 찾는다 정부는 컴퓨터 과학을 수년 동안 공부하고 시작했다고 말합니다

필자가 15 년 4 년 만에 가장 현명하게 지은 AI 시스템을 구축했습니다 제품 또는 서비스의 효율성을 향상시킬 수있는 알고리즘 나는 작은 백분율 점에 의하여 창조하는 것을 시도하고 저것은 아주이었다 해결할 수학 퍼즐 매혹적인하지만 내가 자랐고 더 많은되었다 행성에서 일어나는 일에 대해 사회적으로 인식하고 있습니다 이슈와 고양이는 어떻게하면 더 가치있는 작품을 만들 수 있습니까? 재클린이 말한대로 내가 가진 기술을 통해 일하고 있습니다 아주 쉽다 SDG를 볼 때 가장 확실한 것은 아니다

기아와 말, 기아와 빈곤은 불평등을 줄여줍니다 네가 그렇게 좋아하는 사람이라면 어디에서 시작해야할지 압도적이다 나 자신이나 디자이너 개발자는 과학자로서 어디로 갈지 생각하고 있습니다 당신 주위에 patien을 인쇄합니다 작년에 프로젝트를 시작했습니다 우리가 국내의 사건을 감지 할 수있는 남아프리카의 무지개 (rainbow) 솔루션 폭력은 실제로 디자인을하기 위해 더 많은 예측을하기 시작합니다

가장 취약한 사람들이 인도 젊은이들을위한 도구를 만들기 시작했다 믿을만한 성교육을받을 수없는 2 억 4 천만 명의 청소년 지금 재생산 건강 서비스를 제공하고 있습니다 인생에서 내가 찾은 도전은 당신이 개발 부문은 비영리 부문이며 반드시 그렇지는 않습니다 민첩하거나 지속적인 배치라는 말을 이해하고 기술 세계는 꽤 익숙해 져 있으며 공통 언어는 실제로 이러한 조직을 여행에 가져 오는 방법을 찾은 가장 큰 도전 그 (것)들과 많은 것 AI 공구 같이 공상 과학 소설과 나는 말 그대로 내 얼굴에 말하고있다 약 과학 소설이다

그들은 다른 기술에 의해 아마도 태워 졌을 것이다 과거에 세상을 바꾸겠다고 약속하려고 노력하고있는 구세주 기술 업계의 사람들은 훨씬 더 나은 일을해야한다고 요청했다 우리가 이러한 솔루션을 설계하는 방법과 약속하는 바를 여행에 대한 나의 개인적인 경험으로 우리와 함께 여행 그런 다음이 시스템을 구축하여 정책과 이러한 정책이 어떻게 당신 같은 조직과 정부 그리고 나는 즐겁게 지내 왔습니다 처음에는 40 개의 다른 기관이있는 유엔에 압도당한 것처럼 놀랐습니다 AI 전문가로서 당신을 발견 할 때마다 당신은 회의는 하루에 5 번 같지만 조금 이기적이어야한다고 생각합니다

당신이 그 (것)들에서 또한 원하는 무슨과 지원의 종류에서 아주 명확하십시오 당신은 당신의 이니셔티브를 얻을 수 있지만 기술 제품이나 당신이 만들고있는 서비스이지만 어떻게 그것이 더 넓은 사회에 영향을 미치는지 자신의 종류의 데이터와 정보로 여정을 계획하는 정책 입안자 예를 들어 가정 폭력의 알고리즘으로 우리에게 제공하십시오 시민 사회 단체에 통찰력을 주면서 그들이 이해하도록 돕는다 이 잠재적 인 희생자가 매우 세분화 된 수준에서 도움을 청하기 때문에 나날의 디자인 개발 및 데이터 세계를 이해하고 어떻게 확장 할 수 있는지 생각해보십시오 이 시체들은 우리가 일상적으로 연구하는 데이터에 대해서도 말할 것입니다 특히 과학 프로젝트 또는 인공 지능 프로젝트는 이 알고리즘이 제공 할 효율성 또는 생산성 개선뿐만 아니라 사회에 미치는 영향이 크고 그렇습니다

자선 사업을 통해 놀라운 성과를 내고있는 조직 바이어스의 잠재력과 기존 사용법이 많이 있으며 AI를 사용합니다 같은 조직 내에서 잘못된 목적으로 그것을 깨닫고 그 회사들이 Chrissie에 대해 설명하도록 당신이 가진 것들의 유형에 대한 새로운 해결책을 찾는 과정을 지적하십시오 정부의 제 3 섹터에 개입하는 것에 대해 기관 당신이 또는 아마 측면에서 필요합니다 조직의 유형 규모를 키우면서 중요한 공공 정책 문제에 대해 이야기하는 경우가 많습니다 하이테크 기업들은 스스로 또는 민주주의의 어떤 형태없이 해결할 수 없다 정당성은 아마도 당신이 그 대화에서 언제 뜨개질을 시작합니까? 개념을 증명할 때부터 매우 시작됩니다

미래의 우리 사회의 개념 증명 미래를 구축하기 전에 비디오에서 언급 된 어린 소녀는 괴짜는 나 자신을 좋아한다 다른 사람들과 협력해야한다 배경을 설명하는 방법을 찾는 것이 어렵습니다 같은 언어지만, 정말로 이해할 수있는 사람들과 일하지 않으면 문제는 더 큰 대행사를 얻는 올바른 솔루션을 만들 수 없습니다 참여 함 저는 아직 내 자신의 학습 경험을 겪고 있습니다

남아프리카 공화국 어떻게 그걸 땅에 떨어 뜨려서 그러한 중요한 공공 정책 문제에 대한 문제로 우리는이 문제에 직면 해있는 사람들로 시작했습니다 나는 개인적으로 요하네스 버그에 수백 명의 여성과 남성들과 이야기했다 가정 폭력은 다양한 형태로 폭력에 직면 해 있으며 패턴 나는 또한 내가 시도하려고 시도 할만큼 충분히 모르는 것을 배웠다 Psaltis 문제를 시작하고 해결하고, 다음으로 나는 활동가들과 파트너가되었습니다 정책 세계를 이해하는 사람들과 이런 나라의 정부의 복잡성 투명성과 함께 당신의 동맹국을 찾고 말하기를 배우는 것이 중요하다고 말하십시오 동일한 언어를 사용하고 장점과 이점을 가져올 수있는 방법에 대해 생각하십시오

그들의 세계가 클레어 데이터에 너무 감사드립니다 이 전체 논쟁의 중요한 부분은 목표가 데이터 기반이라는 것입니다 지속 가능한 목표에 의해 전개 된 것을 향한 진보가 도움이 될 것입니다 데이터에 대한 이해를 통해 귀하의 회사가 당신의 접근 방식이 틀림 없다는 것을 의미합니다 목표를 제비와 다른 점을 시작하는 절대적으로 장소 동등하게 가치가 있지만 완전히 잊혀진 유엔 협약의 그들에게는 그들이 특정한 목표를 가지고 있다는 숫자가 첨부되어 있습니다

모든 것이 좋았다면 많은 유엔 협약이 하지만 우리가 멋지다는 의미를 정의한 다음, 우리는 실제로 거기에 도착하고 있습니다 그리고 그것은 scg가 만들어지는 데이터입니다 정말로 그리고 이것들을 협상하는 과정에서 흥미로운 점은 무엇입니까? 지속 가능한 개발 목표와 특히 이전의 밀레니엄 개발 목표는 아마도 당신은 어쩌면 다소 늦은 경기를 인정할 것이지만 SD G가 협상 중임에 따라 유엔과 그들과 협상을 시작한 정부는 데이터가 의미하는 것은 분명히 뭔가를 의미하게 될 것입니다 MDG의 맥락에서 SDG의 맥락에서 다른 점 이전에 데이터가 수집 한 데이터를 의미합니다 정부 공무원들이 클립 보드로 나가서 묻는 것을 알면서 당신은 5 년에 한 번씩 몇 가지 질문을 던집니다

이제 우리는 우리가 생산하고있는 데이터에 익사하고 있음을 알고 있습니다 나를 필요로하지 않는다는 것을 알고 있습니다 이 방에있는 모든 사람들이 내가 우리보다 낫다는 것을 당신에게 알리기 위해 절대적으로 생산량은 항상 엄청난 양의 데이터를 알고 있습니다 SDG의 일을 훨씬 쉽게 만들어야한다 우리는 SD G에서하고 있습니다

하지만 우리는 할 수 있기 때문에 SD DS에 몇 년 동안 현재 상황은 우리가 여전히 그렇게하지 않는다는 것입니다 유엔 회원국들은 뉴욕에 가서 어떻게 그들은 DG와 그들이하는 일 중 하나에서하고 있습니다 물론 일부 사람들에게는 빈곤에 대한 진전이보고됩니다 우리가 어떻게 끝내고 있는지 알고있는 가장 중요한 단일 지표 극심한 가난 우리가 무엇을하지 않을 지 많은 것들이 흘러갑니다 아마 그렇게 널리 알려지지 않을 것입니다 정부가 2/3 가난한 상태에서 어떻게 행동하는지보고한다

아프리카에 거주하는 사람들의 실제 사용 숫자는 SDG가 동의하기 전에 수집되어 트릭을하려고한다는 것을 알고 있었다 당신은 그들이 모델링 중이며 추정치와 모든 사람들을 사용하고 있다는 것을 알고 있습니다 그들이 가진 것을 가지고 최선을 다하지만 그럼에도 불구하고 우리 모두가 주머니에 휴대 전화를 들고 여기 앉아있을 때 약간 미친 그리고 우리는 항상 세계의 어딘가에서 오버 헤드를 날고있는 위성을 가지고 있습니다 우리는 여전히 이것에 의존하고 있습니다 당신은 오래된 데이터를 알고 있습니다

그래서 저는 제 조직의 첫 번째 일자리가 SGG에서 태어난 일종의 것이 세계 은행에 의해 유엔에 의해 세워지지 않았다 많은 정부와 기업 및 시민 사회 단체가 실용적인 솔루션을 함께 제공하는 파트너십 데이터를 사용하는 정부와 다른 사람들과 함께 목표를 모니터하고 우리가하고있는 일은 이 방과 밖의 모든 것이 최선의 것입니다 에 의해 상징화 된이 세계 최악의 문제를 해결하는 기술 지속 가능한 개발 목표는 첫 번째로 시간의 문제입니다 현재 SDG로 진행중인 작업을 추적 할 수 있지만 우리는 불가능합니다 그것은 우리가 두 번째 문제를 해결하려고하는 첫 번째 문제입니다

해결하려고하는 것은 사람들의 관심사의 문제입니다 그래서 영화에서 몰리 들었습니다 5 명 중 1 명꼴로 학교에 다니지 못하고 있다고합니다 우리는 아주 불완전한 증거에 근거하여 다시 추측하기 때문에 합리적으로 Kirra가 아닙니다 정말로 그 작은 아이들이 학교에 다니지 않아서 우리는 예를 들면 그 아이들의 상당수가 직감적 인 일종의 그들은 어떤 종류의 신체적 장애가 있거나 그것들을 학교 밖으로내어 놓아서 실용적인 감각을 발휘하는 병 학교에 가기가 꽤 어렵지만 거의 정부가 없습니다

얼마나 많은 아이들이 학교 밖으로 나가야하는지에 대한 신뢰할 수있는 데이터를 수집하고 있습니다 그런 종류의 장애 나 질병으로 인해 그 문제를 해결하기 위해 국제적으로 동원되어 5 개 중 하나를 얻는다 아이들은 학교에 들어가기 위해 가장 좋은 방법을 모릅니다 이유를 알려주는 데이터가 없기 때문에 우리에게 다시 알려줄 것이기 때문에 실시간으로 우리가하는 일이 잘 작동하는지 알기 때문에 두 가지 종류가 있습니다 데이터 및 SDG에 관한 문제는 한 건의 보도와 우리는 세계 각국의 파트너 정부와 협력하여 데이터 생산 및 데이터 사용을 연결하고 모든 것을 알게됩니다

의사 결정이 이루어지는 곳에서 실제로 데이터를 사용하는 것입니다 우리가이 방에서 가지고있는 놀라운 자원을 모두 사용하고 있습니다 그렇게 효과적으로 동원되고있는 세계 곳곳에 bye-bye 프로젝트를 모든 사람들과 다른 사람들이 최선의 효과를 거두고 우리가 아는 것 우리가하는 일이 일하고 있는지 여부는 클레어가 불완전한 그림에 대해 설명한 도전 과제를 통해 진전이 있었는지 또는 우리가 알고있는 것에서 가속화 할 필요가 있는지 지금까지는 다소 그렇습니다 나는 우리가 본 것을 생각한다고 생각합니다 일반적으로 진보의 그림 나는 당신이 내가 아는 것이 가능하다고 생각하는 것을 의미한다

어떤 경우에는 환경에 대한 지표 중 일부가 논쟁의 여지가 있다고 생각합니다 탄소 배출이 증가하고 있음을 우리가 알고 있음을 알고 있습니다 그러나 다른 한편으로는 우리는 퍼지에서 우리를 알고 있습니다 정보 웹 그것은 우리가 꽤 분명히 말할 수 있다고 생각합니다 엄마가 출산 중 죽어 가고있다

그 어느때보다 더 높은 소득으로 살고있는 학교 절대적으로 세계가 나아지고있다 실망스러운 것은 더 나은 데이터를 통해 더 빨리 개선 될 수 있습니다 2030 년까지 상황을 상상할 수 있습니까? 아니면 목표 중 하나가 어쩌면되어야할까요? 17 리차드 목표 70 지금 절반은 좋은 데이터이어야합니다 처음 17 개의 목표를 테스트하는 정말 중요한 방법이되어야합니다 당신은 우리가 어떤 지점에서 우리를 얻는 궤적을 볼 수 있습니까? 당신이 아마이 방에있는 사람들의 도움으로 완전히 해결할 수 있다는 것은 내가 떠나야 만한다고 생각하는 것을 싫어한다는 것을 의미한다 나는 개인적으로이 문제가 아주 풀릴 수 있다고 생각하기 때문에 2030 년까지 우리는 단지 그렇게하기로 결정하면 빨리 당신의 목표를 갖도록 내버려 둘 것입니다

그러나 우리는 그것을 3 년 목표의 종류로 만들 수 있습니까? 우리는 데이터 주위의 영역과 테스트 할 수있는 데이터를 수집해야 함을 의미합니다 어떻게 목표를 실제로 세우는 지 판단 할 수있는 방법 그들이 고의적으로 테스트 할 수 있었기 때문에 그것이 얼마나 중요 했는가? 데이터는 Claire가 말한 것처럼 다른 것입니다 단지 따뜻한 단어 일 수 있습니다 그렇습니다 공을 무너 뜨리는 것이 매우 중요하다고 생각합니다

사람들이 관심있는 주제에 집중할 수있게 해줍니다 당신은 워 아이 (War Child)의 친구들이 방금 특별한 파트너쉽을 맺었다는 것을 알고 있습니다 정부 기관 및 자선 단체와 거래하는 것은 8 점 7 점을 알고 있습니다 그걸로 제 제 탄원이었고 저는 이것에 관해 재클린에게 가르쳤고 이것에 대해 클레어는 정말로 작은 문제가 있다는 것을 알고 있습니다 문제가 아닙니다

어쩌면 당신이 모든 것을 시작하는 경향이 있고 데이터 사람들이 말하자면 모든 데이터를 가져온 다음 우리가 절대적으로 모든 데이터를 가져 왔으면합니다 우리는 그것을 상업적으로 이해할 수 있고 정치적으로 활발하게 만들 것입니다 그리고 내 걱정은 그것이 우리 모두를 필요로하고 그것이 매우 중요하다는 것입니다 데이터를 연구하는 사람들을위한 데이터에 투자하는 사람들도 우리가 앨범을 만들고 있다고 말하고 있지만 그 중 하나가 효과적 일 것입니다 사람들의 마음과 마음을 바꾸어 놓을 것 같은 일을 할 때 나는 유쾌하게 나는 심각하게 중요한 소식통의 밤에 갔다

영국에있는 뉴스 정보의 우리는 17의 목표있어 당신의 상사를 기억하고 우리가 3 명 이상을 다룰 수는 없다고 말했습니다 그래서 심지어 뉴스와 나는 3 명 이상을 다룰 수 없기 때문에 나는 말할 것이다 데이터를 수집 할 때 시스템의 일부분을 설정하려고 할 때 시장이 가장 빨리 얻은 결과는 내 강박 관념입니다 당신을 거기에 데려다주세요 당신의 팔은 어떻게 있고, 당신이하는 일은 어떻게 보입니까? 지속 가능한 개발 목표 및 귀하의 회사가 어떤 역할을하는 것을 볼 수 있습니까? 특히 확장성에 대한 개념을 중심으로 살펴 보았습니다

여기 몇 번이나 이미 동료들 사이에서 우리가 2030 년의 비전을 세우고 팔을 설계 한 이유가 바로 흥미로운 역할입니다 반도체 등 모든 분야에서 사용되고 있으며 모든 기술을 보유하고 있습니다 섹터와 그 의미에서 우리는 우리가 매우 중립적이므로 우리가 보았을 때 목표와 우리가 목표가 어디에 있는지 그들이 의미하는 바를 깊이 들여다 봅니다 우리 회사의 미래와 실현 된 기술의 미래에 대해 생각해보십시오 비즈니스 케이스의 대부분은 사람들이 왜 사고 싶은지에 대한 대부분의 이유입니다

인공 지능이나 사물의 인터넷은 실제로 그 목표의 어딘가에 자리 잡고 있습니다 찾기 힘들지 만 그곳에는 없기 때문에 왜 그렇게하지 않으실까요? 그들과 완전히 교제하고 깊이 생각하고 그 위에 그 (것)들이 모두 순식간에 부정적인 매체 반응의 종류를 가지고 있으십시오 과학 소설은 인공 지능과 주변의 스펙트럼의 종말을 종결 짓는다 우리가 공공 부문을 더 잘 보장 할 수있는 분야로 일하지 않는다면 그 기술의 긍정적 인 잠재력을 이해하고 실제로 시장은 훨씬 작아 져서 우리가 그들에게 생각해야 할 중요한 메시지가 있습니다 미래의 사업뿐만 아니라 우리 종의 미래 그곳에있는 우리 기업의 미래를 지구로 만들어라 박애주의에 관해서 나는 그것에 대해 긍정적 인 느낌을 가지고 있다고 생각합니다

지난 몇 년 동안 몇 가지 중요한 변화가있었습니다 Millennium Development Goals 정부 사업이 명시 적으로 제외되었습니다 우리가 사업에 참여하지 않았는지 여부와 상관없이 그건 네가 리차드를 가졌다는 부정적인 느낌이 있기 때문이다 당신이 그 사업을 만났을 때, 유엔 측 에선 대화가 많지 않고 엄청나게 바뀌었다 그래서 나는의 발전 과정에서 자문을 얻게되어 매우 자랑스러워했다

지속 가능한 개발 목표 및 기술에 관한 많은 논의가있었습니다 기술은 목표 내에 있어야하지만 목표는 모두 중요한 사회 문제 기술은 기술이 아니라 도구이며 도구가 점점 더 강력 해지고 있지만 기억해야합니다 그것들은 결국 그들에게 끝이 아니라는 것을 의미합니다 우리는 어떻게이 믿을 수 없을만큼 강력한 신기술을 17 개의 글로벌 목표를 뒷받침하고 지원하며, 무장 한 그 규모에 도달하면 모든 주머니에 존재한다는 비범 한 규모와 자동차와 가정 그리고 파트너십을 통해 어디에서나 2030 년을 창조했습니다 기술 회사를 하나로 모으고 우리가 할 수있는 일을 잘 생각하는 비전 그것은 정말로 흥미 진진한 작은 프로젝트가 아닌 단계적인 변화를 창출 할 것입니다

큰 프로젝트 일지라도 이것을 사용하여 실제로 촉매 작용을하기 위해 우리가해야 할 일 우리가 할 수있는 최상의 방법으로 기술을 개발했기 때문에 이 일을 할 수 있었지만 우리는 우리가 보여 주었던 것을 소집 할 수있었습니다 우리는 여러 회사를 함께 모일 수 있지만 2030 년을 돌았습니다 글로벌 목표에서 유엔 체제의 글로벌 비전 위원회는 유엔기구입니다 NGO들입니다 우리가 원하는 학계입니다

그것이 필요에 뿌리를두고 있으며 기술 회사가 거의 다 왔음을 확신합니다 그러한 필요를 충족시키고 이러한 기술이 얼마나 관련이 있는지를 보여주고 이 글로벌 펄스와 글로벌 펄스에서 우리 파트너 중 한 명을 인용하겠습니다 가서 진짜 재미있는 일을하고있는 모습을 보여달라고 촉구하십시오 그는 실제로 그것이 안개이고 기술의 안개 사용이 더 크다고 말했습니다 기술의 오용보다 위험이 있으며, 이것이 의미하는 바는 Robert입니다

커크 패트릭이 글로벌 펄스를 실행한다는 것은 그가 의미하는 바는 우리가 우리가 이익을 위해 그들을 사용하지 않으면 목표를위한이 강력한 기술 사회는 가능한 한 많이 그 사실이 더 큰 위험에 처해 있습니다 우리가이 디스토피아에 관한 공상 과학 소설에 대한 모든 관심을 미래를 위해 최선을 다해 기술을 사용하려고 노력해야합니다 긍정적 인 사용을 놓치지 말고 우리가 그것을 부문으로하고 정부가 새로운 기술을 어떻게 익숙하게 사용할 수 있는지 이해해야합니다 글로벌 목표를 달성하기 위해 목표를 달성하고 예를 완화해야합니다 위험하지만 우리는 너무 두려워해서는 안되며 모든 긍정적 인 것도 놓칠 수 있습니다

재클린에게 왜 그런 질문을했는지 묻는 비슷한 질문을해라 팔을 개발을 지원하기 위해 사업의 별도 부분으로 설정 또는 지속 가능한 발전 목표를 향한 여정 및 방법 당신은 모선 회사의 종류와 관련이 있으며 재클린은 회사는 물론 회사가 당신을 평소처럼 사업으로 묘사했을지 모르겠다 결정을 내렸지 만 우리는 별개의 문제가 아니 었습니다 회사 내에서는 확실히 자선 사업에 초점을 맞 춥니 다 다른 유엔 기관들과의 협력에서 우리는 유니세프와 함께 큰 부분을 가지고 있습니다

믿을 수없는 일을하는 혁신이지만 일상 생활과도 연결됩니다 비즈니스와 마찬가지로 우리는 AI와 윤리와 같은 것들과 우리가 할 수있는 것들을보고 있습니다 실제로 그것에 대해 생각하고 무의식적 인 편견과 같은 문제를 생각합니다 시스템에 구축 될 수 있으며 설계 프로세스 전반에 걸쳐 어떻게 그렇게 할 수 있습니까? 나는 세계적인 목표들 사이에 일종의 분열을 일으키지 않는 것이 중요하다고 생각한다 업무 또는 자선 사업 및 핵심 비즈니스 위험은 없습니다

어떤 설명의 적어도 별도의 엔티티를 설정하는 조건은 단지 하나의 것입니다 우리가하고있는 바로 비판에 대해 Google은 그 공간에서 우리가하는 일을 설명 할 필요가 있습니다 서로 분리되도록 의도되었으며 실제로 우리는 우리의 일부를 보았습니다 대부분의 최첨단 기술과 특히 데이터를 시도하는 것을 생각하려고 노력합니다 우리가 이것을 어떻게 사용하여 실제로이 중요성을 보여줄 수 있는지 생각해보십시오

여기 NGO를위한 기술 Jacqueline 어떻게 히트에 대한 Rich의 요점에 대해 이야기합니까? 싱글 앨범에 집중하지만 당신은 어떻게 할거야? 네가 네가 한 프로젝트 중 일부를 통해 우리에게 말했는지 결정해라 뒷받침 된 방법 당신은 그것이 무엇인지 결정하는 것을 보았습니까? 회사 내에서 우리는 당신에 대해 생각하는 많은 기술자들을 보유하고 있습니다 데이터를 사용하여 더 많은 것을 만들기 위해 그들이하고있는 기술 효율적인 시스템이지만 종종 직원들로부터 스파크가 발생합니다 자신을 아는 생각을하고 있지만 내가 같은 것을 사용할 수 있다고 생각하는 사람 데이터 센터에서의 모델링 접근법의 예입니다 예를 들어 최근 우리 AI 팀 내부적으로 데이터 센터의 효율성을 20 배까지 높일 수있었습니다

30 퍼센트까지 너는 나 같은 똑같은 인프라를 변화시키지 않는다 냉각 시스템 또는 파이프 중 어느 것이 든 스마트하지만 AI의 적용과 그 종류의 에너지 효율성은 경이로운 많은 시간 우리가 일하는 것은 개인으로부터 온다 응용 프로그램을보고 생각대로 googleorg로 적용하는 기술자 우리 제품으로 우리 회사와 함께하는 것에 더하여 생태계를 어떻게 도울 수 있을까요? 우리가 글로벌 콜을 한 이유는 우리가 모든 답을 맞히고 가장 좋은 아이디어를 모르거나 오지 않을 것입니다 우리 팀이 알고있는 최고의 팀을 통해 전 세계에 걸쳐 처음으로 지구상에있는 사람들

정말 소설 영리한 우아한 기술 솔루션을 생각하는 그 문제에 그들은보고 그들의 가족의 마을에서 그들의 네트워크에서 느끼기 때문에 우리는 공개 통화 방식을 사용하여 우리 모두가 여러분에게 무엇을 듣고 싶은지 말하십시오 당신은 당신의 아이디어가 무엇인지를 연구하고 있습니까? 그리고 우리는 우리가 본 것은 도미니크 당신이 우리에게 조금 이야기하고 리처드가 만져서 디지털 공공재와 어떻게하면 프로젝트의 유형을 살펴 보았는가? 지원과 그 확장 성 개념은 리차드가 친절하게 제안했다 생각은 유니세프라고 생각하거나 가장 많이하는 것입니다 그것으로 작업하지만 실제로는 유엔 이니셔티브 일 뿐이라고 생각할 때입니다 모든 기술 회사가 뒤처져있을 것입니다

모든 정부가 필수적인 툴킷이 무엇인지 생각해보십시오 21 세기에 효과적으로 운영되기 위해서는 무엇이 필요한가? 정부가 당신이 말하는 나라가 어느 나라이든간에 적정한 가격으로 적절한 품질의 툴을 이용할 수 있습니다 경쟁과 선택의 수준과 오늘날에는 존재하지 않는 것이 사실입니다 이것은 아주 초기 단계입니다 공개 문서조차 있다고 생각하지 않습니다

아직 디지털 공공재에 대한 작업이 진행되고 있지만 앞으로 진행될 것입니다 유니세프 (UNICEF) 팀을 통해 특히 열심히 노력하고 있습니다 다른 유엔기구들도 그 도구들이 무엇을 시도 하는지를 정의하고 시도한 다음 데이터가 어떻게이를 뒷받침하고 어떻게해야하는지에 대해 생각해보십시오 리차드가 앨범의 예를 생각하기에 그것을 지원하기 위해 분야로 그리고 다른 히트 싱글은 훌륭하지만 실제로 우리가하려고하는 것이라고 생각합니다 지금은 여전히 ​​밴드를 함께 넣어 꽤있다

의심의 정도가 너무 강하지 만 유엔은 분명히 오랫동안 움직였다 그가 비즈니스와 파트너 관계를 맺고 싶고 기술이있는 방법에 대해 아직도 우리가 테크놀로지에 대해 이야기하는 사람들을 보지 못한다는 의혹이 있습니다 현재 글로벌 기술에 대한 의구심이 조금 더 있습니다 우리의 데이터를 사용하면 유엔이 그 관계의 유형은 때로는 꽤 무서운 큰 일을 큰 일을 당신이 생각하기에 어디로 갈지 모르기 때문에 하이테크 회사에요 오용과 오용에 대한 귀하의 모범을 통해 아주 잘 묘사되었습니다

너와 적어도 내가 참여하고있는 대화는 모두 같은거야 누군가가 거기에 강한 노선이있다 그들이 어떤 윤리적 기준을 수립하고 있는지 확인하기위한 몇 가지 기술 투명성과 직원이있는 AI 애플리케이션을 개발할 때 더 큰 영향에 대해 그들이 무엇을 노력하고 있는지 아는 동시에 강력한 초점 도움이 될 수있는 솔루션을 확장하기 위해 이러한 도구를 SDG를 달성하고 난 당신이 유니세프에 대해 말한 것을 잠시만 기다려주세요 혁신 팀에는 UN 시스템 내에 몇 가지 놀라운 그룹이 있습니다 기술자를 데려 오는 방법을 설계 프로세스를 구축하는 방법을 이해합니다

함께 세계 식량 계획과 단위가 UN 시스템에서 내가 알아 차 렸던 또 하나의 공통 기준 수립 이제는 오픈 소스에 대해 더 많이 이해하고 있습니다 처음부터 새로운 프로젝트를 시작할 때마다 모든 기술을 시작하십시오 이러한 협력이 오늘날 어떻게 생겼는지에 대한 이해 그것을 낙관적으로 생각하고 기술에 대한 이해를 느낀다 Weald하지만해야 할 일이 많습니다 그렇습니다

이러한 기술 프라이버시 문제를 둘러싼 윤리적 문제 그리고 그것은 단지 특정 회사들뿐만 아니라 정부들에게도 감사드립니다 너 열렬한 질문들 여기에 신사가있어 그러나이 질문과 지적은이 엄청난 똑똑하다 몇 가지 약초가 똑똑하다

1 초 만에 마이크를 얻을 수 있을까요? 나 자신이 사랑스러운 새우가 될거야 내 이름은 스티브 파드마가 세계를 변화 시킨다는거야 SDGs를 해결할 지속 가능한 개발 은행을 창설하기 위해 우리는 정말 큰 아이디어를 기금을 모으는 데 어려움을 겪을 때가 있습니다 기금에 힘든과 내 질문은 기본적으로 SDGs는 매우 자주 장기 자금 조달 솔루션 및 위험 자본 제공 및 위험 자본 매우 부족한 공급 자금으로 인해 단기 수익률이 더 자주 발생한다 그래서 내 질문은 어디에서 I와 기술이 기본적으로 사일로를 가져올 수 있는지입니다 함께 장기간의 환자 자본 공급을 가능하게하고 그렇게 할 수있는 확장 가능한 모델의 정말 훌륭한 예입니다

처음부터 끝까지 제대로하고 있습니다 질문은 내가하고 싶은 말 중 하나가 이 방에있는 모든 사람들이 당신의 은행이 어디에 돈을 투자했는지 알아 내야합니다 돈을 빌려주고 연금이 무엇인지 알기 때문에 다음 몇 가지 일에서 발생할 수있는 급진적 인 것들 중 하나의 자금 조달 지속 가능한 투자 및 영향력있는 투자와 관련되어 있습니다 모두 보험 회사와 은행의 엄청난 압력을 가해 야한다 투자 회사가해야 할 일보다 좋은 일에 투자하는 것 행성이 나쁘다

만약 당신이 이야기하거나 당신의 직원들과 이야기한다면 우리는 얻는다 그들은 지속 가능한 연금에 있고 싶지 않을 것이며 젊은이도 없습니다 은행에 가입 한 사람은 클러스터 폭탄을 자금으로 조달하고 있다고 들었을 때 바람 농장보다는 오히려 트리오 DOS에 가게 해줘야 겠어 그게 아니라면 다른 은행에가는 것이 아니라 그들이하고있는 일을하는 것입니다 나는이 방에있는 모든 사람들이 그들의 돈으로 그리고 그들 회사의 돈으로하고 그것이 정말로 큰 필요와 그것이 우리가 모두 눌러야 만하는 것입니다

또는 다음에 투자자를 요청할 때 실제로 투자할만한 좋은 물건을 찾고 있습니다 뒤로 물러서서 팔과 화석 연료와 외설물을 아는 것을지지합니다 그리고 알코올 그래서 지금 누가 그것을 최선을 다하고 있는지 모르겠지만 나는 그것이 하나라는 것을 알고있다 앞으로 몇 년 동안 우리가 정말로 바꾸고 자하는 것들을 사용할 수있는 돈이 훨씬 더 많지만 위대한 리차드가 있지만 항목에 나는 여기 동료가 실제로 자금 조달 방법에 도움이 될 수 있을까? 우리는 어떤 종류의 네트워크를 만들 수 있으며 AI가 우리를 도와 줄 수 있습니다 나는 너에게 크림을 줄 것이다

너는 이걸로 우리를 도울 사람이다 그 도전을 받아들이고 웹을 할 응용 프로그램을 개발하고 싶어하는 다른 재정 상황을 알아 내기 위해 근근이 살아가고 있습니다 지원자 너는 후에 만날 수 있을까? 그냥 괜찮아 괜찮아 여기에 두 명의 사람들이 당신을 도울 것입니다

나는 데이터에 관한 한 가지 의미가 있다고 생각합니다 어떤 경우에는 더 나은 데이터를 가지고 투자 결정을 향상시킬 것입니다 위험성에 대한 인식을 감소시킬 것이기 때문에 사람들은 지금은 그렇지 않은 나라처럼 조금 두려운 것처럼 보입니다 좋은 장기 베팅은 실제로 놀라운 자원을 가지고 있습니다 환상적인 사람들 우리는 우리가 가지고있는 것들에 대해서 잘 모릅니다 더 나은 데이터를 가질 수 있다는 것은 투자에 바늘을 시프트하기 시작한 것입니다 전날 누군가가 잘 말하면서이 위대한 통계를 들었음을 의미합니다

업계가 중단됨에 따라 온도가 4 % 상승 너무 많은 위기에 대해 너무 많은 지불금이있을 것이므로 사람들이 존재합니다 실제로 다른 방식으로 투자를 검토해야합니다 지금부터 50 년 후에는 연금을받을 필요가 없습니다 선생님이 살 가치가없는 행성 선생님, 제 이름은로드 배너입니다 겉으로보기에 수십억 달러를 벌어 들인 성공적인 투자자들 이미 투자에 대해 얼마나 매력적 이었나요? 일반적으로 모든 사람이 한 가지 또는 다른 재정 프로젝트에 투자한다는 것입니다

그리고 다른 말로하면 돈을 넣고 돈을 벌면됩니다 당신은 우리가 Joyetech라고 불리는 프로젝트를 시작했습니다 돈을 넣고 기쁨을 누릴 수 있는지, 왜 돈을 벌 수 있는지 알아봐야합니다 IT 업계가 대체로 폭력을 행사하는 것 같지 않은가? 행성에 기쁨이 줄어들지 만 똑같이 쉽게 만들 수 있습니다 인류가 더 많이 움직여야하는 이유에 대해 즐거운 이유는 서부에서 우리는 그 부서에서 정말로 망쳐 놓은 것처럼 보입니다

나는 왜 구글 주주들이 행복하게되기를 바랄 필요가 있는지 전혀 알지 못한다 우리는 이익이 올해 내려 놓을 까봐 두려워하지만 우리는 당신의 팔 주주를 행복하게 생각하지 않고 세상에서 기쁨의 개념 나는 행복 해요 과학과 기술을 어떻게 활용할 수 있는지 알고 있습니다 매혹적인 행복 문학은 지금과 행복이 일어나고 있습니다 연구와 기쁨에 기반한 연구는 인간으로서 우리가 할 수있는 것을 알고 있습니다

어떤 과학적 연구에서 나온 것 중 가장 중요한 것이 무엇인지 짐작하십시오 당신의 삶에서 기쁨을 더하는 법 너의 관계를 관대하게 깊게 만들어서 리차드와 모두가 다 알고있는 프로젝트는 실제로 우리 모두를위한 사고 방식입니다 우리 인류와 우리의 관계와 우리의 투자에 대해 생각해보십시오 인적 자본의 인간 관계와 나는 그것이 아이러니 중 하나라고 생각한다 그 일을하는 것이 실제로 우리 자신의 행복을 증가시키는 것입니다

기쁨을위한 데이터를 얻기가 어렵습니다 왼쪽 네, 네 고마워, 네, 네 질문에 대한 답변에 내가 스티븐 펀 G9 의장은 전세계 억만 장자 집단이며 20 년 동안 우리가 해왔 던 일들은 좋은 일을하기위한 자본과 단지 몇 가지가 있습니다 첫 번째 관찰은 사람들 안에 절대적으로 거대한 식욕이 있다는 것입니다 누가 응용 프로그램입니다 성취를 찾기 위해 엄청난 돈을 벌었어요 자신의 기술을 열정이 넘치는 곳으로 가져 가서 돈 벽 특히 충격으로 놀라운 기술 아이디어를 지원하는 데 사용할 수 있습니다

의제는 절대적으로 거기에 우리가 수십억에 그것을 계산할 수 있습니다 수백억의 문제는 가족들이 그들 주위에 거대한 벽을 꽂는다는 것입니다 나쁜 아이디어와 쓸모없는 아이디어와 영향을받는 세계는 믿을 수 없을 정도로 단편적이어서 아이디어와 사물은 한 나라에서 한 천재 씩 발전하여 다른 나라에서도 행해지고있다 또 다른 천재에 의해 정신 에너지가 낭비되고 기술에 있다고 생각합니다 Google이 여기에서 알고 있다고 말하는 종류의 아이디어는 우리가 찾고있는 SDG 문제입니다 솔루션과 거의 나는 기술자가 아니라 일종의 hackathon을 만드는 것입니다

지적 자본의 집단적 마음이 이 종류의 방에서는 히트 기록에 초점을 맞출 수 있습니다 그것이 누락 된 부분은 프로젝트 별 일방적 접근 방식입니다 자본이 절대적으로 배치되기를 기다리고 있다고 생각함으로써 생각하기 하지만 우리는 3000 명의 비디오와 Richard II 앞에 사람들을 붙일 수 있습니다 Dibley의 Vicar와 유명한 일종의 인형 내 가족 전체가 나를 괴롭히는 빈곤의 역사에 관한 비디오 우리가 지역의 원인과 함께 3,000 개의 다른 비디오 앞에 가족을 붙일 수있는 눈물 또는 글로벌 원인의 절반은 울기 때문에 관성이 너무 커진다

많은 선택이 너무 큰 거래이므로 비전의 특이성이 필요합니다 해결해야 할 구체적인 작업이 필요하며 그 때가 언제입니까? 돕기 위해 기여하고자하는 사람들의 글로벌 커뮤니티를 얻을 수 있습니다 절대적으로 투자 될 수있는 해결책을 찾으십시오 프론트는 그 리차드에 대해 그 개념에 대해 지적하고 싶다 처음에 분무 화에 관해 언급했기 때문에 모두가 자신의 일을 조금만 할 수 있습니다

훌륭 할 수 있지만 선택의 폭이 너무 큽니다 내가 돈에 관심이 많으므로 여기에 대화가 거의 없다 장벽과 변화를 가져 오는 것들과 당신이 당신은 구글이 정말로 흥미있는 아이디어인지를 안다 이 방에있는 모든 사람들을 데리고 그들이 가지고있는 생각을 종합해라 파트너십에서 가장 좋거나 개별적으로 최고로 보이는 것 투자를 추구해야하는 사람들보다는 투자 그 자체가 흥미 롭다는 것을 의미합니다

우리가이 패널에서 꺼낼 수있는 한 가지 큰 행운입니다 그렇습니다 예 모두 여기에 아줌마 예 예 둘 다 사실 예 안녕하세요 티나 feegan 내 질문은 우리가 지금 정해 놓은 정치 환경에 대해 저는 정말로 토론의 부족과 지식의 부족에 대해 정말로 걱정했습니다 우리는 여기서 우리가 brexit 토론을 가지고 있다는 것을 의미합니다 문제가 발생했습니다

미국의 트럼프와 나는 평범한 사람들도 가지고 있다는 것을 알고있다 너무 많은 정보가 너무 많은 정보가 너무 많아서 감정적이지 않습니다 우리 중 누구에게나 연결되므로 제 2 차 세계 대전 중 궁수를 만들어 특정 정보를 커뮤니티가 당신이해야 할 일이라고 말하면서 리처드에게 전화하는 것이지요 정보를 얻을 수있는 뭔가를 해 주실 수 있습니까? 지금은 충분히 신경 쓰지 않기 때문에 관심을 가질 수 있습니다 나는 정치인들이 우리를 실망시키고 있다고 걱정한다

그것은 매우 복잡한 질문이라고 말하지만 그것은 재미 있습니다 며칠 전에 Adelman 지수를 발표 한 회사를 운영하는 당신의 가장 신뢰할 수있는 단일 엔티티는 귀하가 근무하는 회사입니다 약 73 %의 사람들이 근본적으로 자신의 회사가 권리를 행사할 것으로 기대합니다 나는 사람들이 점점 더 자신의 회사를 선택할 것이라고 생각합니다 그들이 유니리버가 재미있는 일을 제대로하고 있다는 사실 그들이 같은 직업에 대해 광고를했던 실험

유니버설 레버를 강조했다 지속 가능성 측면에서의 명성과 다른 특혜와 특혜 70 % 더 많은 사람들이 그들이 가고 싶다고 말했습니다 그 일의 의미 때문에 직업은 우리 모두를위한 것이라고 생각합니다 우리 회사와 회사를 대변하는 것으로 시작해서 그것이 의미하는 것은 당신이 얻을 수있는 가장 신뢰할 수있는 정보입니다 귀하의 고용주로부터받은 사실과 그들이하는 일이 어디에 있는지 위대한 그것은 매우 단단한 네 번 여자 거기에 신사가 매우 환자 뒤로 그들은 아직 한 번만 더 여기 예

내 이름은 Leila Shelton Merrick입니다 부족 영향 자본 (first impact independent capital)이라고 불리는 회사의 파트너 영향에 중점을 둔 자산 관리 사업 우리는 SDG를 프레임 워크로 사용합니다 고객이 실제로 재정 목표를 달성하는 것뿐만 아니라 우리가 scg를 탐색하는 데 도움이되는 핵심 사항은 가치 체계입니다 SDG의 근간을 이루고 있으며, 내가 본 가장 큰 문제 중 하나라고 생각합니다 지난 20 년 동안 우리 산업에서 일 해왔다

자산 소유자와 자산 보유자 간에는 분리가 있습니다 이를 만들어 강력한 도구로 사용하여 변경하고 탐색 할 수 있습니다 목표는 우선 순위가 어디인지 파악하기가 매우 어렵습니다 제 생각에 기본으로 돌아가서 그 레이어를 떼어 내면 양파와 진정한 종류의 가치 체계 신념 체계에 도달하고 리차드가 내 돈이 어디에 있는지 말하고있는 것 같아 오늘하고있는 곳이 어디에 앉아 있니? 당신이 할 수 있기 전에 감정적 인 측면의 종류로 다시 가져 오는 프레임 워크 실제로 그 신사 숙녀 여러분 각자의 두뇌에 돈이 흘러 들어가는 것을보십시오

우리에게 당신이 좋아할만한 것을 하나 꺼내주는 패널의 잠재 고객을 끌어 들이고 세계를 지원하는 관객 지속 가능한 발전 목표는 모두에 관한 것이지만 간단히 말해서 우리는 시간이 지남에 조금 있지만 이것은 매우 중요합니다 제 이름은 에즈라입니다 대마초 나는 작가 야 나는 돈에 대해 언급 한 것을 들으려고한다 기술이 본질적으로 사회적인 문제가 아니라 문화적 현상과 그 매우 제한된 세트에서 명백한 아이디어는 언어의 집합과 매우 우리가이 문제들에 관해 이야기 할 때 사용하는 은유들

나는 우리가 힘을 볼 수 있다는 것을 의미한다 은유의 리차드가 앨범과 히트 곡을 몇 분 안에 언급했다 3 ~ 4 명이 패널에 도전하는 것을 반복했습니다 우리는 무엇을 할 수 있습니까? 진정으로 우리가 이야기하고 생각하는 방식의 다양성을 증대시킨다 내가 생각하는 이러한 이슈들은보다 전통적인 방식의 다양성을 가능케 할 것이다

번영하기 위해서 우리는 우리가 생각하는 방식으로 너무 동질이 있습니다 이 물건 돔 나는 우리가 예배 경향이 있다고 생각하지 않지만 나는 그것이 어디에 있다고 생각한다 글로벌 목표는 정말로 도움이 될 수 있습니다 나는 그것이 사회적으로 중요하지 않다는 것을 의미하지는 않는다고 말했다 그것은 결국 수단이되어야 함을 의미한다

너무 자주 은색 총알로 보입니다 당신이 가진은 총알이 아닙니다 사회 문제를 생각하는 것이 거의 틀림없이 당신은 들었지만 기술 분야의 세계적인 목표는 그 다양성을 현실로 만들어주기 때문에 혁신을위한 환상적인 렌즈 다양성을 자신의 입장에서 생각할 때 다른 나라의 다른 누군가 다른 나라의 누군가 다른 인프라 스트럭처의 다른 문제와 그것을 통해 당신은 당신의 안락 지대에서 벗어나야하며, 그렇게함으로써 혁신적 일 가능성이 훨씬 더 높습니다 그런 다음 기존 사업에 적용될 수있는 아이디어가 있으므로 혁신에 대한 글로벌 목표를 생각하여 고무시켜야합니다 혁신은 여러 가지 방식으로 사물에 대해 생각합니다

그 생각의 다양성은 정말로 유용한 포인트입니다 좋아, DOM과 나는 내 오른쪽에서 여기로 갈거야 이 청중 들께서 정말로 생각해 보시길 우리는 이미 재단 기금 모금과 기금을 필요로하는 사람들과 어떻게해야 하는가? 당신은이 청중들에게 제가 생각했던 것과 비슷한 것을 잘 생각하고 싶습니다 너가 그들을 보지 않으면 나는 진짜로 의미한다고 생각한다

글로벌 목표를 자세하게 살펴보고 자신이 무엇인지 파악하십시오 자신의 회사 또는 기술 또는 자체 기술 설정 방법에 대해 생각하려고 시도합니다 그 (것)들을 달성하고 그 후에 누구를보기 위하여 돕기 위하여 적용될지도 모르다 외부와의 협업을 통해 누구와 협력 할 수 있는지 직장 동료의 사일로 밖의 즉각적인 섹터 또는 특정 전문 분야 및 목표에 대한 자신의 생각을 어떻게 확장 할 수 있는지 알아보십시오 다른 사람들과 협력하고 협력 해 주셔서 감사합니다 Dominic Chrissie Reid 글로벌 목표 문서 나는 그것이 매우 강력하고 이 엄청난 도전 각각을 하위 목표로 분해합니다

문서는 매우 중요합니다 기술자가되면 어떤 제품을 만들고 있는지에 대해 스프린트를 할 수 있습니다 또는 개발중인 서비스가 잠재적으로 오용되거나 손상 될 수 있습니다 사회와 그들이 어떻게 사용할 수있는 목표 중 하나에 맞춰 괜찮아 그래서 인공 지능 이벤트이며 데이터는 인공 지능의 원료입니다 AI 제품을 구축하면 해당 제품에 영향을 미치는 데이터에 대해 생각할 수 있습니다

누가 그 안에 있는지 생각해보고 그것에없는 사람에 대해 생각해 볼 수도 있습니다 그 제품이 어떻게 사용될 것인지 또 다른 반쪽 생각을해라 당신은 누가 실제로 그 제품을 사용하여 누군가의 삶을 더 좋게 만들고 그들로부터 생산에 참여하도록 노력하십시오 매우 감사합니다 클레어, 바로 당신 모두에게 초능력이 있습니다

커뮤니티는 기술과 접근성, 사고 방식 및 혁신적인 접근 방식을 가지고 있습니다 저것은 필요로하고 나는 진짜로 우리들을 돕는 것일 것이라고 생각한다 이러한 목표를 성취하여 권력을 믿으라고 촉구하십시오 브라이언 스티븐슨 (Brian Stevenson)이 소매 다이빙을 시작한다고 말하면서 가까이에 도착해라 그 문제에 문화적 경계를 깨고 비영리 단체 또는 유엔 기관이 당신이 알고있는 일선에서 사람들로부터 배웁니다

겸손을 실천해야하지만 당신은이 놀라운 것을 가지고 있습니다 초능력이 필요하고 우리는 당신이 없이는 목표를 달성하지 못할 것입니다 고맙습니다 재클린과 리차드가 너를 데리고 나간다 좋은 말을하는 청중은 내가 정말로 말하고 싶은 것은 우리가 기금 모금 자로서의 나의 뿌리는 이것이 긴급한 흥미로운 주제는 아니다

주제와 중요한 주제를 다룰 때 언제든지 노력하고 기억해야합니다 매우 작고 매우 지루하고 매우 상세하게 살아있는 것들 스테이크와 그게 당신이 정말로 싸우고있는 것입니다 어떤 어린이가 오염으로 인해 죽어가는 것을 막으십시오 허리케인의 긴급 상황으로 수십만 명이 목숨을 잃었다 고 주장합니다 당신은 사막의 퍼짐을 막으려 고 노력하고있는 굶주림을 멈추려 고합니다

당신은 물 속에있는 질병으로 죽어가는 아이들을 막으려 고합니다 너와 나, 그리고 우리 아이들과 정확히 똑같은 사람들에 대해서는 그대를 도울 때 도움이 될만한 문서를 왜곡하십시오 우리 공통의 인류의 절대적 일부이며 이러한 목표에 관한 한 가지는 그들은 국가 정치 이상이며 그들은 국가 정치에 대한 답변입니다 비상 사태는 사람들이 잘 비상 사태를 정리하자 이러한 지역의 정치적 어려움을 겪고 나서 목표에 착수해야합니다

그 목표는 그 자체로 해결책을 제공 할 것이다 우리가 상대하고있는 비상 사태와 위기 때문에 지금 할 수 있으면 감사하고 대단히 감사합니다 감사합니다 패널에 보내 주셔서 감사합니다

Reusable Execution in Production Using Papermill (Google Cloud AI Huddle)

[음악 재생] MATTHEW SEAL : 멋진 소개 주셔서 감사합니다 여기 와서 얘기하고 얻을 수있어서 기쁘다

우리가 작업 해 온 것에 대해 오픈 소스 커뮤니티에서 우리가 어떻게 공동 작업하는지 Google 클라우드 팀과 당신이 방에있는 디자이너라면, 내가 잠깐 눈을 감으니 프레 젠 테이션 신성 모독 우리는 거기에 갈 이제 열 수 있습니다 우리는 새로운 사이트 집합에 있습니다

오늘 여기에서 저는 조금 이야기 할 것입니다 노트북 주변의 주제에 대해 설명하고 조금 설명합니다 어떤 노트인지, 그들이 무엇인지, 그런 다음 어떻게이를 사용하여 노트북을 더 가까이에 배치했는지 프로덕션 도구로 보내고이를 호출 할 수있는 기술 제지 공장 그래서 저는 저를위한 바이오 인트로가 이미 존재했다고 생각합니다 넷플 릭스의 대형 데이터 오케스트레이션 팀에서 일하고 있습니다

그리고 이것이 정말로 제가 잠시 후에 설명 할 것을 의미합니다 그리고 네 한 번 전에이 얘기를 했어 그래서 희망을 갖고 이것은 정말로 좋게 될 것이다 그리고 우리는 잠수 할 수있을 것이다

사물에 조금 더 깊게 그리고 나중에 모두와 연결하고 볼 수있어서 기쁩니다 너의 생각은 어때? 시작하기 위해, 우리는 조금 이야기 할 것입니다 데이터 플랫폼 팀은 무슨 일을합니까? 이것은 놀랍게도 신비한 일입니다 심지어 데이터 플랫폼 팀 때때로 회원들

그래서 나는 약간의 윤곽을 줄 것이다 Netflix에서 데이터 플랫폼 팀이하는 일 따라서 데이터 플랫폼 팀은 실제로 이러한 도구와 서비스를 자신의 일을하는 사용자의 방해가되지 않도록하십시오 그래서 당신은 왼쪽에 물건이 있습니다 슬라이드의 여기에 이벤트 나 사용자가있을 수 있습니다

입력 또는 시스템 메트릭과 큰 데이터라는이 모호한 아이디어에 기여합니다 모든 데이터가 수집되고 어떻게 든 필요합니다 비즈니스 결정을 내릴 최종 결과를 얻으려면 보고서 주변 또는 개인에게 정보 전달 또는 AI를위한 데이터 모델 만들기 그리고 하루가 끝날 때, 사용자 할 수 있기를 원해 데이터 엔지니어 또는 기계 학습 개발자로서, 그들은 이러한 결과를 만들기 위해이 데이터를 사용할 수 있기를 원합니다

Netflix의 데이터 플랫폼 서비스 도구를 만드는 것에 관한 것입니다 이러한 사용자가 자신의 업무를보다 쉽고 쉽게 수행 할 수 있습니다 그래서 우리는 많은 통합 작업을 수행합니다 다양한 시스템과 플랫폼 및 도구 그래서 그들은 사용자의 존재를 방해하지 않는다 그것을 성취 할 수 있습니다

따라서 데이터 플랫폼 팀이 무엇인지, 문, 그냥 그 문이 아니야 오늘 내가 말할 모든 것들 실제로는 오픈 소스 프로젝트입니다 이것이 Jupyter 오픈 소스 생태계를 둘러싼 것입니다 및 합류 생태계 그들은 둘 다 노트북 주위에 다른 도구를 만들고 있습니다

그리고 그들은 상호 호환성이 있습니다 그것들은 전체적으로 다른 프로젝트가 아닙니다 그리고이 모든 것들이 공헌되었습니다 Netflix 및 Google Cloud에 의해 통합 제공 플랫폼으로, 도구로, 또는 모든 사람에게 일반적인 유용성을 제공합니다 매우 빠르고, 얼마나 많은 사람들이 노트북이 무엇인지 알고 있습니다

노트북을 사용 했습니까? 얼마나 많은 사람들이 Jupyter 노트북과 다른 노트북은 무엇입니까? 시원한 우리는 네 명이있어 그래서 저는 조금 이야기 할 것입니다 차이점이 있습니다 그리고 노트북을 사용하지 않은 당신을 위해, 무엇을 도대체 그들이 뭐야? 그래서 가장 기본적인 맥락에서 노트북은 – 인터페이스와 같은 것을 보게 될 것입니다

[INAUDIBLE] 이것은 노트북입니다 기본적으로 제공하는 인터페이스입니다 코드와 문서의 세분화 된 덩어리 보내고받은 로그 일부 원격 [INAUDIBLE] 또는 로컬 REPL로부터 그래서 너는 엔진을 가지고있어 코드를 실행하거나 문서 요청을 실행하는 방법 어떤 일이 일어 났는지에 대한 표시와 결과를 되돌려 줄 수 있습니다

여기이 예제에서는 정말 기본적인 노트북이 있습니다 이미지를 가져 오면 이미지가 나타납니다 노트북에서 이미지를 렌더링하려고합니다 그런 다음 일부 텍스트를 인쇄하십시오 정말 근본적인 것들이지만, 당신은 이 코드와 실행 그룹을 볼 수 있습니다

멋지고 흐르는 방식으로 그리고 이것을 다른 인터페이스로 볼 수 있습니다 노트북 용이지만 똑같은 기술입니다 이것들은 모두 Jupyter 노트북 인터페이스입니다 특히이 기술을 사용하면 얻을 수있는 이점 코드 로그, 문서, 실행 결과는 모두 동일한 문서에 저장되며, 이 문서는 다른 사람들과 공유 할 수 있습니다

이것은 iterative 개발에 정말로 유용하다는 것을 의미합니다 동료들과 결과를 공유하는 것이 매우 편리합니다 다양한 API 호출을 통합 할 수 있습니다 하나의 중심부에 잘 형성되어 있습니다 이 페이지의 내용에 대해 조금 설명해주십시오

그게 무엇을 상징합니까? 그게 무슨 뜻이야? 따라서 상태 또는 저장과 같은 것들이 있습니다 오른쪽 상단의 표시기 또는 연결에 대한 설명 커널에 실제로 코드를 실행시키는 것입니다 표준 메뉴 항목이 있습니다 여기에 코드 셀이라는 것이 있습니다 그래서 제가 설명한 것은 코드 셀입니다

그것은 텍스트를 나타내는 청크입니다 특정 언어 또는 프레임 워크의 코드 Jupyter Notebooks는 실제로 언어에 구애받지 않습니다 대부분의 시간 동안 당신은 그들을 볼 것입니다 아마 파이썬에서 가장 인기있는 커널 유형

여기에는 기본적인 파이썬 코드가 있습니다 어쩌면 모델에로드하고 내 모델에 있다고 주장 할 수 있습니다 그것의 어떤 버전 그리고 나서 아마 그 모델에서 뭔가를 끌어 내고 싶을 것입니다 그것을 표시하십시오

따라서 노트북에서 정말 유용한 두 번째 부분 데이터 또는 그래프 또는 이미지를 표시하는 기능입니다 또는 같은 장소에서 HTML을 바로 사용할 수 있습니다 점프 할 필요가 없도록 코드를 정의합니다 시스템간에 결과를 볼 수 있습니다 노트북에 관한 또 다른 멋진 이야기 하나의 셀만 다시 실행할 수 있습니다

그래서 그들은 상태를 추적합니다 실행하면 선형으로 모든 것을 연속적으로 실행할 수 있습니다 우리가 나중에 할 것 인 것처럼 아니면 iterating하고 알아 내려고하는 경우 실제로 얻으려는 디스플레이가 어디에 있는지, 당신은 그것을 찾아보고, 셀을 돌릴 수 있습니다 실패 할 경우 변경하십시오

셀을 재실행하십시오 모델로드를 재실행 할 필요가 없습니다 이전에 세포에서 일어났습니다 이미로드되었고, 당신은 단지 반복하고 있습니다 라이브 코드 세션에서

우리는 이미 여기서 승리를 거두었습니다 하지만 주로이 친숙한 인터페이스입니다 데이터 탐색 및 문제 탐구에 사용됩니다 그럼이 일은 어때? 그래서 Jupyter 공간에서 독립적입니다 다른 유형의 노트북 중 Jupyter 공간은 실제로 실제로 프로토콜 정의에 관한 것입니다

코드 간 통신 방법 그녀와 프런트 엔드 또는 클라이언트를 실행하십시오 실제로 이것을 실행하려고합니다 그래서 당신은 이런 것을 얻을 것입니다 왼쪽 상단에 일부 사용자가 있고 그 사용자 – 예, 왼쪽 상단도 마찬가지입니다 따라서 사용자는 왼쪽 상단에 있습니다

그리고 그들은 모두 일종의 Jupyter UI를 사용할 것입니다 그리고 그들은 문서를 가지고 있습니다 노트북 그런 다음 UI를 통해 상호 작용합니다 코드와 통신하는 Jupyter 서버 executor가 커널을 호출했습니다

그리고 기본적으로 요청을 앞뒤로 전달합니다 커널을 통해 그리고 나서, 커널에 프로토콜이 있습니다 다음과 같이 다른 UI 또는 인터페이스의 모든 클라이언트 자신의 디스플레이로 같은 것을 할 수 있습니다 그와 다른 노트북 사이의 차이점은, 잠시 뒤로 물러서십시오

다른 노트북에서는 자주 커널을 묶습니다 및 서버를 함께 사용합니다 그래서 그들은 클라이언트에게 API 계층만을 갖게 될 것이고, 그리고 그들은 당신이 실제로 어떻게 실행하십시오 이는 더 힘들어지고 어렵다는 것을 의미합니다 새로운 유형의 커널을 만들고 싶다면, 새로운 유형의 언어를 실행하기 만하면됩니다

또는 새로운 UI를 만들고 싶다면 여기에서 더 많은 것을 재발견해야합니다 커널과 UI API는 모두 독립적 인 단위입니다 그것은 모두 잘 사양입니다 그래서 많은 다른 맛을 볼 수 있습니다 우리가 오늘 말하고있는 것과 같은 UI와 확장 기능을 제공합니다

그리고 그것은 Jupyter 노트북 공간을 제공합니다 다른 노트북 옵션보다 많은 장점이 있습니다 그래서 우리는 이것이 왜 생겨 났는지에 관해 조금 이야기 할 것입니다 어떻게 사람들이 노트북을 사용하게 될지 궁금해합니다 특히 한 번도 사용한 적이없는 경우 누군가가 좋아, 정말 필요해

이 노트북을 생산에 사용하려면, 이게 뭐야? 어디서 왔어? 그것이 어디서 왔는지는이 능력이었다 데이터를 탐색하고 분석하여 결과를 찾습니다 따라서 데이터 과학자 워크 플로에는 매우 편리했습니다 로드하는 데 비용이 많이 드는 데이터를로드해야하는 경우, 그리고 모델을 반복해서 반복해야합니다 그리고 아마 내 최종 코드가 어떻게 생겼는지 모르겠다

어쩌면 내가 아직 해야할지조차 모른다 그래서 그것을 탐험하는 정말 좋은 방법이됩니다 매우 비싼 모든면을 재 계산할 필요없이 귀하의 코드입니다 그리고 이것은 이것이 특정 워크 플로에 대해 좋은 품질을 제공합니다 또한 출력을 녹음 할 수 있습니다

또한 도구를 수정하기도 쉽습니다 이 노트북을 다른 사람과 공유 할 수 있습니다 그들은 내가하고있는 것을 재현 할 수있다 그리고 그들은 그것을 가지지 않고 약간 수정할 수 있습니다 많은 시스템을 이해합니다

파일을 보내면됩니다 재현성이 있습니다 하지만 할 일이 많이 있습니다 시도에 좌절 한 엔지니어링 팀 스크래치 패드에서 개발 주기로 옮기기 실제 생산 시스템으로 그리고 이러한 것들 중 일부는 역사가 부족한 것입니다 실수로 셀을 편집하여 저장 한 경우, 그것은 당신이 편집 한 것을 말하지 않고, 때로는 실제로 한 일을 찾아내는 것이 어렵습니다

특히 브라우저 나 다른 것을 닫을 때 더욱 그렇습니다 그들은 전통적으로 테스트하기가 정말로 어려울 수 있습니다 그래서 누군가는 1,000 줄의 코드를 작성할 것이며, 그것을 벽에 넘겨주고 10,000 줄의 코드를 물어보십시오 이 제품을 생산에 사용하도록 요청하십시오 너도 마찬가지야

어떻게 작동하는지 또는 안정적으로 작동하는지 모르겠습니다 또한 변경 가능한 문서이기 때문에 항상 편집하고 있습니다 전통적인 UI에서 제자리를 찾는다 그리고 이런 의미에서 협력하기가 어려워집니다 그 문서를 편집하려고하는 두 사람 때문에 동시에 많은 문제가 발생할 수 있습니다

프로토콜을 확장하지 않아도됩니다 Netflix에서 한 가지 일은 이러한 격차를 메우려 고 노력하십시오 우리에게는 노트북을 사용하는 많은 사용자가있었습니다 우리가 본 것은 그 대신에 노트북을 사용하지 못하게하려는 사람들, 우리는 말했다, 좋아, 우리는 꽤 큰 숫자를 가지고있다 이 환경에서 일하는 것을 좋아하는 사용자 중 그들은 마찰과 고통을 많이 겪고 있습니다

이미 설치된 시스템으로 이동합니다 그래서 그들은 종종 재 작성해야했습니다 그들이 한 일이나 다른 누군가에게 다시 쓰게 한 모든 일 그들이 똑같은 패턴으로 다른 곳에서 한 모든 일 그들은 이미 해결했습니다 그래서 우리가하고 싶은 일들은 정말로 이 노트북이 그렇지 않다는 사실을 개선하는 데 도움이됩니다 버전이기 때문에 실제로 당신이 무엇인지 알아내는 것은 어렵습니다

특별한 시간에 뛰었습니다 그것들은 가변적 인 상태입니다 그리고 그들은 실제로 템플릿 화 될 수 없습니다 항상 인간이 UI에서 편집을해야합니다 변수를 다시 실행하여 변수를 다시 실행하십시오

매우 프로그래밍 방식의 패턴 그러나 우리가 정말로 보존하고 싶었던 어떤 것들 코드 바로 옆에 결과가 연결되어 있었고, 좋은 영상이 있었으며, 공유의 용이성 이것들이 장점이며, 우리는 그렇지 않습니다 그들에게서 멀어지고 싶다 그래서 우리는 오픈 소스에서이 라이브러리를 작업했습니다

papermill 그리고 제터 (GterHub) 프로젝트에 nteract라고하는 제지 공장이 있습니다 유틸리티와 도구가 한꺼번에있다 노트북 주변, 특히 Jupyter Notebooks에서 그리고 높은 수준에서이 방법으로 작동합니다

그것은 UI처럼 클라이언트처럼 실행되는 프로그램입니다 그리고 그것은 무언가를 입력으로 받아 들일 것입니다 일부 경로에 노트북, S3, 이 예와 같이 Google Cloud Store에서 로컬 파일 시스템에서 그것은 그 노트를 우선 순위를 매기고 실행할 것입니다, 그런 다음 출력 위치로 출력 할 것입니다 입력과 독립적입니다

그래서이 경우 우리는 아마도 4 개의 다른 런을 가질 것입니다 우리는 같은 노트를 네 번 실행 한 곳에서 뛰어납니다 매번 달리 달리기 그러면 코드에서 어떻게 보이나요? 그래서 실제로는 아주 간단한 인터페이스입니다 당신은 그것으로 정말 복잡해질 필요가 없습니다

여기서는 몇 가지 예를 들어 보겠습니다 Google Cloud 제재소 데모에 맞춰 제재소를 운영합니다 일부 입력 노트북 그리고 우리는 기본적으로 새로운 장소로 출력 할 것입니다 그리고 여기에서는 그대로 노트북을 그대로 달리고 있습니다

우리는 이봐, 우리는이 노트를 달리고 싶다 제재소는 어때? 실제로 전체 노트와 마지막을 실행하고 있습니다 처음부터 마지막 ​​세포까지 그리고 각 셀이 실행될 때 오류가 발생하지 않으면 그것은 다음 셀로 계속됩니다 각 셀이 실행됨에 따라 결과가 저장됩니다

출력 위치로 따라서 점점 더 많은 결과를 얻게됩니다 또한 실제로 일어나는 일을 로그 아웃 할 수 있습니다 약간의 중단이 있더라도 셀 또는 일부 하드웨어의 중간에서 죽습니다 하지만 이걸 실행하면 데모를 실행하고 우리는 데모를 가지고, Google 클라우드에 폴더가 표시됩니다 이 출력 실행은 매일 매일 한 번씩 실행됩니다

날짜를 출력 경로에 넣습니다 이제 실제로 당신은 무엇의 역사를 볼 수 있습니다 너는 매일 매일 뛰었다 입력 내용을 변경하지 않았습니다 사실, 당신의 산출물은 당신의 투입물로부터 분리되어 있습니다

그래서 당신은 좋은 불변의 보증을 얻는다 또한 버전 기록을 얻을 수 있습니다 당신이 일을한다면, 역사적으로 볼 수 있습니다 네가 실제로 실행 한 것 그러나 그것은 우리가 멈추는 곳이 아니기 때문에 아닙니다

우리가 할 수없는 것들은 우리가 갈 수 없다는 것입니다 인간처럼 편집하고 매개 변수 또는 변수를 변경합니다 그런 다음 노트북이 작동 할 것으로 기대하십시오 누군가가 우리에게 노트북을 줄 때, 우리는 실제로 그것을 templatize하는 능력이 필요합니다 추가 매개 변수입니다

이 경우에는 우리가 이 입력 노트를 실행하고 가장 할 것입니다 이것은 가고 어쩌면 중요하게 생각하는 노트입니다 특정 지역의 기기 별 클릭 수 어쩌면 들어 본 적이있는 웹 사이트 일 수도 있습니다 당신이 달리고있는 노트북, 여기에이 기본 매개 변수 셀이 있습니다 네가 어디에서 확인 할까?이게 내 기본이야

지역을 미국으로 설정할 수 있습니다 장치는 PC입니다 그래서 제가 제재소없이이 노트북을 운영한다면, 그것은 달리고, 말할 것이다, 헤이, 나는 가고있다 미국인 PC의 모든 것을 웹 사이트를 클릭했습니다 그러나 그런 다음 우리가 제지 공장에서 이런 식으로 매개 변수화 할 때, 지역 장치를 덮어 썼다는 것을 알게 될 것입니다 다른 코드 셀을 삽입하여 제지 작업 방식은 입력을 생성하는 것입니다

그 입력으로부터 코드 셀을 생성하고, 그것을 노트북에 주입하십시오 마치 사용자 입력이었다고 가정합니다 그리고 나서, 그것이 실행될 때, 당신의 결과는 실제로 코드로 쓰기 만하면됩니다 그래서 당신이 그것을 읽을 때,가는 것입니다 매개 변수를 말하는 주석이있는 셀이된다

그런 다음 시스템에서 주입 한 모든 매개 변수 사용자를 대신하여 또한 파이썬에서 이것을 실행할 필요도 없습니다 실례합니다 명령 줄에서 실제로 실행할 수도 있습니다 아마도 더 일반적인 패턴 일 겁니다

그것을 확장하려고하면, 당신은 파이썬에서 물건을 확장하고 싶습니다 하지만 여기에서는 똑같은 명령을 볼 수 있습니다 이 Google Cloud 노트북 입력 – 출력 경로를 어디에서 했습니까? 커맨드 라인에서도 똑같은 일을 할 수 있습니다 우리는 제재소를 CLI로 말하고 있습니다 그 다른 호출을 래핑합니다

그리고 매개 변수를 전달할 수 있습니다 JSON 형식의 모든 종류 또는 개별 키 값으로 사용할 수 있습니다 기술적으로, -y는 YAML을위한 것이므로 역시 YAML을 줄 수는 있지만 여기서는 JSON을 전달합니다 그럼 이걸 어떻게할까요? 실제로 명령 줄에서 호출하는 것처럼 보입니다 그래서 이런 식으로 될 것입니다

우리가 도망 간 명령을 실행합니다 너는 인쇄물을 볼거야, 이봐, 나는 여기에서 입력 노트를 붙잡고있다 나는 결과물에 갈거야 그러면 진행률 표시 줄이 보입니다 진행 상황이 인쇄되고있다

처리 속도에 따라 다릅니다 이러한 것들 중 어느 것을 구성 할 수 있습니까? 기본적으로 렌더링하고 싶지만 실제로 실행되는 것에 대해 몇 가지 기본 사항을 설명합니다 로그 모드로 설정할 수도 있습니다 각 셀에 대한 모든 로그를 출력합니다 그것을 셀에 저장하는 것뿐입니다

우리가 같은 결과를 도출한다면 Google Cloud에 무엇이 있는지 살펴보고 말하고 싶습니다 우린 방금 도망 쳤어 실제로, 우리가 거기에서 뛰어 내린 코드 정확히 동일합니다 기본적으로 정확히 동일한 코드입니다 그리고 저는이 제지 공장 데모 버켓을 가리키며, 당신은 우리가 결과를 볼 수 있습니다

입력은 분리됩니다 구운 이미지가 없었기 때문에 입력에 993 바이트가 있습니다 그리고 출력은 35 킬로바이트 원래의 노트이기 때문에 이미지를 인쇄하는 것을 보았습니다 그러면 이것이 어떻게 그림을 변화 시키는가? 후드 아래 툴링과의 상호 작용? 이 전체 스택을 대체하는 것처럼? 정말로 실제로는 다른 클라이언트입니다

Jupyter 커널과 대화하기 따라서 API와 동일한 프로토콜 및 사양을 따르고 있습니다 클라이언트 또는 다른 종류의 코드화 된 인터페이스 당신이 만들고 싶어하는 사용자 인터페이스를 만들고 싶습니다 그리고 Jupyter가 어떻게 이러한 좋은 스펙을 가지고 있기 때문에 REPL과 인터페이스간에 통신하려면, 제지 공장은 그러한 고객들처럼 행동하고 실행할 수 있습니다 따라서 실행되면 실제로 실행됩니다

커널 관리자를 시작하십시오 커널을 이름으로 찾아서 시작하고, 모든 코드를 실행하고, 그만해라 그리고 다른 유일한 차이점은 그것은 읽기 및 쓰기 – 우리는 하나의 자료를 읽고 결과에 글을 쓰고 있습니다 소스 또는 결과 목적지 아마도 어쩌면 개발과 조금 다릅니다

사이클 패턴 하지만 하루가 끝나면 항상 ipnyb 파일이 생깁니다 어떤 시스템에서든로드 할 수 있습니다 너가 무엇에 관하여 두건의 밑에 조금 더 깊게 보면 이게 실제로 생겼어

여기에 몇 가지 모듈이 있습니다 동기화와 소스가 있습니다 어떤 종류의 스키마 화 된 목적지가 될 수 있습니다 따라서 Google Cloud, S3, Azure, File과 같은 것들 시스템, [INAUDIBLE] ,, 모두 구운 것입니다 그런 다음 여기에 매개 변수를 입력하십시오

JSON과 같은 모든 종류의 값을 전달할 수 있습니다 그리고 그 연장들 그래서 당신이 더 많은 것을 맞춤화하고 싶다면 플랫폼에 따라 매우 쉽습니다 매개 변수가 전달되는 방식의 확장 그래서 당신은 테이블 참조와 같은 것을 할 수 있습니다 실제로 사용자를 대신하여 테이블 데이터를로드합니다

이것이 가능해진 다른 아이디어는 아이디어입니다 노트북 템플릿을 가지고있을 수도 있습니다 학습 알고리즘인데, 실제로 실행하는 방법을 조정하려고합니다 노트북을 실행하고 매개 변수화 할 수 있습니다 각 달리 달리

그런 다음 그 노트를 실행할 수 있습니다 문서화 된 결과를 시각화, 로그, 각 매개 변수에 대해 결과를 한 곳에서 확인 시작한 템플릿의 유사 콘텐츠 이것은 기계 학습 패턴을 위해 정말 편리합니다 템플릿을 가지고 싶어하기 때문에 조금, 패턴을 찾으십시오 하지만 그때 너는 어쩌면 뭔지 모르겠다 프로덕션 환경에서 실제로 사용해야하는 매개 변수 그래서 이것은 당신이 그 노트를 펼칠 수있는 방법입니다

다양한 매개 변수를 따라 다시 작성하지 않아도됩니다 그리고 최종 결과는 다음과 같습니다 어쩌면 혼란의 결과일까요? 매트릭스 또는 결과에 대한 다른 정확도 점수 그 노트북마다 있습니다 따라서 노트북 실행의 몇 가지 측면이 있습니다 이것까지 확대된다

그 중 일부는 우리가 다른 유형의 사용자에게 실제로 Netflix가 실제로 있었던 곳입니다 이 제지 투자의 일부를 타겟팅합니다 이전에는 데이터 과학자들이 멋진 반복을 가졌습니다 생산에 적합하지 않은 장소 그리고 지금, 우리는 실제로 이것을 확장했습니다, 이제 분석 엔지니어 및 데이터 엔지니어 점점 더 노트북을 사용하고있다

로깅의 이점을 얻을 수 있기 때문입니다 그들은 그들이하는 것을 연관시키는 이점을 얻습니다 결과로 실행 그리고 그들은 반복적으로 발전 할 수 있습니다 그들은 모두 비슷하게 보이는 반복주기를 가지고 있습니다

비록 데이터 과학자에게 이렇게 말하고 싶지만 반복주기 측면에서 가장 많이 관련되어 있습니다 그러나 이제 그들은 노트북을 개발할 수 있습니다 모든 다른 사용자 프로필 제지를 사용하고 플랫폼에서 스케줄을 잡을 수 있습니다 나중에 사람들을 프로그래밍 방식으로 실행하십시오 그래서 이것의 한 예입니다

여기에 슬라이드에 링크 된 블로그 게시물이 있었는데, Google Cloud에서 TensorFlow와 함께 제지를 사용하는 방법 GPU 인스턴스로 노트북을 실제로 실행하는 방법 또는 다른 유형의 구성 여기에 약간의 발췌 문장이 있습니다 슬라이드에 맞추기 위해 조금 짧게 잘라 냈습니다 블로그에는이를 실행하기위한 전체 코드가 있습니다 하지만 기본적으로 Google 클라우드를 실행하려고합니다

인스턴스를 사용하여 인스턴스 작성 호출을 계산하고, 그런 다음 GPU 수와 유형을 전달하게됩니다 그리고 나서, 당신은 또한 말하기를, 헤이, 내 시작 스크립트는이 제지 입력 경로입니다 출력 경로 그리고 어떤 종류의 매개 변수화도 여기에 추가 할 수 있습니다 당신이 원할 것입니다

그런 다음 Google Cloud에 인스턴스 삭제를 요청할 수 있습니다 다 끝났어 그리고 이것은 기본적으로 오케스트레이션을 만들었습니다 다른 하드웨어 세트 위에 노트북을 실행하는 경우, 액세스 할 수없는 하드웨어 포함 당신의 로컬 개발자 다른 하나는이 모든 오픈 소스 코드입니다

내가 보여주고있는 모든 것들이 독점적 인 것이 아니며, 벽 뒤에 숨어있다 Google Cloud 스토리지는 실제로 오픈 소스에 합병되어 누구에게나 쉽습니다 Google Cloud에서 도구를 사용하여 액세스 할 수 있습니다 S3와 Azure도 비슷한 이야기입니다 다른 어떤 계획에도 쉽게 접근 할 수 있습니다

우리는 추가하고 싶다 우리는 그들이 어떻게 그 일을하는지 잠시 후에 이야기 할 것입니다 그리고 전체 제지 공장은 그건 그렇고 10 릴리스가 실제로 나갔습니다 오늘, 기능 완전성이었다 상류의 모든 작은 것들이 마침내 얻었습니다

완료되고 릴리스로 병합됩니다 이제는 정말 멋지고 깨끗한 레포입니다 그러나 모든 것은 플러그 앤 플레이입니다 그래서 당신이 싱크와 소스로부터 어떻게 읽었는지, 실제로 노트북을 어떻게 실행하는지, 매개 변수를 적용하는 방법은 모두 자신 만의 커스텀을 등록 할 수있는 등록 된 클래스 의 버전 예를 들어 SFTP 처리기를 구현하려고합니다 SFTP에 파일이 몇 개 있다고 가정 해 보겠습니다

누군가 노트북을 가지고있는 곳에, 또는 그들이 노트북을 거기에 착륙시키기를 원한다 일부 B2B에서 공유해야하기 때문에 여전히 SFTP를 사용하고 있습니다 이를 구현하기 위해서는 말 그대로 여기에 모든 코드가 있어야합니다 읽기 및 쓰기를 구현 한 경우 그런 다음 여기에 설치 도구를 설치했습니다 이것은 호출 할 수있는 모든 코드가 될 것입니다

하단에있는 명령은 제지기입니다 SFTP 체계로 실행하십시오 그것은 당신이 할 수있는이 진입 점 패턴을 가지고 있습니다 자신의 설정에서 등록 할 수있는 파이 IO를 등록하는 방법에 대한 진입 점 다른 인터페이스와의 인터페이스 비슷한 패턴의 따라서 코드는 실제로 사물을 실행합니다 전체 레포를 읽으면 지금은 정말 짧습니다 거기에 코드가별로 없습니다

그것이하는 일을 쉽게 알아볼 수 있습니다 새로운 것을 추가하는 것입니다 그래서 내가 얘기하고 싶은 한가지 사실은 실패 모드는 실제로 정말 노트북에 좋았어 전통적으로, 당신이 생각한다면, 어떻게 어쩌면 제가별로 좋지 않은 대본을 가지고 있을까요? 생산하고 도서관에 넣고, 아니면 세 가지 다른 시스템에 걸쳐 사물을 호출하는 것일 수도 있습니다 실패 할 때 실제로 무엇이 잘못되었는지 어떻게 이해할 수 있습니까? 그리고 이것은 나와 같은 사람들을 고용인으로 고용하는 것입니다

어려운 문제이기 때문에 사람들을위한 솔루션을 구축하십시오 그러나 멋진 것들 중 하나는 노트가있는 것입니다 노트북으로 실패하고 우리가 좋아하는 것과 동일한 패턴을 부른다 일부 매개 변수를 통해 실패한 노트북 실제로 무슨 일이 일어 났는지에 대한 정말 풍부한 정보를 가지고 있습니다 어떻게 잘못 됐어? 어떻게 문제를 재현 할 수 있습니까? 당신은 그 노트에 담긴 모든 것을 얻습니다

실패했기 때문에 실제로 저장됩니다 결과,하지만 그것을 구할거야 다음은 스택 추적입니다 실패한 세포는 다음과 같습니다 코드가 성공하지 못한 이유는 다음과 같습니다

그리고 당신의 매개 변수는 제지 공장을 운영 할 때, 이미 그 노트에 구워졌고, 따라서 다시 매개 변수화 할 필요가 없습니다 그것은 당신이 예정되어있을 때 달렸던 것과 똑같이 달릴 것입니다 또는 플랫폼 내부에서 실행 중일 수 있습니다 여기 예를 들어, 우리는이 노트를 가지고 있습니다 이것들은 제가 방금 얻은 장점 중 일부입니다

스택 추적 및 재실행 및 실행에 대해 이야기했습니다 로그 그러나 우리가 방금 가지고 있었던 노트, 우리는 실패하고 추락했습니다 글쎄, 우리가 할 수있는 일은 갈거야 노트북에서 문제를 찾으십시오

여기 셀 실행 번호 12 번을 찾았어요 나는 중간 층을 잘라 냈다 Spark과 이야기하는 일종의 HTTP 연결 실패가 있습니다 우리는 노트북을 dev에 넣을 수 있습니다 우리가 문제를 해결할 때까지 반복한다

실제로 잘못된 점을 확인하십시오 그리고 나서 그 고침을 다시 보낼 수 있습니다 업스트림 업 노트북으로 이 경우 예를 들어 Spark 작업이 존재하지 않는 호스트 이름으로 기본값 설정됩니다 그래서 그것은 어떤 원숭이를 목표로하고 있습니다

존재하지 않는 클러스터 그래서 우리는 YARN 클러스터가 실제로 어디에 있는지 알려줄 필요가 있습니다 입니다 그리고 이제 그 일이 실제로 성공합니다 그 변화를 밀어 낼 수 있습니다

그러나 우리는 정확한 문제를 재현합니다 우리는 가서 5 가지 시스템에 무엇이 잘못되었는지 물어볼 필요가 없었습니다 그래서 당신이 어떻게 노트북을 실행하는지에 대한이 아주 간단한 변화는 무엇입니까? 입력과 출력을 격리하는 클라이언트가 제공합니다 당신은 당신이 불변 인 입력을 얻는다는 것입니다 예약 한 입력 내용 변경하기 또는 프로그램 방식으로 실행됩니다

만약 당신이 불변의 결과를 얻으면 출력을 고유 한 경로로 저장하고, 예를 들어, 우리는 사용자의 실행이 무엇이든간에 컨텍스트와 모든 단일 실행에 대한 GUID, 그런 다음 우리는 그것을 다시 연관시킵니다 그리고 우리는 그것을 어딘가에 넣습니다 그것은 읽기 전용이므로 사용자는 편집 할 수있는 권한이 없습니다 즉 재현성이 아주 좋다는 뜻입니다 실제로 실행 된 내용에 대한 감사 내역을 제공합니다

또한 좋은 매개 변수화 노트북을 실행할 수 있습니다 더 이상 당신은 큰 명령 블록을 가지고 있지 않아도됩니다 인간이 갈 노트북을 갈, 이걸 실행할 때,이 세 줄을이 셀에서 바꾸고, 이 셀에서이 네 줄을 바꾸십시오 당신은 더 이상 그렇게하지 않습니다 그냥 매개 변수화하고 템플릿으로 만들 수 있습니다

그래서 사용자는 매개 변수를 전달할 수 있습니다 그리고 다른 하나는 구성입니다 소싱 및 동기화 즉, 인터페이스를 바로 사용할 수 있습니다 이미 파일을 공유하고있는 플랫폼에 또는 이미 호스트 된 시스템이있는 곳 실행을 다시 쓸 필요없이 자신의 복사본으로 감싸고 이동하고 이동하십시오 그래서 모든 것을 감안할 때, 그것은 또한 꽤 설득력있는 논쟁을 불러 일으 킵니다

노트북을 더 잘 테스트 할 수 있기 때문에 이전과는 반대로 제재소에서, 시험은 보통 누군가에게 그것을 발송했다 그리고 그들이 그것을 실행하게하고 말하기를, 네, 이것은 훌륭합니다, 그들이 옳았기를 바란다 그래서 노트북의 관점에서, 한 가지 노트를 테스트 할 때주의 할 점 노트북이 아주 끔찍한 도서관을 만드는 것입니다 그들은 훌륭한 통합 도구를 만듭니다 하지만 거기에 엄청난 양의 라이브러리 코드가 있다면, 그들은 믿을만하고 당신을 알기가 꽤 어렵습니다

공유하고 재사용 할 수 있습니다 그게 무슨 뜻인지 얘기하겠습니다 그래서 그들은 좋은 통합 도구를 만든다 노트북이 연결에 정말 능숙하기 때문에 기술의 다른 조각, 실제로 어떻게 달렸는지, 결과를 작성하거나 몇 가지 조치를 취하십시오 서로 다른 기술에 생태계를 떠나지 않아도됩니다

그러나 그들은 정말로 복잡 할 때 신뢰할 수 없습니다 또는 그것들은 정말로 높은 브랜칭 요소를 가지고 있습니다 그래서 15 개의 조건문이있는 노트가있을 때 그것 또는 많은 다른 기능 및 반복의, 그것에 대해 추론하기가 정말로 어려울 수 있습니다 이 일이 벌어지면 코드가있는 전통적인 경로 영역 당신은 그 조각들 각각에 대해 단위 테스트를 할 것입니까? 그들을 깨뜨려 라

노트북의 경우 단위 테스트가 약간 어렵 기 때문에, 우리는 실제로 적어도 Netflix에서, 이 개발 지침 중 일부를 채택했습니다 더 중요한 일을 위해서 이것은 낮은 분기 인자를 유지합니다 짧고 단순합니다 하나의 주요 성과를 유지하십시오

그래서 다섯 가지 일을하는 노트를 가지고 있다면, 어쩌면 그것을 5 개의 수첩으로 나누는 것을 고려해보십시오 하나는 스스로 할 일을하는 5 개의 노트를 가지고 있습니다 그리고 이걸 괄호 안에 넣었습니다 우리가 그것에서 너무 실패하기 때문에 – 도서관 기능을 떠나라 도서관에서

그래서 정말로 복잡한 노트를 얻는다면 중요합니다 제작을 옮기고 그 코드를 옮기고 싶다 노트북 전체에서 공유되는 라이브러리로 너와 얘기 해봐 누구든지 돕는 사람이야 당신이 어떻게 해야할지 모르는 경우에 그렇게하도록 지원하십시오

그러나 우리는 여전히 무언가의 이점을 얻습니다 우리는 전에 통합 테스트를 할 수 없었습니다 따라서 통합 테스트를 작성하려는 경우, 당신은 기본적으로 사용자가 원하는 것을 정확하게 써야합니다 노트북에 템플릿 호출을 실행했습니다 Spark 템플릿이 있다고 가정 해 보겠습니다

우리는 이전에 실패한 것으로 나타났다 우리는 통합 테스트를 작성하려고합니다 사용자가 실패했기 때문에 실패했습니다 찾을 수있는 클러스터 호스트가 있습니다 그리고 우리는 쉽게 그것을 잡을 수있었습니다

기본값이 실패 할 것이라는 것을 여기서 우리가 할 수있는 것은 동일한 Spark 템플릿을 실행하는 것입니다 그리고 나서 우리는 약간의 테스트 실행 출력을 할 것입니다 어쩌면 우리는 이것을 자동화하고 거기에서 시운전 아이디어를 얻을 것입니다 그리고 나서 우리가 할 일은 가짜 영역, 가짜 실행 날짜 및 디버그 플래그 전달 그냥 어쩌면 말릴 수있는 노트북 용 디버그 모드에 있으면 실행을 실행합니다 이 경우 Google은이 지역을 타겟팅 할 것입니다 루나 (luna)라는 사용자 톤이 있습니다 실행 날짜를 고를 것입니다

어쩌면 그다지 중요하지 않습니다 하드 코딩 된 날짜로 수정하겠습니다 모든 사람들이 깨어 났습니까? 나는 방금 말했어, 좋아, 냉정하게, 달에서 사람들을 찾는 것 아무도 그래요 좋아요

그래서 우리는 – 여기에 전달 된 매개 변수가 있습니다 지역이 할당 된 것을 볼 수 있습니다 실행 날짜가 지정되고 디버그가 true입니다 그리고 나서, 여기, 우리가 실제로 실행하고있는 Spark SQL이, 어쩌면 출력 테이블에 대해 특정 쿼리를 실행 중일 수 있습니다 이제 매개 변수를 사용하여이 매개 변수가 어떻게 실행되는지 재검토 할 수 있습니다

더미 데이터에 대해 실행하십시오 그래서 우리는 우리가 할 일을 많이 할 것입니다 Netflix에서 통합 테스트를 실행합니다 우리는 모든 템플릿을 실행할 것입니다 그리고 우리는 기본 테이블을 가지고 있습니다

알려진 잠재적으로 문제가되는 패턴 또는 단순한 우리가 할 수있는 일 그런 다음 동일한 템플릿을 실행합니다 사용자는 동일한 방식으로 사용하려고합니다 해당 테이블 또는 해당 코드를 대상으로 사용합니다 그리고 이것은 당신에게 정말 좋은 방법을 제공합니다

말하자면, 이봐,이 노트북은 잘 돌아 간다 나는 모든 디폴트가 의미가 있다는 것을 안다 나는 그것을 어떤 식 으로든 매개 변수화 할 수 있다는 것을 알고 있습니다 또한 DAG 실행이있는 경우, 당신은 통합 테스트를 실행하는 것과 같은 일을 할 수 있습니다 DAG에 후속 부서가있어 이봐, 네가 걱정된다면 이걸 실제로 쓰는거야? 그것에 대해, 그리고 당신이 갈 수 있습니다

그것은 통합의 조타실로 바로 들어갑니다 방법으로 뛰어 들었다면 테스트해라 QA는 테스트에 대해 생각합니다 적용 범위가 다양합니다 그 공간에있는 노트북 용

그래서 그 방법에 대한 지침은 무엇입니까? 내 수첩을 시험해? 노트북을 단위 테스트하는 것은 어렵습니다 거기 밖으로 공구는 중대하지 않다 또는 툴링이 좋더라도 조금 성가시다 너 한테 어떻게 할 수 있니? 번들로 누군가에게 보내십시오 하지만 이제 단위 테스트와 함께 어떻게 묶어 줍니까? 그것들을 당신의 노트에 넣고 정말로 어수선하게 만드나요? 너는 그걸 옆에 두니? 그렇다면 어쨌든 도서관을 만들면 어떨까요? 거기에 몇 가지 어려운 대화가 있습니다

그래서 실제로 우리가 한 일은 결국 말했습니다 안녕하세요 좋은 앱에서 노트북을 사용하세요 통합 또는 재현성, 이 가이드 라인을 따라 확실하게 당신은 그들이 일할 것이라고 믿을 수 있습니다 당신이 간단한 한 페이저의 노트를 가지고 있다면, 하나의 통합 테스트만으로도 충분할 것입니다

너는 괜찮아 질거다 어쩌면 약간의 복잡성을 가진 무언가가 있다면, 어쩌면 그것은 화면에 두 페이지의 코드 일 것입니다 어쩌면 몇 가지에 대한 몇 가지 통합 테스트 그것을 만들기 위해 갈 수있는 패턴들 당신은 보통 당신을 꽤 잘 감싸는 선들의 더 많은 부분을 커버해야합니다 그리고 프로덕션 유스 케이스에 꽤 유용 할 것입니다 당신이 정말로 복잡한 노트를 작성한다면 – 나는 ML 전체 훈련, 적재, 저축, 동일한 3 가지 모델 반복 20 페이지 분량의 문서와 같습니다

하나, 어쩌면 찌르지 말라 중요한 코드 인 경우 해당 코드 중 일부를 라이브러리로 옮기십시오 모델 실행 사이의 공유 코드 모든 노트에로드 할 수 있습니다 그리고 나서 당신의 노트가 멋지게 정리됩니다 라이브러리가있는 통합 기능이 더 많습니다

통합 조각 중 하나 그리고 나서, 당신이 그것을 할 수 없다면, 당신은 여전히 하나의 통합을 얻으려고 노력해야한다 적어도 이것이 어떻게 사용되는지에 대한 사용 패턴 당 테스트 당신에게 확신을줍니다 그것은은 총알이 아니지만 그것은 당신을 더 멀리합니다 그리고 내가 정말로 강조하고 싶은 한가지 내가 제재소에 대해 많이 얘기 했어

이 도구를 사용하여 노트북을 변경하는 방법에 대해 설명합니다 실제로 생태계에는 다른 여러 가지 장점이 있습니다 모든 사양과 프로토콜을 기반으로하기 때문에, 실제로 노트북은 풍부한 환경을 갖추고 있습니다 다양한 기능을 제공하는 라이브러리 그리고 종종 오늘날의 세계에서, 많은 노트북 팀이 형성되고있다 이 맛있는 것들을 수집하는 방법에 관한 것입니다

사용 사례에 적합한 플랫폼에 넣으십시오 아마 들어 보지 못한 도구가 많이 있습니다 플랫폼 팀에 의해 사용됩니다 내가 조사하는 것이 좋습니다 nbconvert는 실제로 제지 공장에서 사용하는 것으로, 그러나 다른 수출 형태를 가질 수 있습니다

따라서 노트북의 HTML 또는 PDF 결과물을 만들 수 있습니다 통근자는 읽기 전용 인터페이스입니다 아마도이 목록에서 가장 유용 할 것입니다 훨씬 더 안전하고 쉽게 공유 할 수 있기 때문입니다 당신은 전체 노트북 서버를 가질 필요가 없습니다

집행 결과를 공유하다 또는 당신이 무언가를 어떻게 계획하고 있는지 그리고 여기에 몇 가지 다른 것들이 있습니다 나는 몇 분 동안 이야기 할 것이다 그래서 스크랩북이 그 중 하나입니다 스크랩북은 또 다른 리포입니다

기본적으로 뽑은 처음부터 쓰여졌습니다 원래 제지 공장에 있던 일부 기능 구현하고 자체 버켓에 넣습니다 그리고 이것이 실제로하려고하는 것은 도구로서, 스크랩북은 이야기를 완성하기위한 것입니다 함수로서의 노트북의 호 이제 제지 공장에서 입력 노트가 생겼습니다

당신은 제지를 가지고 있습니다 그래서 당신은 실제로 달릴 기능이 있습니다 당신은 입력으로 매개 변수를 가지고 있습니다 그러나 당신의 결과는 여전히 노트북입니다 그래서 당신이 노트를 낼 때, 그것은 여전히 대부분 인간이 해석 할 수 있고 해석 할 수있는 기계가 아닙니다

이것이 추가하는 것 중 하나는 능력입니다 노트에 결과를 저장하고 리콜하십시오 그리고이게 정말 유용할까요? 그 ML 모델이었던 그 노트를 돌렸다 모든 매개 변수를 반복하고 싶습니다 내가 구할 수있는 것들 중 하나 혼란 행렬 결과입니다

그리고 나는 그 모든 복잡한 매트릭스를 수집하려고합니다 가장 좋은 매개 변수화를 찾으십시오 또는 몇 가지 기준에 부합해야합니다 이렇게하면 떠나지 않고 쉽게 할 수 있습니다 노트북

GitHub을 살펴 보시기 바랍니다 어떻게 작동하는지에 대한 자세한 내용을 살펴보십시오 하지만이 예에서는 노트북 내부에 첫 번째 섹션에서는 스크랩북을 가져 오는 중입니다 우리 모델 결과를 붙이기 그리고 나서, 나중에 노트북 밖에서, 어쩌면 우리가 그것을 실행했거나 다른 노트북에서, 우리는 그 결과 노트를 읽을 것입니다

그런 다음 키로 모델 결과를 수집하십시오 그리고 그래프와 같은 것을 저장하고 리콜 할 수도 있습니다 정말 편리한 기능 중 하나입니다 실적 그래프가있는 경우 실제로는 성능 그래프를 혼동 행렬 결과와 함께 저장하십시오 그리고 나서, 혼란 행렬을 발견하면 대부분의 경우와 마찬가지로 실제로 그래프를 렌더링 할 수 있습니다

실행하고 다시 실행할 필요가 없습니다 그것은 아주 작은 도구입니다 보세요 그것이 일찍 갈 수있는 곳에서 조금 더 일찍, 하지만 모든 기능을 가지고 있습니다 나는 방금 설명했다

그리고 저는 통근에 관해서 조금 이야기했습니다 정말이 것을 조사하는 것이 좋습니다 이것은 통근자를위한 인터페이스입니다 이것은 Presto 작업을 실행하는 방법에 대한 Presto 템플릿입니다 또한 한 페이지에 맞습니다

좋고 깨끗합니다 거의 아무 일도 일어나지 않고 있습니다 하지만이 전화가 여기에 있기 때문에 정말 편리합니다 우리는 입력을 스키마화 한 다음 여기에 시선이 있습니다 그 다음 작업 정보를 출력합니다

끝에있는 모니터 여기서는이 노트북 템플릿을 사용자와 공유 할 수 있습니다 실제로 실행하면 이것에 대한 로그를 가지고 파라미터 화되어 있습니다 그리고 우리는 항상 통근자를 통해 사용자와 공유합니다 그래서 그들은 보는 좋은 방법을 가지고 있습니다

아무것도 편집 할 위험없이 일어난 일 그래서 저는 오픈 소스에 대해 많이 이야기했습니다 우리가 그것을 많이 사용하는 방법을 암시했다 Netflix의 약 1 년 반 동안의 일 중 하나 전에 우리가 정말로 다이빙을 시작했을 때 이 모험에 전략적 내기가있었습니다 많은 사용자들이 우리는 우리가 가장 많이 고용했음을 알았습니다

분석가들은 실제로 다른 도구 대신 노트북 사용 우리가 노트북을 더 쉽게 만들기에 기대고있다 회사에 도움이 될 것입니다 그리고 나서 우리는 그것을 조금 더 가져갔습니다 우리가 새로운 스케줄러를 수행하는 곳에서 거의 미친 수준으로 계획 우리는 모든 스케줄 된 일자리를 극도로 들릴지도 모르는 노트북, 그러나 실제로, 그것은 아주 잘 뛰었습니다

우리가 실제로 한 일은 템플릿을 만들었 기 때문입니다 그리고 사용자는 노트북을 사용하고 있다는 것을 몰랐습니다 처음에 그들은 내가 스파크 일을하고 있다고 말한다 나는 사제로가는 수송선을 달리고있다

그들은 단지 입력과 매개 변수를 제공하고 있습니다 다른 직업과 마찬가지로 스키마 화 된 직업 유형 정의 그러나 오늘의 끝, 우리는 항상 그것을 노트북으로 번역하십시오 따라서 누군가 일어난 일을 쉽게 디버그 할 수 있습니다 나는 이것을 강조 할 것이다

우리는 오랫동안 코드를 작성하지 않은 팀의 관리자가있었습니다 시간, 그리고 전화를받은 사람 – 이것은 기계 학습 팀입니다 그의 전화는 아팠고, 그들의 중요한 일 중 하나였습니다 실패한 그리고 그는 나중에 나에게 말했다

나는 그가 이것을 한 것을조차 몰랐다 – 그러나 그는 말했다, 오오 그렇습니다, 그가 아팠기 때문에 페이징 받았어 그리고 나는 가서 그 일을 보았다 그리고 그것은이 노트북 일을 가지고있었습니다 나는 그것이 무엇인지 모른다 나는 그것을 클릭했다

그리고 그것은이 정말로 시각적 인 것을 가지고 있었다 그런 다음 스택 추적 오류가 무엇인지 정확히 알려주었습니다 그리고 나는 그것을 읽었고, 무엇이 잘못되었는지를 이해했습니다 실제로 그것을 수정 한 다음 작업을 재개하면 효과가있었습니다 팀의 매니저가 그렇게 할 수있었습니다

장벽을 상당히 낮 춥니 다 실제로 일어난 일과 잘못 된 일을 이해하는 것 그래서 재미있는 일입니다 그리고 그 이후 우리는이 프로젝트를 시작 했으므로, 우리는 10,000 명 이상의 일자리를 옮겼습니다 그것은 150,000 개의 쿼리 순서로 생산되었습니다

모든 것이이 노트북 프레임 워크에서 실행됩니다 그리고 우리는 꽤 좋은 성공을 거뒀습니다 그것을 뒷받침 할 수 있습니다 시원한 그것이 저의 프리젠 테이션을위한 것입니다

그리고 나서 우리는 질문을 할 시간이 있다고 생각합니다 하지만 그래 [박수 갈채] 관객 : 그 공연에 대해 묻고 싶습니다 성과의 잠재적 영향 명확한 파이썬 [INAUDIBLE]을 실행하는 것에 비해 ?? 어떤 차이가 있습니까? MATTHEW SEAL : 네 그래서 질문은 차이가 있습니까? 순수 Python 실행과 Python 노트북 실행 사이에? 관객 : 맞습니다

MATTHEW SEAL : 대답은 거의 없습니다 현실에서는 이것이 전부입니다 – 당신이 가지고있는 유일한 것은 약간의 시작 시간입니다 커널을 시작하기 위해 두 번째 또는 두 번째입니다 그리고 나서, 파이썬 코드를 실행하고 있습니다 파이썬 코드를 정상적으로 실행하는 것과 같은 방식으로 IPython을 사용한다

따라서 실제 성능에 미치는 영향은 없습니다 네? AUDIENCE : 커널에 내장 된 컴파일러가 있습니까? 또는 통역사를 사용하고 있습니까? MATTHEW SEAL : 커널 제작 책임 코드를 실행할 수 있는지 확인하십시오 그래서 대부분의 경우 – 파이썬의 경우와 마찬가지로, 그것은 IPython을 감싸고 있습니다, 그래서 그것은 프로세스를 시작합니다 – 관객 : 그것은 내장되어 있습니다 MATTHEW SEAL : 그것은 내장되어 있습니다 관객 : 그렇다면 당신이 서버의 버전과 호환되며, 당신은 다른 것을해야합니다

MATTHEW SEAL : 네 종종 버전의 것들, 파이썬이나 스칼라 또는 일부 다른 것 – 또는 R을 사용하고 있다면 – 그들은 버전으로 커널을 명명 할 것입니다 그래서 나는 IPython 버전 37 커널이라고 말할 것입니다 그래서 파이썬 3

7을 사용하고 있다는 것을 알 수 있습니다 그것이 당신이 처형하는 표준입니다 당신이 말하는 것처럼, 헤이, 실행 이 직업은 파이썬 37이다 스칼라와 다른 사람들, 스파크와 같은 방법

그들은 종종 버전을 넣을거야 커널의 메타 데이터에서 매우 명확하다 당신이 처형하고있는 것 커널을 선택하는 방법은 실제로 노트북 내부에 있으며, 실행하거나 커널에 연결할 때 저장됩니다 노트북의 메타 데이터를 저장하고 커널을 실행했습니다

실행될 때, 그것은 정확히 그 커널을 찾고, 그런 다음 대체 메커니즘을 사용할 수없는 경우 당신이 원한다면 최선의 노력을 시도하십시오 관객 : 그러기 전에 – MATTHEN SEAL : 오, 미안 너, 그리고 너 관객 : 노트북이 넷플릭스에 오기 전에 그래서 다른 대안은 무엇입니까? 똑같은 짓을 한거니? MATTHEW SEAL : 네

그렇다면 무엇을 할 수있는 대안인가? 지금 우리는 노트북으로하고있는 중입니까? 글쎄, 우리는 정말 오래된 스케쥴러를 가지고있다 디버깅하는 것이 정말 고통 스러웠습니다 그것을 할 수있는 두 명의 남자가 있었다 그 밖의 모든 사람들은 같았습니다 이것은 잘못되었습니다

그 두 남자는 정말로 바쁘다 그래서 스케줄링 측면에서 이야기 우리가 가진 것에는 비할 바가 못되었습니다 우리는 다른 방식으로 그것을 해결할 수있었습니다 반복주기 및 이동하는 것들 노트북으로 사물의 찌그러진 부분, 이야기 오늘 많은 장소 인 이야기였습니다 네가 뭔가 쓸 때마다 당신이 일을 끝내고 나면 그 다른 곳으로 다시 쓰라는 말을 들었습니다

그리고 때때로 당신은 그 일을 훌륭하게 해냈습니다 때로는 데이터 엔지니어링 팀의 벽에 던져 버렸습니다 그리고 때때로 그들은 그것을했고 때로는 그것을 뒤로 던졌습니다 너에게 그래서 많은 마찰이있었습니다

그리고 그것은 괜찮 았고 특정 규모에서, 그러나 우리는 분명히 경고 신호를보고있었습니다 이 것을 사용하는 사용자 기반 다른 모든 사용자 기반보다 빠르게 성장하고 있습니다 따라서 기술에서 벗어나기보다는 그들은 좋아하고 사용한다, 우리는 움직이기를 원했다 마찰이 적어 지도록 플랫폼을 더 가까이에 두십시오 거기 뒷쪽에

죄송합니다 그는 두 번 손을 올렸습니다 청중 : 계산 방법에 한계가 있습니까? 커널에? 그럼 당신은 [INAUDIBLE] 배포 할 수 있습니까 ?? MATTHEW SEAL : 네 그래서 문제는 계산에 한계가 있는지입니다 커널 내에서? 다른 실행 프로세스와 동일한 제한이 있습니다

따라서 자주 일정을 잡거나 실행하면 실행 중입니다 플랫폼상의 우리 대개 일부 컨테이너에서 실행 중입니다 리소스 제한이 있으며 그 제한이 있습니다 다른 프로세스와 동일합니다

네? 관객 : 당신이 여러 번 달릴 때 – Jupyter를 여러 번 복사하고 저장하면 dif를 실행합니까? 변경하는 [INAUDIBLE]의 어느 부분 에나 저장하십시오 아니면 모든 것을 구합니까? MATTHEW SEAL : 아니오, 모든 것을 저장합니다 그것은 완전히 결과물입니다 그것이 실행될 때 IP MIB를 실제로 읽는 것입니다 그것은 JSON 스키마입니다

그래서 IP MIB 파일을로드하고 검증합니다 버전 44의 스키마와 일치합니다 그런 다음 메모리에 업데이트하여 업데이트합니다 그리고 구원을 얻을 때마다 메모리 표현에서 완전히 독립적 인 출력 입력의

그래서 실제로 그것을 버릴 것입니다 관객 : 내가 [INAUDIBLE] 내 노트의 5 %를 좋아해요 [INAUDIBLE] 무언가를 실험 해보고, 그러나 남은 것을 저장할 수도 있습니다 [INAUDIBLE]의 95 % MATTHEN SEAL : 오늘, 당신이 구할 때마다, 당신은 전체 노트북을 절약 할 수 있습니다 아마 그렇게 될 것입니다

일부 옵션으로 노트북 5 형식으로 변경 그 의미에서 조금 더 확장 가능하기 때문입니다 보통, 정말로 저장하지 않으면 문제가되지 않습니다 정말 큰 디스플레이 기가 바이트의 데이터를 저장하는 것처럼 나빠질 것입니다 당신이 인쇄하고 기가 바이트라고 말한 것처럼, 당신은 정말로 나쁜 시간을 보낼 것입니다

물론, 대부분의 인터페이스에서 나쁜 시간을 보게 될 것입니다 하지만 그 의미에서 노트북에서는 좀 더 나 빠졌습니다 하지만 네, 구원받을 때마다 전체 문서를 저장합니다 저쪽에있는 질문 관객 : 파이썬 파일을 사용한다면, 좋은 품질을 만드는 데 도움이되는 모든 도구가 있습니다

코드 [INAUDIBLE]처럼 당신은 노트북에서 무엇을 사용할 것입니까? 사람들이 좋은 품질의 코드를 작성하도록 어떻게 독려합니까? MATTHEW SEAL : 네 나는 당신이 그 도구들 중 몇 가지를 가져올 것을 권합니다 노트북에 몇 가지가 있습니다

Linting과 같이 UI에는 많은 것들이 내장되어 있습니다 특정 언어를 중심으로 비록 그것이 다국어 시스템이기 때문에, 그 많은 언어에는 멋진 자동 완성이 부족합니다 좋은 linters, 그런 것들 그래서 스칼라와 같은 것으로 넘어 가면, 그것은 여전히 ​​거친 것입니다 그게 더 좋게 만들어지고있어

회사가 투자하고 있습니다 하지만 R 스튜디오는 Jupyter의 R보다 여전히 뛰어납니다 그런 의미에서 나는 그러한 도구들이 통합 될 수 있다고 말하고 싶다 Jupyter에 도구를 가져 오는 것이 좋습니다

이미 존재하는 곳이 몇 군데 있습니다 우리 한 무리있어 나는 네가 다음이라고 생각한다 관객 : 그래서 사건을 처리 할 수 ​​있습니다 실제로 커널은 실패합니다

예를 들어, 코드를 사용하면 커널에 메모리가 부족해집니다 내가 마지막 실행을 저장할 수 있어요 [INAUDIBLE]에서 빠져 나왔어? MATTHEW SEAL : 네 그래서 그는 말하고 있습니다 문제는 일이 잘못 될 때, 커널이 메모리 부족으로 실행되는 것처럼, 아니면 잘 처리되고 있는가? 음, 좋은 점은 제지 1

0을 출시 한 데 있습니다 이제는 더 나은 OM 핸들러가 있습니다 그래서 그것은 실제로 그것이 다 떨어 졌다는 것을 제기 할 것입니다 영원히 달리기 대신에 기억의, 때로는하곤했던 것이 가장 나쁜 일입니다 나쁜 일에서

그러나 이야기의 관점에서, 당신이 실제로 실행하면 최종 실행을 저장하지 않습니다 노트북을로드하면 볼 수 있습니다 그것은 papermill, dot, dot, dot으로 실행됩니다 그리고 그 모드에서 붙어있을 것입니다 프로세스가 종료되고 복구 방법을 알 수 없기 때문입니다

하지만 당신이 얻는 것은 제지 공장을 운영 할 때입니다 – 우리는 그것을 생산으로 운영합니다 대쉬 대시 로그 출력으로 실행합니다 그리고 그 말은 우리가 메시지를 얻을 때마다, 우리는 노트북에 저장하기 위해 완충하고 있었다 우리는 바로 그곳에 그것을 기록 할 것입니다 적어도 컨테이너는 제지실을 운영하고 있던 회사는 모든 통나무를 가지고 있습니다 정말로 파국적 인 일이 생기면 우리는 항상 노트북의 셀이 있더라도 로그를 읽으십시오 실패한

좋은 일이 하나 있는데, 나는 아마 우리가 투자해야한다고 생각해 그 이상, 적어도 우리의 플랫폼에서, 그것이 링크를 만드는 것을 기억하지 못할 때입니다 그 노트를 다시 쓰는 걸 좋아해 로그에 링크를 다시 추가하거나 나중에 로그를 주입 할 수 있습니다 그것은 오늘 그것을하지는 않지만, 추가하는 것은 꽤 쉬울 것입니다

시원한 관객 : 버전 관리에 저장하거나 호스팅합니까? 그런데 어떻게 다릅니 까? MATTHEW SEAL : 네 그래서 질문은, 버전 관리에 저장합니까, 어떻게 다른가? 대답은 버전 관리에 물건을 저장하는 것입니다 다른 모든 사람들이 그러지는 않습니다 나는 diffing이 괴롭다 고 말할 것입니다

사실 더 좋아지고 있습니다 거기에 몇 가지 도구가 있습니다 따라서 nbdime은 주피터에서 노트북을 비교하기위한 도구입니다 Git과 도처에 통합되어 있지는 않지만, 하지만 거기에는 몇 가지 노력이 있습니다 nbviewer는 멋지다

그것은 오픈 소스 측과 가까운 소스 측을 가지고 있습니다 GitHub보기를하고 있습니다 GitHub을 사용하지 않는다면, 그들은 다른 Git 시스템에 대한 문제점을 가지고 있습니다 플러스 온 가드가 그들을 찌르며 스태시에게 전한다 또는 Bitbucket이 API를 추가해야 함을 의미합니다

그래서 당신은 옳은 일을 할 수 있습니다 지역적 차이에 관해서 – 그래서 내가 이것을 묻는 이유, 노트북 담그기 JSON 문서를 비교하기 때문에 정말 못 생깁니다 그들은 꽤 인쇄되어 있습니다, 적어도, 그래서 모든 것이 한 줄은 아닙니다 그러나 당신이 그것을 인간으로서 읽길 원할 때, 당신은 보통 조금 후에 포기합니다 그래서 nbdime과 다른 곳에서의 노력 당신의 장소에 통합하기 코드 검토를 수행하고 노트북을 렌더링하는 곳 dif, 양면 dif, 오히려 JSON raw를 읽는 것보다

오늘 저는 때때로 JSON을 원시로 읽었습니다 그리고 그것은 불행한 일입니다 후속 질문이 있습니다 관객 : 예 그래서 당신은 GitHub [INAUDIBLE]에 저장했다고 언급했습니다

MATTHEW SEAL : 네 관객 : [INAUDIBLE] 회사는 그렇지 않습니다 그 이유는 무엇입니까? MATTHEW SEAL : 그 중 일부는 분석가이며 심지어 일부 데이터 과학자들 – 젠장, 새로운거야 아마 그들은 SQL을 배웠을 것입니다 그들은보고를 할 수 있습니다

그들은 Tableau를 압니다 그들은 이러한 인터페이스 중 일부를 알고 있습니다 그리고 힘내 신종이야, 그래서 들어갈 무서운거야 또한 때때로 사람들은 단지 인간은 인간이기 때문에 게으르다 그래서 네, 항상 Git과 버전 관리를 사용해야합니다

현실은 때로는 사람들이 그 단계를 건너 뜁니다 그것이 너무 중요하다고 생각하지 마십시오 그런 다음 나중에 중요성이 커집니다 그들은 그것을 잊어 버렸다 우리가 여기서하려고하는 것은 – 내가 언급 한 도구 중 하나는 서점이라고합니다

서점은 선형 버전 관리를 시도합니다 그래서 당신이 구할 때마다, 지금 당장 S3로 넘어갑니다 이 방에있는 신성 모독은 Google Cloud이지만, 일어 나라 그러나 Bookstore는 선형 버전 제어를 사용하는 방법입니다 사용자가 아무것도하지 않아도됩니다

네? 관객 : 당신이 노트를 가지고 있다고 가정 해 봅시다 그것을 파이썬 파일로 만들고 싶습니까? 그 일을하거나 할 수있는 쉬운 방법이 있습니까? 너는 [INAUDIBLE]해야만합니까? MATTHEW SEAL : 네 nbconvert 대시 – 대시 2 파이썬 오, 미안 들을 수없는 온라인에있는 사람들을위한 질문

노트북을 일반 파이썬 파일로 변환 할 수 있습니까? nbconvert는이를 수행하는 도구입니다 네? 관객 : Jupyter 노트북은 오픈 소스, 그래서 누구든지 그것에 기여할 수 있습니다, 또는 내가 그것에 기여하고 싶다면 어떻게 시작할 것인가? [알아들을 수 없는]? MATTHEW SEAL : 네 그 질문은 주피터의 오픈 소스 누구든지 기여할 수 있습니까? Donations Please 또는 큰 Do not enter 표시가 있습니까? 아니, 우리는하지 않는다 그래서 저는 Jupyter 팀에도 있습니다 그리고 네, 우린 친절하게하려고 노력합니다 우리가 사람들을 끌어들일 수 있기 때문에

몇 가지 패키지 또는 코드가 있습니다 좀 더 전문적인 사랑을 사용할 수있는, 그래서 우리는 새로운 사용자 친화적 인 문제를 태그하려고합니다 제지 공장에는 많은 새로운 기여자가 있습니다 구체적으로 제지 공장에 기여한다 실제로 중요한 점은 실제로 Google Cloud와 PR을 열어서, 이봐, 우리가 정말로 말했다

Google Cloud가이 작업을하고 싶어합니다 그리고 그것은 정말로 쉬웠다 그래서 나는 그것이 열려 있다고 말하고 많은 포럼이 있습니다 Discourse, Gitter 및 Google 그룹 모두에서 니가 있으면 모두 참여할 좋은 곳이야 일할 곳을 찾으려고 노력합니다

인터랙트는 슬랙 채널을 가지고있다 많은 것을 위해 가서 질문을 할 수 있습니다 방문자 : [INAUDIBLE]을 (를) URL 매개 변수로 사용 하시겠습니까? MATTHEW SEAL : URL 매개 변수로, URL에서 가져 오는 것 같습니까? 관객 : [INAUDIBLE] MATTHEW SEAL : 나는 그 질문에 확실히 순응하는지 확신하지 못한다 관객 : [INAUDIBLE] 노트를 열면 브라우저에서 [INAUDIBLE] URL은 맞습니까? MATTHEW SEAL : 네

청중 : [INAUDIBLE] 매개 변수를 추가 할 수 있습니까 ?? MATTHEW SEAL : 아, 알겠습니다 그래서 그는 UI에 노트를로드 할 때, 쿼리 매개 변수를 추가하여 노트북을 매개 변수화 할 수 있습니까? 아니, 템플릿을 통해 실제로 실행되지 않기 때문입니다 경로 그것이 UI 인간의 길입니다 아마도 쉽게 확장 할 수있을 것입니다

인터페이스 중 일부는 이제 실제로 추가했습니다 일류의 노트북 매개 변수 셀 버튼을 클릭하는 노트북 인터페이스로 그리고 그것은 전통적으로, 당신을 위해 세포를 만듭니다 오늘 네가해야 할 일은 따라서 매개 변수를 넣을 위치를 선택하는 방법입니다 그것을 적용하는 방법은 셀이있는 셀을 찾을 것입니다 태그 매개 변수를 지정하고이를 기본값으로 처리합니다 그래서 거기에는 무엇이든 기본값이라고 생각합니다 그 다음에는 주사하게됩니다

아무것도 찾지 못하면 그냥 맨 위에 놓습니다 그러나 쿼리 매개 변수 관점에서 볼 때, 실제로 매개 변수화하는 인터페이스가 아닙니다 코드 셀을 직접 작성하기 때문에 또는 직접 기본 태그 셀을 작성하십시오 자동으로 그렇게하지는 않습니다 시원한

관객 : 이것은 기능 요청의 이상입니다 각 셀에 대해 [INAUDIBLE] 정보가 있습니까? 왜냐하면 뭔가 진짜라면, 당신은 원한다 20 분이 걸렸는 지 알기 위해 [INAUDIBLE] 또는 2 시간 반이 걸렸습니다 MATTHEW SEAL : 기능 요청은 당신이 얼마나 오래 세포를 추적 할 수 있도록 무언가를 추가 할 수 있습니까? 실행했다? 당신이 제지소로 달리는다면, 그것은 그렇게합니다 관객 : 아, 이미 가지고 있니? MATTHEW SEAL : 네

관객 : 좋아요 관객 : 당신은 이것을 이미 언급했을 것입니다, 그러나 그것이 실패하면, 방법이 없습니다 실패한 곳에서 계속 실행을 시작 하시겠습니까? 내가 말할 것 같지 않다고 가정합시다 [INAUDIBLE]이 (가) 중단되었습니다 따라서 셀의 메타 데이터를 사용하면 아직 완료되었는지 여부를 확인할 수 있습니다

보류 중이거나 운영 중입니다 보류중인 것이 있다고 가정 해 봅시다 중단 한 부분에서 실행을 시작하거나 계속할 수 있습니까? MATTHEW SEAL : 근본적으로, 커널이 실패하면 제지 실은 멈추고, 커널을 다시 부착해서 실행할 수 있습니까? 현재 도구를 그대로 사용하면 커널을 종료 할 때 실패하거나 시도합니다 왜냐하면 커널이 이미 죽어라 코드를 작성할 수 있습니다

아마 50 줄, 100 줄의 코드를 취할 것입니다 그것을하지 않기 위해서 실제로, 확장 부분 어디에서 I / O 동기화를 플러그 앤 플레이 할 수 있는지 말했고, FSTP와 마찬가지로, 플러그 앤 플레이를 할 수 있습니다 엔진이라고합니다 따라서 사용자 정의 실행을 등록 할 수 있습니다

엔진 그리고 당신은 유지할 수있는 커스텀 엔진을 등록 할 수 있습니다 – 원숭이 패치로 덮어 쓸 수 있어요 nbconvert는 커널을 종료하고 종료하지 않습니다 어쩌면 디버그 또는 인터럽트라고하는 엔진을 가질 수 있습니다 그런 다음 해당 버전의 엔진을 실행할 수 있습니다

당신이 실행할 때, 그리고 나서 그것을 떠날 수 있습니다 그래서 다시 연결할 수 있습니다 인터페이스 지점에서 약간 복잡 할 것입니다 보기의, 그러나 육체적으로 가능하다, 상자 밖에서는 그렇게하지 않습니다 관객 : 슬라이드 중 하나에서, 너는 Jupyter가 있음을 보여 주었다

서버 [무적] 노트북 그렇다면 누가 그 서버들을 관리합니까? 이러한 서버를 계속 가동시키는 것은 누구의 업무입니까? MATTHEW SEAL : 네 그래서 문제는 아키텍처 다이어그램에서였습니다 이 Jupyter 서버가 있습니다 이 서버를 누가 운영합니까? 걔들 뭐해? 누가 그들을 소유하고 있습니까? 대답은 일반적으로 노트북 플랫폼 팀입니다

많은 곳에서 노트북 팀이 있습니다 Google이 여기 있습니다 Netflix 않습니다 대부분의 대형 공급 업체가합니다 일반적으로 서버를 호스팅하는 서버입니다

모든 것을 실행하고 파악하고있다 플랫폼의 나머지 부분과 함께 그것을 조정하는 방법, 그래서 자원을 분리하거나 요구에 따라 분리하는 방법 오픈 소스에는 몇 가지 도구가 있습니다 JupyterHub와 같은 당신을 도울 방법입니다 밖으로 물건

그리고 그것은 꽤 빠르게 진화하는 이야기라고 생각합니다 하지만 일반적으로 노트북 플랫폼 팀 그것이 서버 관리입니다 그런 다음 Launch My Notebook을 클릭하면 또는 노트북을로드하려고하면 동적으로 자원을 할당 할 수 있습니다 플랫폼에 따라 다릅니다 일부 플랫폼에는 전용 플랫폼이 있습니다

자원 또는 공유 자원 그것은 당신이 당신의 플랫폼이 옳다고 생각하는 것을 할 수있게합니다 또한 사람들이 원격 통화 중인지 여부는 알 수 없습니다 가능하다면 사람들에게 질문을하고 싶습니다 관객 : [INAUDIBLE]

MATTHEN SEAL : OK 확실한 관객 : 사람들이 건물을 어떻게 돌아 다니 느냐 더 복잡한 파이프 라인? 예를 들어 노트북 A 당신은 노트북 B에 맞게하고 싶습니다 그런 다음 몇 가지 노트를 펼치고 싶습니다

결과를 수집하고 노트북 B 등으로 이동합니다 따라서 정상적인 API는 실행 노트북에 있습니다 이런 종류의 복잡한 일들을 [무관심한] 사람들이 수행하도록하십시오 또는 일부 도구 [INAUDIBLE]가 있습니까 ?? MATTHEW SEAL : 네 그래서 제지 공장과 주피터 측 기본적으로 방금 만들었으므로 모든 스케줄링이 매우 쉽습니다

작업을 잘 수행하기 위해 DAG 실행이있는 도구, 이는 DAG를 수행하고 모든 것을 연결합니다 따라서 우리는 우리가 강화한 내부 일정 도구를 사용합니다 기본적으로 두 가지 직종이 있습니다 우리는 컨테이너를 실행하고 제지기로 컨테이너를 운영합니다 그것이 두 가지 직업 유형입니다

그러나 실제로 사용자 관점에서 볼 때, 우리는 많은 템플릿을 가지고 있습니다 그러나 거기에, 우리는 그것을 도구에 남겨 둡니다 그 사람은 스케줄을 알고, 제재소가 무엇인지 모릅니다 그 직업을 잘 수행하는 것 오픈 소스 예제는 Airflow입니다

기류가 있다면 매우 쉽습니다 제지와 공기 흐름을 통합합니다 많은 사람들이 거기에서 그것을합니다 Luigi 또는 일부 다른 스케줄러 너무 쉽게 할 수 있습니다 그러나 나는 책임의 사슬에서, 나는 스케줄러가 잘 스케줄링하게 할 것이다

DAG 집행자가 DAG를 잘 실행하면 그리고 제재소가 잘 실행됩니다 네? 관객 : 슬라이드에 사용자 페르소나가 있습니다 게이트 엔지니어와 같은 물건 [INAUDIBLE] 전체 [INAUDIBLE] [INAUDIBLE]로 반복하거나 핸드 오프가 있습니다 다른 [INAUDIBLE] 사이에? MATTHEW SEAL : 네

그래서 질문은, 우리가 가진 다른 사람과 함께, 각 노트북의 수명주기 그 페르소나들? 그들은 양도 되었습니까? 팀에 실제로 의존 또는 해당 조직의 운영 방식 그래서 우리가 만든 도구는 Netflix에서 많은 조직에 걸쳐 있습니다 대부분의 경우, 사람들은 자신 만의 말을 할 것입니다 그들은 노트북에서 반복하고, 그 다음에는 그것을 예약하고, 우리는 묻는다 그들에게 몇 가지 지침을 따르십시오 또는 자신을 태우고 나쁜 일을하고 싶다면 그렇게 할 수 있습니다

우리는 넷플 릭스 (Netflix) 그래서 그것은 몇몇 장소와 조금 다릅니다 나는 몇 팀 말하고 아마 더 많은 반복 넷플 릭스 외부의 사이클, 아마 더 많은 핸드 오프 모델은 전통적인 모델입니다 바라기를,이 툴링은 그 마찰로 인해 핸드 오프가 더 많아졌습니다 검토하고 코드 검토와 더 비슷하게 수행하기 다시 쓰는 대신 그것을 templatizing 누군가의 작품 네? 관객 : 내 노트 입력은 Google 공동 노트입니까? MATTHEW SEAL : 예

그래서 Google Colab은 Jupyter입니다 Jupyter 사양을 따릅니다 콜 랩 (Colab) 노트북이라면 제재소로 달릴 것입니다 다른 노트북 인터페이스에서로드 할 수 있습니다 Jupyter 노트북 인터페이스

콜랩, 그런데, 네가 알지 못한다면, Google 제공 노트북 인터페이스 중 하나입니다 Google 클라우드 내부의 노트북 관리 Google 클라우드 내부이지만 Google 내부에는 존재하지 않습니다 청중 : 더 나은 시각화 도구가 있거나 비디오 용입니까 노트북이나 [INAUDIBLE]에 있습니까? MATTHEW SEAL : 비디오를위한 더 나은 시각화 도구가 있습니까? 노트북에? 몇 가지 노력이있었습니다 렌더링하는 구성 요소에 관한 것입니다 그러니깐

만약 네가 실제로 보면 커널과주고받는 메시지로서 무엇이 보내지는지, 그들은 실제로 – 코드를 보내 실행합니다 그리고 비동기 적으로, 당신은이 다른 메시지를 돌려 받게됩니다 메시지 중 하나를 디스플레이라고하며, 디스플레이에는 MIME 유형이 많이 있습니다 다른 프런트 엔드 렌더링과 마찬가지로 시스템은 이해할 것이다

그러면 UI가 MIME 유형 렌더를 구현할 수 있습니다 그래서 당신은 좋은 것을 구현할 수 있습니다 – 더 나은 비디오 렌더링 MIME 유형에 응답하는 것을 구현함으로써 원하는 비디오 편집기 플레이어에 연결합니다 그래서 몇 가지 UI에서 몇 가지 노력이있었습니다 더 나은 동영상을 만드는 방법 대부분 Jupyter의 폐쇄 소스 확장이며, 오픈 소스에서별로 그렇지 않습니다

나는 현재의 상태가 무엇인지 알지 못한다 오픈 소스 비디오 렌더링에 대한 좋은 점 하지만 당신이 모든 사람들이 사용하기 쉽고, nteract에서 nteract 프로젝트를 살펴 보았습니다 그것은 React 구성 요소의 모음입니다 다른 노트북 UI에서 사용하도록 만들어진 프런트 엔드

새로운 MIME 유형 렌더를 추가하는 것은 정말 쉽습니다 네? 관객 : 안녕하세요 그래서 나는 당신들이 어떻게 결정에 도달하는지 궁금해 너희들은 지방 수준에서 [무관심한]하고 싶어한다 [INAUDIBLE] 대신 다른 매개 변수를 사용해보세요

노트북 안의 [INAUDIBLE] 안에 있습니까? MATTHEW SEAL : 네 그래서 문제는 어떻게 우리가 노트북 수준에서 분기 결정을 내린다 노트북에서 분기하는 대신 및 iterating 그리고 그것은 실제로 – 방법에 대한 두 가지 디자인 철학이있어 보입니다 노트북이 진화 할 것입니다

그들 중 하나는 노트북을 블랙 박스 기능으로 사용했습니다 내가 실행할거야, 아니면 더 큰 시스템 나는 실행할 것이다 그리고 다른 하나는 각 세포가 그 기능적 유닛이 되어라 그러면 너는 어떻게 든 그 세포를 재사용 할 수 있습니다 Netflix는 노트북 측면에서 기울어지기 시작했습니다

그것은 더 간단했기 때문입니다 키스를 통해 모델을 만들면 추론하기가 더 쉬워졌습니다 다른 모델이 잘못되었거나 만들 수 없다는 의미는 아닙니다 하지만 우리가 본 것을위한 도구를 만들었습니다 가장 저항이 적은 경로로서 신뢰할 수 있음

시도하는 중 하나의 문제는 – 제재소가 취하는 의견 중 하나 이 노트북을 직선적으로 돌릴거야 노트북은 UI 측에서 노트북을 요구하지 않습니다 그러나 제재소는 그렇습니다 그리고 이것은 문제를 단순화하고 재현성 질문 다른 모델에서는 셀을 실행하는 방법, 거의 비순환 적 그래프가된다

귀하의 다른 세포의 실행 그리고 노트북에는 좋은 방법이 없었습니다 오늘날 노트북에서 DAG를 표현할 수 있습니다 우리가 그 길로 간다면 셀을 실행할 때 반복하고 싶다 아마 빌딩 툴링에 더 많은 도움이 될 것입니다

노트북 객체 내부에 DAG 설정 어떻게 세포를 실행할 것인가에 대해 그리고 그들이 어떻게 더 잘 관계하는지 그러나 우리는 그렇게하지 않았습니다 당시에는 더 복잡하다고 느꼈다 관객 : 전도 관점에서, 들어오는 새로운 데이터 과학자가있을 때 어떻게해야합니까? 근본적으로 무엇이 베스트 프랙티스인지 가르쳐줍니다 여기에 – 당신이 언급 한 것처럼, 많은 [부적절한] 그들 자신 및 [INAUDIBLE] 모든 곳의 [INAUDIBLE] 액세스 제어 그거 아니면

MATTHEW SEAL : 네 그래서 질문은, 어떻게 당신이 사람들에게 기내에 이러한 우수 사례에 대해 모범 사례를 실제로 모범 사례로 만든다 아마 모범 사례 대신에? 그게 네티플 릭스의 대답을 줄 수있어

나는 그것이 다른 많은 곳으로 번역 될 것이라고 생각하지 않는다 그리고 그것은 완벽하지 않습니다 제 생각에, 넷플 릭스의 경우, 우리는이 개념에 많이 의지합니다 자유와 책임감 팀, 개인은 자유롭게 원하는대로 할 수 있습니다

우리는 경험 많은 사람들을 고용했을 것으로 기대합니다 책임있는 결정을 내릴 것입니다 때로는 조직 내에서, 조직 또는 그 팀 사람들에게 가장 잘 탑승하는 방법에 대한 결정을 내 렸습니다 그래서 우리는 도구를 제공하려고 노력합니다 사람들에게이 도구들에 대해 알리십시오

패턴과 문서는 어딘가에 있습니다 그리고 우리는 책임을 팀에 남겨 둡니다 이 중 어느 것을 추적해야하는지 파악 사용자와 함께 광고를 게재 할 수 있습니다 중앙 집중식 온 보딩이 있습니다 스케줄러 및 노트북에 대한 교육을 실시합니다

매월 신규 채용 및 인력 채용 누가 그게 뭔지 모르는 사람 그래서 우리는 약간의 훈련 모델을 수행합니다 그런 식으로 따라가보십시오 그것은 우리 문화 안에서 꽤 잘 작동합니다 하지만 다른 문화권에서는 다른 접근 방식을 취합니다

시원한 나는 그때 내 목소리를 구할 수 있을까? 굉장해 나는 우리가 어디 있는지에 대해 확신하지 못한다 오, 또 다른 질문이 있습니다 승인

관객 : 저는 데이터 과학자로 일합니다 그리고 대부분의 프로토 타이핑 우리는 Jupyter [INAUDIBLE]와 일했습니다 그래서 제 질문은 제지를 사용함으로써, 출력을 별도의 노트 파일에 넣으려고합니다 그게 무슨 이점이 있니? 기본적으로 프로덕션을 위해 어떻게 든 노트북을 다시 전송 효율성 및 기타 사항에 대한 Python 스크립트 그– 어떻게 또는 왜 당신이 필요한지 궁금합니다 그 출력을 다른 파일에 코딩합니다

MATTHEW SEAL : 네 그래서 질문은 왜 분리되어 있는지에 관한 것이 었습니다 생산에 들어갈 때의 노트북 데이터 과학 라이프 사이클이 같은 노트북 안에 그것이 그들이 운영되는 방식입니다 이제 저는 두 가지 노트를 생각해야합니다

야생에 존재한다 우리가 이것을 한 몇 가지 이유가 있습니다 하나는 데이터 플랫폼이 이렇게 우리와 함께 확인을 만들었습니다 그래서 그게 사실 – 정말 매력적입니다 너는이 다리를 십자가에 매고있다

불변의 보증에 대해 나는이 소스를 실행하고 결과 이 결과에서 그래서 순수한 실행에서, 그것이하고있는 것과는 독립적으로, 좋은 보안과 재사용 성을 제공합니다 외부에있는 사람들을위한 디버그 기능 당신의 노트북이 실제로 무엇을했는지 아는 것 또는 그것이 어떻게 작동해야하는지 이것이 하나의 측면입니다

우리가 가진 또 다른 측면은 우리가 방법에 대해 아주 잘 기억하고 싶다 노트북이 시간이 지남에 따라 변경되었거나 마지막으로 반복되는 방식 여러 번 실패합니다 뭔가 실패하고 플랫폼 엔지니어가 또는 누군가가 도우려고하면 무엇이 달렸는지 살펴보고 그것이 왜 효과가 없었는지 파악하십시오 마지막으로 성공한 버전이 무엇인지 아는 것은 실제로 마지막으로 성공한 경기를 볼 수 있기 때문에 편리합니다

현재 실행과 비교하십시오 그 이유에 대해 많은 것을 알 수 있습니다 뭔가 작동하지 않습니다 이제는 어떻게 모델로 다시 채워지 죠? 또는 템플릿은 어떻게 사용합니까? 개발 측면에서 발생하는 한가지, 특정 매개 변수화를 사용하여 일정을 예약하면, 보통, 당신이 그걸 가지고 놀려고 할 때, 동일한 매개 변수화가 필요합니다 많은 경우 데이터 과학 사이클에 종사하는 사람들 노트북을 예약하고, 실행하고, 그들이 어떻게 달렸는지 확인합니다

그리고 그들은 매개 변수 셀을 다시 복사하여 실행할 것입니다 같은 소스이기 때문에 전체 노트북을 복사하십시오 그런 다음 작업이 완료되면 매개 변수 셀을 삭제하고 저장하십시오 그래서 주기적으로 조금 수동으로 진행됩니다 덜 수동적으로 만들 수있는 도구가있을 수 있습니다

그리고 저는 그것이 툴링이 많이 쓰이는 부분이라고 생각합니다 이 가장자리를 부드럽게합니다 정말 큰 승리를위한 약간의 충돌입니다 생태계의 나머지 부분과 협력해야한다 이 질문에 답하는 데 도움이됩니까? 승인

굉장해 솔직히 내 목소리 – 나는 주변에있을거야 어쨌든 나는 그것을 잃을 것이다 하지만 모두에게 감사 드리며 즐거웠기를 바랍니다 [박수 갈채] [음악 재생]

AI Hub: The One Place for Everything AI (Next ‘19 Rewind)

CASSIE KOZYRKOV : 2019 년에 거의 500 회의 세션이 있었는데, 당신이 그들 모두에게 다가 갈 수 없다는 것은 이해할 수 있습니다 AI Hub, AI AI를위한 One Place, 여기에 되감기가 있으니 계속 지켜봐주십시오

[음악 재생] 인공 지능 우주가 확장되고 있습니다 그 어느 때보다도 창의력을 발휘할 수 있다는 것을 의미합니다 가능성은 무한합니다 불행히도, 그것은 마치 사물처럼 느껴질 수도 있습니다 당신은가는 것도 배우는 것이 끝이 없습니다

그 공간은 거대하고 지저분 해졌으며 위협적이었다 그렇다면 당신이 단단하고 평행 한 AI로 들어갈 수 있다면 어떨까요? 모든 것을 결합시킨 우주 당신은 인공 지능을 구축하는 경험을해야합니까? AI 허브에 오신 것을 환영합니다 Google Cloud의 AI 허브의 비전 너에게 힘 배율을 10 배로주는거야 혼란, 반복, 그리고 작업에서 휠 재조합 AI 허브는 다양한 관리 서비스를 제공합니다

너의 삶을 편하게 해줄거야 AI가 팀 스포츠이기 때문에 AI 허브 기술 다양성을 염두에두고 설계되었습니다 가장 잘하는 일을 쉽게하기 위해 노력합니다 동료들과 함께 작업을 공유하십시오 누가 다른 부분을 사랑하니? 절단 작업을하고자하는 데이터 과학자를위한 것입니다

고통스러운 천천히 가면서 가장자리가 당신을 때마다 새로운 것을 시도하고 싶다 앱 개발자가 찾고있는 앱입니다 그 친숙한 패턴의 발견 수학적 핵심에 멍청 해지지 않고 그리고 그것은 생산 엔지니어를 배우는 기계를위한 것입니다 누가 왜 모델을 가져 갔는지 계속 묻는 질문 제작에 3 주, 생산에 들어가기까지 10 개월 힌트 – 생산은 어려웠습니다

큰 UI에서 포인트 앤 클릭을 좋아하는 사람을위한 것입니다 직접 명령 줄 액세스를 좋아하는 사람에게 적합합니다 당신이 누구 이건, 당신이 인공 지능으로 만들면, 그것은 당신을위한 것입니다 AI 허브는 컴퓨터 학습 일을하는 스키 리프트가 아닙니다 전체 리조트입니다

결과적으로 솔직히 말할 수없는 이야기입니다 믿을 수없는 데모로 너무 빽빽하다 당신은 분명히 그들을 경험하고 싶어 할 것입니다 그러나 여기에 작은 맛이 있습니다 AI 허브는 인스턴트 VM 및 주피터 노트북을 특징으로합니다

셋업, 뇌 친화적 인, 훌륭하게 검색 가능한 코드 저장소 당신이 시작한, 공동 작업 도구, 여분의 전송 학습 지원 및 Kubeflow Fairing을위한 공정 바로 가기, 엔드 – 투 – 엔드로 프로덕션으로 이동하십시오 파이프 라인 템플릿 및 분류 된 구성 요소 대신 섞어서 일치시키는 데 도움이됩니다 그 바퀴를 다시 발명하십시오 TFX에 대한 액세스를 잊지 마세요 TensorFlow Extended, Google의 최근 소식 오픈 소스, 주문 제작 기계 학습 고급 모델 분석 기능을 갖춘 파이프 라인 개발 프로세스를 가속화하고, 더 똑똑한 방향으로 반복 할 수 있도록 도와줍니다

당신의 멋진 시스템을 더 빨리 시작하십시오 이것이 바로 구축 할 수있는 힘입니다 필요없는 공동 작업의 즐거움 너의 자신의 어깨에 모두를 가지고 가기 위하여, 마법 같은 사용자를 즐기는 것의 아름다움입니다 인공 지능 빌더로서의 경험 완전한 이야기를보고 싶다면, 아래 설명에서 링크를 확인하십시오

그리고 Cloud YouTube에 가입하는 것을 잊지 마십시오 더 나은 다음 되감기 콘텐츠를위한 채널 지켜봐 줘서 고마워 [음악 재생]