Taranis: Saving the world’s food supply with cutting-edge AI

오늘 유익한 농장 운영 그 어느 때보다도 더 많은 돈을 투자 우리의 밭에 시간과 에너지를 아직도 우리 작물의 약 30 %가 간다 낭비

내 농장이 많아서 헥타르에 자리 잡기가 정말 어렵습니다 문제가 너무 늦기 전에 당신은 계속 세계 기아에 관한 이야기 ​​듣기, 지구 온난화 화학 물질 유출 그만큼 농업 산업은 엄청난 문제에 직면 해있다 이 쟁점에 대처하기위한 도전 증가하는 세계와 함께 인구

낙담하지 말고 우리가 구축하기로 결정한이 문제들로 실제로 그들을 해결하는 기술 Taranis는 정밀 농업입니다 정보 플랫폼 우리는 인공적인 농부들에게 정보를 제공하는 정보 슈퍼 고해상도 기반 보고서 리프 수준까지 이미지를 만들 수 있습니다 더 일찍 목표에 개입하다 적은 화학 물질을 사용합니다

우리가 우리의 인프라 우리는 두 개의 메인 첫 번째 도전은 어떻게해야합니까? 대량의 이미지 파일 업로드 전 세계의 원격 장소 두 번째 방법은 우리가 어떻게 충분히 강력한 확장 가능한 인프라 복잡한 기계 학습 모델을 테스트하는 방법 해당 모델을 식별하여 질병과 해충이 퍼지기 전에 Google Cloud Platform에서 제공 대답 우리는 약 70 만 건의 업로드를 시작했습니다 Google Cloud 및 Google 팀에 사진 업로드 약 100 명의 태그가 붙은 농학자 백만 가지 고유 기능 그것이 우리가 우리 모델을 훈련시켰다

이제 우리는 우리가 얻는 수백만 장의 사진을 모델로 고객으로부터 매일 둘 다 데이터 저장 요구 및 데이터 쿼리 볼륨은 정말 중요합니다 Google 클라우드를 통해 이러한 문제를 관리 할 수있었습니다 대규모 책 우리는 Taranis 기계 학습의 요점 건강한 농부가 걸릴 수 있도록 손상된 잎 동작

우리가 Taranies가 GCP 솔루션을 통해 그들은 지속적으로 모델의 정확성 BigTable 및 BigQuery를 사용하면 사용자가 직접 가져 오기, 관리, 역사적인 것과 새로운 것 모두를 분석한다 데이터 또한 Google과의 통합을 돕습니다 정확한지도를 찾을 수 있도록 Maps API 처리되고 실행되어야하는 영역 시간에 따른 비교

이것을 사용함으로써 기술 나는 손실을 막을 수있다 더 건강한 식물과 내 수확량 증가 적은 노력 우리는 농업과 큰 글로벌 문제 해결 문제 우리는 그것 없이는 할 수 없었다 Google Cloud [음악] 당신

Google and NXP advance artificial intelligence with the Edge TPU

빌리 루 뤼게 : 안녕하세요 저는 Google AOI 팀의 빌리 러 틀리지입니다

그리고 오늘 NXP 파빌리온 CES에서 열렸습니다 우리의 신제품을 소개합니다 – Edge TPU Dev 최첨단 TPU 칩과 NXP iMX가 결합 된 보드 개발자가 실험 할 수있는 8 가지 SoC 인공 지능을 처음으로 사용했습니다 그래서 보드 자체는 사실 두 조각입니다 여기베이스 보드에 모든 커넥터가 있습니다 대부분의 개발자들이 신제품을 프로토 타이핑하는 데 사용할 것입니다

생각 그리고 나서 SoM 모듈 – SoM은 CPU, GPU 및 TPU 칩을 포함하며, 메모리 및 Wi-Fi 및 블루투스가 포함됩니다 실제로베이스 보드에 스냅됩니다 고밀도 커넥터를 사용합니다 그래서 실험을 할 수 있습니다

실제 하드웨어를 개발 환경에두고, 생산 라인을위한 SoM 부품을 살 수 있어야한다 스마트 스피커를 사용할 준비가되면, 스마트 식기 세척기, 스마트 TV를 확장 가능한 생산 계획으로 오늘 우리는 몇 가지 다른 데모를 보여줍니다 이러한 유형의 기술을 어떻게 실험 할 수 있는지, AI에서 최첨단 기술을 사용하여 사람들을 탐색 할 수 있기를 바랍니다 안녕, 제 이름은 Peter Malkin입니다 나는 Google에서 근무하고 있습니다

저는 AOI 프로젝트의 소프트웨어 기술 책임자입니다 그리고 오늘 우리는 당신에게 얼굴 탐지 데모를 보여줍니다 Edge TPU에서 실행됩니다 Edge TPU의 핵심은 개인 정보 보호 및 보안입니다 이제부터는 픽셀이 필요 없습니다

데이터 센터로 이동합니다 회사에 데이터를 제공 할 필요가 없습니다 모든 기계 학습 추론을 로컬로 실행할 수 있습니다 칩셋에 이 경우 특히, 우리는 인간의 얼굴을 인식 할 수있는 네트워크를 시도했습니다

장치에서 로컬로 실행 중입니다 Linux를 실행하는 소형 임베디드 시스템에서 JUNE TATE-GANS : 안녕하세요, 제 이름은 June Tate-gans입니다 사실 저는 소프트웨어 엔지니어 중 한 명입니다 AOI 프로젝트 작업

CES에서 우리 데모 중 하나는 실제로 교수 가능한 기계입니다 실제로 우리는 지역 추론을 사용합니다 네트워크가없는 기기에서 직접 모델을 훈련시키는 것 연결성 이것을 우리의 교수 가능한 기계 데모라고 부릅니다 바로 여기 있습니다

근본적으로 하늘을 향한 카메라가 있습니다 이제 내가해야 할 첫 번째 일은 배경을 알기 위해 그것을 훈련 시키십시오 그래서 그것은 객체들 사이를 구별 할 수있다 나는 그것을 보여주고 있으며 배경은 무엇인가 그리고 내가하는 첫 번째 작업은이 버튼 중 하나를 누르는 것입니다

실제로 무엇을보고 있는지 말해야합니다 이제는 배경이 무엇인지 알 수 있습니다 나는 이제 그것을 대상으로 훈련시킬 수있다 이 특별한 경우에, 나는이 아이스크림을 사용할거야 아이스크림을 붙잡고 버튼을 누릅니다

이제는 배경과 아이스크림을 구분할 수 있습니다 그리고 당신은 그것이 기계 학습이고 추론을한다는 것을 압니다 내가 다른 색으로 보여줄 수 있기 때문에 동일한 결과를 얻습니다 이 이 핫도그와 같은 다른 대상으로도 확장 할 수 있습니다

그래서 핫도그, 아이스크림, 핫도그 그리고 도넛과 같은 그래서 도넛, 핫도그, 아이스크림 안녕, 로바 제 이름은 레오니다드입니다

나는 AOI 프로젝트를 위해 Google에서 근무하고 있습니다 여기에 우리의 [무관심] 데모에 대해 이야기하겠습니다 따라서 각각의 더 큰 데모 아래에서, 깊이 카메라가있는 작은 디스플레이가 있습니다 그리고 그것은 시간을 보여줍니다 그리고 그것은 중요한 특징입니다

사람들이 얼마나 많은 시간을 보느냐를 추적하기 때문에 다른 큰 데모에서 그리고 경계 상자를 표시하는 것을 볼 수 있습니다 사람들의 얼굴 주위에 여기 내 얼굴이 있습니다 그리고 제가 그린 박스가 있습니다

데모 스탠드쪽으로 찾고 있습니다 그리고 내가 돌아 서면, 지금 너처럼 빨간 상자를 볼 수 있습니다 나는 나 자신을 확신하지 않지만 그것은 빨갛게되어 있어야만한다 그리고 이것은 개발 보드에서 완전히 실행되었습니다 디스플레이 뒤에있는 것을 볼 수 있습니다

여기에 [INAUDIBLE] 데모와 같은 단어가 있습니다 따라서 인터넷 또는 클라우드 연결이 필요하지 않습니다 그리고 그것은 우리가 스스로이기 때문에 좋은 적용입니다 집에서 많은 사람들이 다른 큰 데모를보고 있습니다 그리고 당신은 중간에, 우리는 지금 4, 1/2 시간 같은 것을 가지고 있습니다

그리고 구석에 서서 세 명 이상이 있습니다 시간 꽤 설명 할 만하지만 여전히 흥미 롭습니다 함께 통계 BILLY RUTLEDGE : 이제 막 시작했습니다

가능 한 것의 표면을 긁다 인공 지능 오늘 Google Edge TPU Dev를 제공하게 된 것을 기쁘게 생각합니다 세계에서 장비상의 인공 지능을 구체적으로 실험 할 수있는 키트 장치에서 고성능 기능을 탐색하려면, 보드 자체에 모든 데이터가 저장되는 보안, 로컬에서 모든 것을 처리 할 수 ​​있으므로 성능이 향상됩니다 컴퓨터에 우리는 기회의 세계를 열어 줄 것이라고 생각합니다

신제품 개발을위한 우리는 당신이 다음에 그로 인해 무엇을 만들 수 있는지에 대해 매우 기쁩니다 [음악 재생]

NeurIPS and AI Research with Anima Anandkumar: GCPPodcast Episode 157

[음악 재생] 멜라니 워릭 : 안녕하세요 에피소드 157에 오신 것을 환영합니다

"Google Cloud Platform Podcast"의 나는 멜라니 워릭이야, 나 혼자 야 이번 주에 마크는 휴가 중입니다 하지만 괜찮습니다 다음주에 다시 올거야 나는 Anima Anandkumar에 초대했다

이번 주에 우리와 함께하여 다가오는 컨퍼런스에 관해 이야기 할 것입니다 AI 커뮤니티에서 꽤 잘 확립 된 컨퍼런스 이 회의는 실제로 다음주에 열릴 예정입니다 특히, 우리는 말할 것입니다 그 이름을 둘러싼 논쟁에 대해서 더 구체적으로는 회의의 머리 글자 어입니다

이것이 바로 핵심 구성 요소로 듣게 될 것입니다 이번 주 우리의 포드 캐스트 중 그 이름은 신경 정보를위한 NIPS였습니다 프로세싱 시스템 (Processing System)을 개발했지만 NeurIPS (NeurIPS) 우리가 그걸 알아챌거야 언제나처럼, 우리는 그주의 멋진 것들로 시작합니다

그리고 우리는 그주의 질문으로 끝날 것입니다 그리고 팟 캐스트의 내용 때문에, 나는 의문을 가지고 가기로 작정했다 너가 조롱 당하거나, 너라면 온라인에서 괴롭힘을 당하면서 그걸 할 수 있니? 그래서 우리는 나중에 그것을 얻을 것입니다 하지만 그 전에, 제가 언급했듯이, 우리는 이번 주에 우리의 시원한 것들에 도달하고, 이번 주 동안, 내가 우리를 위해 발굴 한 몇 가지 멋진 것들이 있습니다 또는 최소한 끌어 당겼다

말하는 블로그 게시물이 있습니다 클라우드 DLP로 작업하는 방법, 데이터 손실 특히 예방 API, 도움 비 식별 및 난독 화와 함께 민감한 정보 따라서 서면으로 작성한 컨텐츠로 많은 일을한다면, 당신은 그것을 공유 할 필요가 있습니다 – 그리고 오늘날과 시대에, 마스크 할 수 있는지에 대한 민감성이 있다는 것을 알고 있습니다 전화 번호, 사회 보장 번호 – 이 API에는 통합 할 수있는 방법이 있습니다 네가하고있는 일에 또는 당신이 가진 많은 것들에 교체 작업을보다 쉽게 ​​자동화 할 수 있도록 협력하고, 수정, 마스킹 – 당신의 이름입니다

따라서 해당 API에 대한 정보 및 API 사용 방법 블로그 게시물에 제공됩니다 이번 주 또 다른 멋진 일이 있습니다 어떻게 할 수 있는지에 대한 멋진 블로그 글 의료 이미징 데이터로 가능한 것을 열어주십시오 따라서 몇 가지 추가 도구와 기술을 단계별로 실행하고 있습니다 다시 출시 된 API 내에서 제공되는 3 월, 특히 클라우드 헬스 케어 API 그러나 그것의 바깥쪽에 또한

API 자체에서 내가 말한 탈 식별 기술 클라우드 DLP에서 가져온 다음 이해를 돕기 위해 제공된 일부 코드 랩 건강 관리를 위해 인공 지능과 기계 학습을 사용하는 방법, 뿐만 아니라 Kaggle은 파트너 관계를 맺고 있습니다 알지 못하는 사람들을위한 RSNA와의 경쟁, RSNA는 북미의 방사선 학회 (Radiological Society of North America) 그들은 특히 경쟁을하고 있습니다 폐렴 검진 따라서 이러한 유형의 활동과 기법을 확인할 수 있습니다 그것이 어떻게 적용될 수 있는지보십시오

또 다른 멋진 점은 데이터 세트가 API로 통합되고 제공되고있다 Google Cloud를 통해 데이터 세트는 Quick, Draw! 제공했다 작년에 출처를 공개 했으므로, 그러나 최근에는 그것이 통합으로서의 공급자 였을 때입니다 Google 클라우드로 그리고 그것은 5 천만 개의 드로잉입니다 사실, 그래서 당신이 이미지를 가지고 실험하고 싶다면 그리고 그려진 이미지로 실험 해보세요 당신은 이것을 조사해야합니다

그리고 이번 주 마지막 멋진 일 – 우리 동료 중 한 명인 새라 로빈슨 (Sara Robinson) 이 위대한 블로그 게시물을 작성했습니다 머신 학습 기계로 알려져 있습니다 본질적으로, 그녀는 CPU 성능을 평가할 수 있으며,이 모델의 배경에있는 아이디어 당신이 사람들을 이해하도록 돕고 싶다는 것입니다 그 질문, 어떤 유형의 CPU 설정 기계 학습을 할 때 사용해야합니까? 글쎄, 훌륭한 콘텐츠가있어 SPEC이 구축 중이거나 수거 해왔다는 것, 표준 성능 평가 회사

수집하는 데이터의 종류 컴퓨터 성능 및 에너지에 관한 벤치 마크 결과입니다 효율성을 고려하여 다양한 설정을 검토했습니다 그들은 그들의 공연을 보았다 다양한 유형의 알고리즘, 비디오, 오디오 그래서 그녀는이 정보를 가지고갔습니다

그런 다음 그녀는 해당 CPU에 대한 필요성을 예측하는 데 도움을줍니다 그리고 당신이 사용할 수있는 CPU가 무엇이든, 그것이 얼마나 성취 할 것인가 그래, 블로그 게시물을 봐 그녀가 한 일, 왜 그 일을했는지, 그리고 당신도 스스로 할 수도 있고 그녀가하는 것을 사용할 수도 있습니다 세워짐

이번 주에는 멋진 일을 위해 그것은 우리를위한 것입니다 인터뷰에 참여할 시간 애니 마랑 얘기해 봅시다 그래서 이번 주 Anima Anandkumar가 저와 합류하게 된 것을 기쁘게 생각합니다 팟 캐스트에

나는 너를 여기에서 보내서 매우 기쁘다 팟 캐스트를 가져 주셔서 감사합니다, 아니 마 ANIMA ANANDKUMAR : 고마워요, 멜라니 그것은 기쁨 멜리 준 워릭 : 그래서 애니 마야, 나도 알아

당신은 Caltech, CMS 부서의 Bren 교수입니다 당신은 또한 기계 학습 연구의 책임자이기도합니다 Nvidia에서 우리는 브라이언과 함께 훌륭한 포드 캐스트를했습니다 올해 초 Nvidia와 그가 저지른 작업에 대해 그리고 상당한 액수를 버렸습니다 연구 전반에 걸쳐, 특히 tensors에서의 중요한 영향 – 텐서 대수적 방법, 나는해야한다

말하자면, 특히 대규모 학습, 깊은 학습, 확률 론적 모델 항상 그렇습니다 빨리 말하기가 매우 어렵습니다 기계 주변 공간에 큰 영향을 미쳤습니다 인공 지능을 배우면서 조금 더 말씀해 주시겠습니까? 내가 이미 얘기 한 것 이외에, 당신이 누구인지, 당신의 배경은 무엇입니까? 현장에서? ANIMA ANANDKUMAR : 당연하지, 멜라니

나는 다양한 배경을 가지고 일했다 주제의 범위 사실, 나는 전기 공학에서 시작했다 신호 처리 및 정보 이론 작업 제가 처음으로 보았던 문제는 센서 네트워크였습니다

분산되어있는 엄청난 수의 센서가 있다면, 무선 네트워크를 통해 통신해야하는 배터리가 부족하여 어떻게 학습 할 수 있습니까? 그리고 오늘, 우리는 그것에 대해 다시 생각해 보았습니다 인터넷에 대해 생각한다면 그러나 약 15 년 전, 그것은 여전히 ​​개념적인 문제였습니다 그러나 무엇에 대해 많은 질문이있었습니다 사용할 수학 공식 및 방법 분산 된 환경에서 정보를 생각하는 것

그래서 저는 이것이 완전한 동그라미가되는 것을 봅니다, 제가 깊이있는 이론 개념을 생각하기 시작했습니다 그러나 오늘, 우리는 그 많은 꿈을 실현할 수 있습니다 우리는 그 네트워크, 장치, 일어나는 것을 볼 수 있습니다 우리는 우리가 깨달을 수있는 것을 물어볼 수있다 실용적인 응용 프로그램으로

그런 이유로 그것은 정말 흥분되는 시간입니다 기계 학습 및 인공 지능에 있어야하며, 여러 다른 영역의 배경을 가지고 있습니다 정보 이론의 기초 이론, 기계 내가 배울 수있는 학습 이론 이론과 실천 사이의 격차를 해소하는 방법을 묻습니다 고마워요 그래서 나는 사람들이 텐서 (tensors)에 관해 말할 때마다, 그들은 보통 당신에 대해 이야기 할 것입니다

나는 또한 많은 사람들이 끊임없이 그들이 질문에 대해 들었을 때, TensorFlow를 의미합니까? 잠시 만지고 싶니? Tensor는 TensorFlow에 있지만 반드시 그런 것은 아닙니다 TensorFlow를 의미합니다 ANIMA ANANDKUMAR : 좋은 뜻은 깊은 학습 혁명에 관하여 지금은 아무도는 텐서를 두려워하지 않는다 모두는 tensors라는 단어에 대해 들어 봤습니다 그것이 깊은 학습 틀로서의 TensorFlow이든, 또는 텐서 호출을 사용하여 깊은 계산을 수행합니다

Nvidia GPU 학습 하지만 저에게 그것은 완전히 아닙니다 텐서 계산의 잠재력을 실현합니다 우리는 여전히 이러한 텐서 호출에서 행렬 대수학을 수행합니다 또는 우리의 신경 네트워크 [INAUDIBLE] ,, TensorFlow에 신경망을 작성할 때, 그래서 당신이 그 작업을 확장 할 수있는 반면 훨씬 더 광범위하게 생각하십시오

그렇다면 TensorFlow는 무엇을 의미합니까? 그것은 당신이 텐서의 흐름을 가지고 있다는 것을 의미합니다 이러한 처리 계층 전반에 걸쳐 입력은 텐서입니다 출력은 일반적으로 텐서, 당신은 그것을 변형시키는 이러한 중간 작업을 가지고 있습니다 그리고 지금 당장 우리는 이러한 변환을 수행하고 있습니다 다소 단순한 방법으로 이러한 아키텍처는 어렵습니다

우리는 [INAUDIBLE]에 의해 가고 있습니다 우리는 말하고 있습니다 편차가있는 번역이 있기 때문에, 그리고 이것은 우리가 [INAUDIBLE] 할 때 갖는 유용한 것입니다 완전히 연결된 레이어로 변환 해 봅시다

이 3 차원 활성화를 변경해야하기 때문에 길쌈 층의 무언가로 카테고리로 처리 할 수 ​​있습니다 분류 작업의 결과입니다 이것들은 간단한 직관에 의해 진행됩니다 그러나 우리는 다음 단계가 무엇인지 물을 수 있습니다 훨씬 복잡한 아키텍처를 할 수 있을까요? 그러나 그것은 우리에게 여러 차원의 이점을 줄 수 있습니다

잠재적으로 우리의 현재 네트워크를 압축 할 수있다 대량으로, 우리가 더 잘 일반화 할 수 있도록 더 좋고 더 높은 차원에서 상관 관계를 더 잘 포착하기 때문에 의미있는 방법? 그리고 그것이 바로 텐서 대수학의 잠재력입니다 간단한 예로서, 시작하면 이러한 컨볼 루션 네트워크에서는, 내가 전에 언급 한 것처럼 이 3 차원 활성화가있다 길쌈 레이어를 통과 할 때 필터가 작동하는 방식을보고 있기 때문에 입력에, 그리고 이렇게 많은 채널을 가지고 처리 할 때 누적되는 모든 필터를 통해 그래서 당신은이 입체적인 모양을 가지고 있습니다 하지만 완전히 연결된 레이어에 올 때, 당신은 그것을 vectorize

이 세 가지 차원을 모두 무시합니다 당신은 그냥 벡터로 취급하고, 당신은 완전히 연결된 레이어로 행렬 곱셈을 수행하고, 그런 층을 거의 거치지 않고 결과를 전달합니다 그리고 최종적으로 출력을 얻습니다 이것은 분류입니다 그래서 대신에 우리는 물었습니다

3 차원 정보를 유지하다 모든 방법을 통해? 완전히 연결된 층에서도, 당신은 3 차원을 유지합니다 텐서를 수축하면 당신은 세 가지 별개의 무게 행렬을보고 있습니다 치수, 그리고 당신은 그것들을 배우고 있습니다 그리고 마지막 층에서 회귀를 할 때, 낮은 순위의 매개 변수화 된 가중치를 사용하고 있습니다 즉, 매개 변수 집합을 훨씬 더 작게 만들 수 있습니다

당신에게 똑같은 정확성을 줄 수 있습니다 실제로 우리는 65 % 이상의 공간 절약을 발견했습니다 이러한 완전히 연결된 레이어에서 다차원 성 그리고 내가 가진 야망은 그것을 다음 단계로 가져가는 것입니다 내가 완전히 새로운 것을 깨달을 수 있다고 생각해 보라

이 고차원을 바라 보면서 건축 텐서 연산 그들이 무엇이고, 어떤 영향을 미칠 수 있습니까? 특히 멀티 모달 정보를 생각하면 그것은 단지 이미지가 아닙니다 그것은 이미지와 텍스트 및 기타 정보입니다 우리는 이러한 차원의 폭발이 있습니다 우리는 자연적으로 그들을 텐서로 부호화 할 수 있습니까? 그것을 네트워크 전체에서 수행하십시오

MELANIE WARRICK : 그것은 당신의 연구의 다음 단계입니다 당신이 현재 관여하고 있다고 당신이 앞으로 나아갈 방향으로 말입니다 그래서 내가 원했던 다른 질문들 중 하나 우리가 잠수하기 전에 너에게 물어볼거야 추가 물건 고기 우리는이 포드 캐스트 동안 이야기 할 예정이었습니다 너는 무엇에 대해 우리에게 조금 말할 수 있니? 당신은 기계의 책임자로서 엔비디아 학습 연구? ANIMA ANANDKUMAR : 네, 그래서 엔비디아에 와서 매우 기쁩니다

지금은 두 달이되었습니다 그것은 매우 빠르게 진행되었습니다 왜냐하면 – 멜라니 워릭 : 그래서 모든 문제를 해결 했어야합니다 그곳에 [웃음] [INAUDIBLE] 문제 없습니다

ANIMA ANANDKUMAR : 나는 단지 소원한다 나는 단지 소원한다 나는 놀라운 동료를 갖게되어서 너무 기쁩니다 Bill Dally는 여기의 수석 과학자입니다 Bryan Catanzaro, Jan Kautz 및 연구원들도 컴퓨터 그래픽 측면, 아키텍처, 하드웨어

연구의이 학제 적 특성이 여기에 있습니다 엔지니어링의 우수성과 확장 성 엔비디아가 제공합니다 나는 연구 문제를 생각하게되어 매우 기쁩니다 기계 학습의 핵심에서, 예를 들면, 우리는 새로운 신경 네트워크 아키텍처를 실현할 수 있습니까? 하지만 실제로 규모에 맞춰 실현하고 있습니까? 전체 스택 솔루션입니다 우리는 더 나은 하드웨어, 더 나은 [INAUDIBLE] 프리미티브, 디자인하고 구현하기 쉬운 프레임 워크 알고리즘? 그리고 그것이 엔비디아가 나에게 너무 흥미로 웠던 이유입니다

왜냐하면 나는 그것을 실천으로 옮길 수 있기 때문이다 나는 진짜 이익을 볼 수 있지만, 나는 또한 자유와 팀 및 전문 기술을 감안할 때 우리가 어떻게 그 새로운 꿈을 실현할 수 있는지 묻습니다 멜라니 워릭 : 당신은이 전문 지식을 가지고 있습니다 수학적, 이론적 측면에서 이제이 하드웨어로 번역 할 수있게되었습니다 세계의 적용 측면

두 사람과 결혼 할 수 있다는 것은 꽤 환상적입니다 ANIMA ANANDKUMAR : 물론, 엔비디아는 나에게, 그렇게 할 수있는 가장 좋은 장소입니다 멜라니 워릭 : 훌륭합니다 제가 기어를 바꾸어서 이야기하겠습니다 인공 지능과 기계 학습 공간에서 네가 학문 분야에 분명히 있었음을 나는 안다

몇 년 동안, 그리고 공간이 잘 알려져있다 꽤 확립 된 일부 컨퍼런스 학자들이 연구를 공유 할 수있게하기 위해, 지식을 공유 할 수 있습니다 핵심적인 것들로 돋보이는 것들이 있습니다 그 (것)들의 톤이 있지만 사람들이 다양한 전문 분야로 모일 수있게 해줍니다 그 회의들에 관해 우리에게 조금 이야기 해 주시겠습니까? 왜 그들은이 분야에서 그렇게 중요합니까? ANIMA ANANDKUMAR : 참으로 몇 년 전에 돌아왔다

음, 깊은 학습 혁명이 일어 났을 때 돌아 간다 그런 일이 일어나지 않았다면,이 작은 학구적 인 사람들이었습니다 컨퍼런스 예를 들어, 700 또는 800을 갖는 것은 큰 숫자 였고, 대부분은 작은 워크샵이었습니다 그것이 정보를 보급하는 유일한 방법이었습니다

너는 실제로 그 사람과 이야기를 나눌거야 논문의 완전한 이해를 얻으십시오 포스터 세션 도중 이 깊은 대화를 나누십시오 그리고 저는이 분야에서 박사 학위를 시작하지 않았기 때문에, 나는 일을 배우기 위해 박사 학위를 마칠 때까지 움직였다 내가 사용하고 있던 도구가 기계 학습 문제를 해결하는 것과 매우 관련이있다

나는 그 지역 사회를 매우 환영한다고 생각했다 NIPS에 논문을 제출했는데 지금, NeurIPS에서 부름받은 것 – ICML 및 기타 회의에서 즉시 느꼈습니다 깊은 검토가 있었기 때문에 환영 받았다 아주 깊은 기술 토론 페이지가있었습니다 검토 과정에서 커뮤니티가 작았습니다

그것은 잘 짜여졌 고 우리는 많은 진전을 이루었습니다 지적 협약의 관점에서 회의에서 멜라니 워릭 : 그런 것들은 진화했습니다 신경망이 기계 학습처럼 보류하고 있기 때문입니다 나는이 회의들을 보았고 당신이 말했듯이 NIPS는 – 지금은 NeurIPS입니다 나는 그게 몇 백 명 밖에 안된 것 같아

그게 뭐니? 오래 전에 8,000 이었어 나는 그것이 올해 무엇인지 확신하지 못합니다 ANIMA ANANDKUMAR : 그것은 ~ 할 것입니다 내 말은, 제한이 없다면 훨씬 더 많을 수 있습니다 아마

아마 ANIMA ANANDKUMAR : [INAUDIBLE] 멜라니 워릭 : 그래서 이유의 일부입니다 왜 내가이 팟 캐스트를 설정했는지는 내가 우리를 원했기 때문이었다 특히 NIPS에 뛰어 들기 위해 신경 정보 프로세싱 시스템 컨퍼런스

밖에있는 사람들, 특히 학계에있는 사람들은, 그 논쟁에 대해 들었을지도 모른다 올해는 특히 뛰었습니다 이름 바꾸기의 측면에서 나는 우리가 단지 두문자어를 말하는 것으로 들린다 고 생각한다 이 회의에 관해 들어 본 적이없는 사람들은 그것이 합리적 일 수 있습니다

그러나 불행히도, 그것은 많은 저항을 받았다 그 얘기 좀 할 수 있니, 명명 변경이 일어난 이유에 대해 왜 이것이 문제였습니까? ANIMA ANANDKUMAR : 커뮤니티에 참여 중입니다 내가 말했듯이, 깊은 학습 혁명 이전에, 그때 작고 잘 짜여진 공동체였습니다 그리고 그 이름은 잠시 동안 생각합니다 하지만 회의에 참석하면 당신은이 친절한 토론을 가지고 있습니다

당신은 놀라운 경험을했습니다 그러면 그것은 주요 초점이 아닙니다 저는 회의의 전통을 매우 자랑스럽게 생각합니다 산란했다 실제로, 회의는 Caltech에서 시작되었습니다

여기 칼텍에 설립되었습니다 많은 사람들이 그것을 알고 있지 않습니다 멜라니 워릭 : 아닙니다 ANIMA ANANDKUMAR : 그리고 나는 극도로 그 전통을 자랑스럽게 생각합니다 그리고 그것은 교수 Yaser Mostafa와 Ed Posner에 의해 시작되었습니다

이리 그리고 사실, 그것은 앞으로의 사고였습니다 결혼하는 신경 과학의 관점에서 함께 기계 학습 그래서 신경이 있고 처리가되는 것입니다 멜라니 워릭 : 네

ANIMA ANANDKUMAR : 그것이 회의의 목표였습니다 하지만 커뮤니티가 폭발하기 시작하면 깊은 학습 이륙, 위대하다, 그러나 부작용은 이러한 회의가 성장했다는 것입니다 비율의 우리가 어떻게 입장을 가능하게하는지에 대한 많은 논란이 있습니다 이 사건들에 그리고 이것은 선착순입니다

나는 많은 문제가있다 따라서 인구 유입을 관리하는 방법에 관한 한 가지 문제가 있습니다 컨퍼런스 다른 하나는 행동입니다, 그렇죠? 커뮤니티에 새로 온 많은 사람들이있을 때, 많은 사람들이 관심을 찾고 있습니다 그리고 그들을 위해, 그것은 이런 종류의 빠른 관심입니다

그들은 재능을 고용해야하기 때문에 그래서이 헤지 펀드를 가진 사람은 아무도 없어요 티셔츠에 대해 들어 본 적이있다 "내 NIPS는 [부끄럽지 않다]" 그게 내가 처음 본 것 같아

그 이름은 그런 식으로 사용됩니다 와일리 ANIMA ANANDKUMAR : 그리고이 헤지 이벤트 기간 동안이 티셔츠를주는 기금이야, 그렇지? 그리고 그들은 그들의 평판을 얻었습니다 그들은 사람들에게주의를 기울 이도록했습니다 그래서 나는 왜 그들이 그것을 할 인센티브를 가지고 있는지 알 수 있습니다

그리고 그것은 증가하기 시작했습니다 그래서 저에게 그것은 형제 문화의 주입입니다 사람들이 골드 러쉬처럼 느껴지면 시간이 표시되었습니다 그리고 다시 많은 사람들이있다 빠른 돈 벌기 위해 들어가고 싶은 사람 또는 어떻게 든 빨리 이익을 얻는 것입니다

그리고 저에게, 그것은 학문적 인 직물을 정말로 파괴했습니다 그리고 회의의 지적 추구 그리고 어떤면에서 우리 모두는 그 변화에 여전히 씨름하고 있습니다 권리? 어떻게 처리할까요? 어떻게 관리할까요? 어떻게 전문성을 유지합니까? 우리는 진정으로 공동체가 성장하기를 바랍니다 우리는 실제로 AI의 민주화를 원합니다

우리는 훨씬 더 많은 인구에게 다가 가고 싶었습니다 우리는 그들이 AI 문제에 대해 생각하기를 바랍니다 그러나 우리는 어떻게하면 그것을 유지하면서 어떻게 할 수 있습니까? 지적 교류와 아직도 전문성 유지? 그래서 나에게이 이슈들은 이름에 달려있다 그리고 그 이름이 여자를 괴롭히는 데 사용 된 방법, 여성의 신체 부위에 대해 이야기하고, 문화적 변화가 반영된 것입니다 AI 커뮤니티에 들어 왔습니다

멜라니 워릭 : 왜 생각하니? 이 회의들이 너무 커 졌어 사람들이 전에 비해 대단히 중요합니다 ANIMA ANANDKUMAR : 이제 금메달이되었습니다 맞죠? 그것은 정말로 서두름입니다 골드 러시가? ANIMA ANANDKUMAR : 재능을 채용하는 측면에서, 연구원을 고용했다

그래서 회사들은 많은 일을했습니다 AI를 현실 세계로 가져 오는 놀라운 것들이 많이 있습니다 그러나 어떻게해야 하는가에 대한 도전도있다 우리는 여전히 지적 추구를 유지하고 있는가? 지적 교환을위한 길을 가지며, 채용 측면과는 구분된다 모집하고, 그렇지? 그리고 나는 많은 다른 분야가 이 큰 대회들을 아주 잘 지내라

매우 잘 정립 된 프로토콜이있을 수 있습니다 그러나 우리는이 성장을 매우 빠르게 보았습니다 그리고 나는이 기계 학습의 이사회가 회의가 적응할 수 없었습니다 아이디어가 새로 유입 될 필요가 있다고 생각하기 때문에 그곳에 그 말이 이치에 맞습니다

이제 우리는 올해, 특히 올해 컨퍼런스 한 걸음 뒤로 물러서서 그 이름을 평가했다 그들이 평가에 도움이되었던 것을 아십니까? 이름을 바꾸는 것을 고려해보십시오 ANIMA ANANDKUMAR : 작년에 내가 말하는 것처럼 나에게, 그것이 전부 끝내었던 곳이 친절한 곳과 같았다 몇 년 전처럼 깊은 학습 혁명이 시작되었습니다 우리는이 새로운 사람들과 거대한 사람들이 다가오는 것을 보았습니다

회의와 성격에 회의의 변화 그리고 많은 기업 파티와 이벤트가있었습니다 및 기타 외부 사건으로 거의 중앙 매력 주요 회의에 그리고 그 사람들이 번식하기 시작할 때, 행동 규범은 없었습니다 설립 된 기준이 없습니다

그래서주의를 끌기 위해 사람들은 다시 규범을 벗어난 일을하고 있었다 전문적인 행동 대부분의 연구자들이 가지고있는 주요 목표는, 특히 많은 여성 연구자들이 가지고 있습니다 지적 사물에 대해 이야기하는 것입니다 실제 기계 학습 연구에 대해 이야기하기 신체 부위를 놀리는 것에 대해 걱정하지 않아도됩니다

멜라니 워릭 : 동의했다 그리고 나는이 파티 밖에 들었다 출시 및 게시 된 몇 가지 추가 콘텐츠 사람들이 경험 한 다양한 괴롭힘 주위에 이 컨퍼런스 및 기타 컨퍼런스에서, 나는 또한 3 월에 공개 서한이 있다는 것을 읽을 것입니다 존스 홉킨스 대학에서 그 교수진이 이사회에 구체적으로 묻고 있었다 이름을 바꾸려면

그것은 내가 만났던 무엇인가이었다 이 모든 것에 참여한 또 다른 구성 요소입니다 ANIMA ANANDKUMAR : 물론입니다 Elana Fertig 교수님이 저와 연락하셨습니다 그녀는 존스 홉킨스 (Johns Hopkins)의 모든 노력에 대해 이야기하고있었습니다 그리고 그때 나는이 문제에 더 많이 얽매이기 시작했습니다

좋았어 ANIMA ANANDKUMAR : 저는 그것에 귀찮았습니다 그러나 나는 그것이 심지어 젊은 여성을 많이 괴롭혔다는 것을 깨달았다 내가 느낄 수있는 것보다 더 낫지, 그렇지? 그리고 나에게, 이것은 어떤 각도에서오고있다 개인적으로 나에게 많은 영향을주는 것이 아닙니다

나는 그것에 대해 화가났다 하지만 다른 사람들에게는 그 이상이었습니다 맞습니까? 그들은 사건에서 환영받지 못하는듯한 느낌을 받았습니다 심지어는 AI 연구원이되기도합니다 그리고 그것은 나에게는 격변 적입니다

멜라니 워릭 : 동의했다 그래서 이사회는 올해 설문 조사를했는데, 그들은 결과와 함께 나왔다 그리고 그것은 그들이 말한 몇 달 전과 같았습니다 너도 알다시피, 우리는 변화를 만들지 않을거야 그리고 그들은이 통계 분석을했습니다

왜 그들이 변화를 만들지 않을지에 관해서 그래서 당신은 그것에 반응했습니다 그 점에 대해 조금 이야기 할 수 있습니까? 결과를 본 후에 어떤 조치를 취 했습니까? ANIMA ANANDKUMAR : 제 말은, 제가 제일 먼저, 모두에게 묻는 설문 조사가 방해 받았다 이름 변경이 있어야합니다 멜라니 워릭 : 네

ANIMA ANANDKUMAR : 나에게 그것은 이미 트위터에 문제가있는 출발점이 있기 때문에, 내가 공개적으로 이름 변경을 지원했을 때, 다른 여성들이하고 있었고 이미 조업의 행동 남자들이 저에게 편지를 쓰면서 말했습니다, 오, 남녀 모두 젖꼭지가 있습니다 큰일이 뭐야? 그들은 이해조차하지 않습니다 이미 문제가 있습니다 멜라니 워릭 : 네

ANIMA ANANDKUMAR : 설문 조사는 이미 사람들이 건강에 좋지 않은 방식으로 토론 할 수있는 길, 이는 대다수에게 영향을 미치지 않는 문제이기 때문입니다 대다수의 남성, 특히 고위 남성은 그것에 대해 걱정할 필요가 없었습니다 그것은 그들이 가진 특권입니다 그리고 그들은 재미 있다고 느낄지도 모릅니다 그들은 잠깐 웃을지도 모른다

하지만 그게 끝이야 그게 유일한 효과입니다 그러나 특히 주니어 여성의 경우, 점점 더 나는 그들이 어떻게 너무 반갑고 부정적인 느낌 그리고 그것은 다른 모든 것, 당사자들, 형제 문화, 공격성 어떤 사람들은 다른 목소리 대 그들의 연구를 밀어 붙입니다 익사하고있다

그래서 나에게이 모든 것을 반영해라 이름 변경 토론과 함께 논쟁 중이었습니다 대다수가 그들에게 부정적인 영향을 미치지 않는 문제에 대한 결정 그리고 다른 한편으로, 나에게 이름이 바뀐다 그렇게 간단합니다

결국 우리가 보았 듯이 그리 어렵지 않습니다 문자 그대로 웹 사이트에서 이동하고 변경합니다 그리고 소셜 미디어에 멜라니 워릭 : 네 ANIMA ANANDKUMAR : 비용은 들지 않습니다

그리고 사람들은 논쟁하고 있습니다 오, 그것은 상징적입니다 그러나 우리는 적어도 상징적 인 것으로 시작하지 않을까요? 거기서 시작합시다 이것은 끝점이되어서는 안됩니다 그러나 거기서 시작하면 메시지를 보냅니다

모든 청녀에게 메시지를 보냅니다 그들의 목소리가 들리고, 그들의 우려가 들린다 그리고 우리는 그들을 만들기 위해 무엇이든 할 것입니다 더 편안하고 환영합니다 그리고이 모든 형제들에게도 메시지를 보냅니다

그 이름을 놀리며 실제로 파괴하고있는 회의의 전문성 이것은 가볍게 받아 들여지지 않을 것입니다 그리고 시간이 지남에 따라 우리는 강력한 행동 규범을 가질 수 있습니다 실제로이 행동에 대해 책임을 질 것입니다 그리고 이것이 이것이 제가 취할 수있는 길입니다 그러나 이것은 이름이 바뀌는 곳, 결정의 방식입니다

조사가 설계된 방식, 또한 편향된 샘플이었습니다 설문 조사에 응하도록 요청 받았다 멜라니 워릭 : 네 ANIMA ANANDKUMAR : 그래서 모든 참석자들이었습니다 나는 지난 5 년 동안 믿습니다

그러나 참석할 수없는 많은 여성들은 어떨까요? 다시 액세스 문제로 돌아갑니다 이 컨퍼런스에 선착순 인 경우, 이것을 Burning Man과 비교한다면, 이 티켓을 판매중인 티켓과 비교한다면 젊은 여성에 대해 생각해보십시오 우선, 회의에 가고 싶다면 너무 자신감이 없어야합니다 또는 여행 지원을받는 데 어려움이있는 경우

주니어 포지션의 남성과 여성 모두 누가 그것에 대해 생각하고 있지만 관리하지 않았다 그들은 가장 많은 것을 잃을 사람들이 될 것입니다 멜라니 워릭 : 네 ANIMA ANANDKUMAR : 그리고 학계, 그들은 동일한 자원을 가질 수 없기 때문에 그들이 업계에서 가지고있는 것 그래서 이것은 매우 편향된 샘플이었습니다

설문 조사에 응한 남녀의 비율 그리고 내 견해는 그들에게 영향을 미치지 않고 있다는 것입니다 더 많은 사람들에게 영향을주고있었습니다 커뮤니티에 들어가려고합니다 더 많은 중학교 학생들은 훨씬 더 많습니다

고령자보다 좋지 않은 영향을 받는다 지역 사회에 설립되었습니다 멜라니 워릭 : 나는 아직 내가 회의에 대해 들어 본 적이없는 사람을 만날 수있다 그 전에, 당신이 그들에게 그 이름을 말할 때, 그들은 즉시 그것이라고 생각하지 않는다 부적절한 두문자어

그러나 결과가 주어질 때, 당신은 청원을 시작하여 응답했습니다 너는 protestNIPS 해시 태그로 시작했다 changeorg에 탄원서를 만들었습니다 ANIMA ANANDKUMAR : 나는 파티에 정말 늦었다 고 인정해야한다

행해진 많은 노력이있었습니다 풀뿌리 수준에서 말하고있는 많은 여성들 트위터에서 그리고 제가 말했듯이, 존스 홉킨스 대학 (Johns Hopkins University)의 Dr Elana Fertig와 다른 많은 사람들은 Title IX와 협력했습니다 사무실에,이 서신을 초안, 이 모든 연구원들이 이것을 서명하도록했습니다

그래서 그들은 처음부터 많은 기초를 다졌습니다 그리고 내가 들어올 때 나는 생각하고 있었다 이걸 더 넓게 가져 가자, 그렇지? 그냥 기계가 아닌 열어 보자 트위터의 모든 사람들을 배우십시오 일반 인구가 이 두문자어가 진짜라는 것을 알기 위해 너무 충격을 받습니까? 그리고 그 곳에서 샘플을 디 바이어스하려고했습니다

왜냐하면 이미 사람들이 지역 사회에 있었고이 이름을 사용한다 당연한 일이지만, 실제 문제가있는 신선한 목소리 그리고 나는 이사회가주의를받는 것을보고 정말로 싶었습니다 그래서 본질적으로 존스 홉킨스 (Johns Hopkins) 도달하기 위해 changeorg에 올려 놓으십시오

더 넓은 커뮤니티에 멜라니 워릭 : 훌륭합니다 그렇다면이 탄원서 이후에 무슨 일이 일어 났습니까? 당신은 이미 사람들이 어떻게 반란을 일으켰는지 이야기했습니다 이름의 변화에 ​​반대하지만 어떤 반응 공개적으로 말하기 시작했을 때 얻었습니까? 이것에 대해서? ANIMA ANANDKUMAR : 나는 너무 행복하다는 많은지지를 얻었습니다 나는 그 방법을 매우 성취하는 것을 발견합니다

지역 사회가 나 뒤에 와서 많은 남성과 여성 retweeting Jeff Dean은 즉시 retweeted, 그는 회사가 책임을지기를 원한다 이 이름 변경을 뒷받침하는 거지? 그래서 저에게 그것은 정말로 목소리를 증폭 시켰습니다 그래서 놀라운 연구원이 많이있었습니다 누가 이것을 증폭시키는 데 정말로 도움이 되었습니까

멜라니 워릭 : 좋습니다 ANIMA ANANDKUMAR : 그게 대다수 였지, 그렇지? 그래서 대다수가 훌륭하고 착한 사람들입니다 그리고 작은 부분이있었습니다 누가 진실로 질문했다 그리고 그들은 정말로 혼란 스러웠습니다

대다수는 원어민이 아니 었습니다 그들은 종류가 짧은 형태를 알지 못했다 또는 그들은 진짜로 이것을 즉시 얻지 못했습니다 그래서 내가 Google 이미지를 넣었습니다 심지어 그것으로 시작하는 검색

멜라니 워릭 : 큰 영향입니다 비주얼은 이러한 것들을 위해 훌륭합니다 ANIMA ANANDKUMAR : 더 작은 섹션 공개적으로 말하고있는 사람들의 그들은 그들의 진정한 정체성과 이야기했다 그러나 진짜 질문이 있었다 그들 중 대부분이 돌아왔다

나는 그들 대부분이 적어도 깨달았다 고 말할 것이다 예, 영향을받지 않았을 수도 있습니다 괜찮습니다 그러나 그것은 많은 다른 사람들에게 영향을 미쳤습니다 그래서 그들은이 모든 목소리를 보았습니다

그 (것)들이 역으로 영향 받았다고 말하고 있었다 그리고 나서 그들은 그들이 이것을지지 할 필요가 있음을 깨달았습니다 그리고 저에게 그것은 최고의 부분이었습니다 이 중립적이거나 온건 한 사람이 몇 명이나되는지 직위, 누가 영향을 미치는 문제를 잘 모르고있다 소수 민족? 하지만 우리가 이것을 공개 우리가 정말로 할 수있는 대화가 있습니다

이 정보 교환을 얻고 공감을 높일 수 있습니다 그리고 그것은 그것의 가장 성취 한 부분이었습니다 그러나 부정적인 면도있었습니다 많은 가려 눕기가있었습니다 놀랄 일이 아닙니다

그것 모두는 익명이었다 그리고 Reddit 스레드가있었습니다 그게 개인적으로 내게 욕을 먹었어 이렇게 많은 어이없는 불쾌한 방식으로 지금 차단해야하는 많은 계정이 있습니다 나는 그들을 제거하기 위해 Reddit을 계속 밀고 나가야 만했다

그리고 그것은 광대 한 것들을 가져 왔고 여전히 거기에있었습니다 아직 거기에있는 일부입니다 그래서 이것은 목소리를 가진 사람이 포괄 성 또는 다양성 추구 소셜 미디어를 많이 사용합니다 그리고 우리는 어떻게 이 싫은 말을 피하십시오 그리고 저에게 저것은 진짜로 교란하고 있습니다 너무 많은 여성들이 말을 못하게하기 때문입니다

멜라니 워릭 : 사실이에요 나는 묻는 것을 주저하지만, 부분적으로 묻고 싶다 너를위한 조업은 얼마나 나빴 니? 얼마나 나쁜지 얘기 좀하고 싶니? ANIMA ANANDKUMAR : 물론입니다 그리고 내 트위터 스레드에서, 나는 그 스크린 샷 중 일부를 게시 했어 왜냐하면 사람들이 그것이 얼마나 나쁜지를 알기를 원했기 때문입니다

그들이 아무 것도 보지 못했기 때문에 많은 사람들이 충격을 받았습니다 그런 일이 그들에게 일어난다 그들은 결코 개인적으로 피해를 입지 않았습니다 그러한 종류의 괴롭힘과 조업에 내 외모에 대해 언급하고 있었다

내 전문성에 대해 논평했다 방금 내가이 자리에 올랐다는 말을했다 나는 여자이기 때문에 어떻게 할 수 있습니까? 나를 도왔던 모든 사람들에게 감사하지 마십시오 이 모든 것이 었습니다 그들은 나를 급진주의 여성 주의자라고 불렀습니다

그리고 나는 Reddit에 갔던 또 다른 여자를 안다 이 트롤에 대답하려고했습니다 그녀는 왕따를 당했다 그녀는 육체적으로 총으로 위협 받았다 그리고 이것은 공인 인 교수입니다

그리고 나서 당신은 정말로 얼마나 위험한 지 궁금해하기 시작합니다 모두 얻을 수 있습니다 그리고 나서 최악의 일은 단지 내가받은 개인 거물 그러나 다른 젊은 여성들이이 모든 과정을 통해 어떻게 괴롭 혔는지를 보여줍니다 그리고 저는 많은 젊은 여성들로부터 이메일을 받았습니다 또한 청년들 – 그들이 다른 사람들과 토론 할 때, 내가 방금 트롤링 중이라는 것을 알았습니다

나는 일종의 내려다 보였다 그리고 때로는 고문들이 학생들에게 말할 것입니다 탄원서에 공개적으로 서명하지 않기 심지어이 목소리를 빌려주지 않을 그들이 원했을지라도 그래서 당신은 말할 수 있습니다, 오, 이것은 무해한 이름 변경입니다 그러나이 괴롭힘과 괴롭힘의 언더 블 리를 열었습니다

멜라니 워릭 : 사악 해 ANIMA ANANDKUMAR : 네 그게 너무 많아요 그 말은 악의입니다 너무 간단하고 쉽게 할 수 있다면, 그렇다면 사람들은 왜 그렇게 악의적으로 행동하고 있습니까? 끔찍한 짓이야

그리고 정말로 적절한 단어가 없습니다 하지만 지금 당장 내 머릿속에있는 뭔가가 내가 말할 필요가있다 고마워요 변화를 위해 싸워 주셔서 감사합니다 그 일을 한 다른 사람들 외에, 에너지를 퍼 부어 주셔서 감사합니다

이것은 당신의 직업이 아니기 때문입니다 이것은 당신의 직업이 아닙니다 그것은 누구의 직업도되어서는 안됩니다 그리고 현장에서 계속 리더가되어 주셔서 감사합니다 사물 때문에 떠날 수 없다

네가 본 경험이있다 고마워 ANIMA ANANDKUMAR : 고마워요, 멜라니 목소리를 증폭 해 주셔서 감사합니다 모든 지원에 감사드립니다

이 모든 것이 전개 될 때, 당신은 나에게 메시지를 보내고있었습니다 당신은 그처럼 훌륭한 원천이었습니다 그리고 그것이 내가이 모든 놀라운 동맹국들을 찾은 곳입니다 우리는 그런 식으로 강해졌고 다음에 알게되었습니다 사람들이 누구인지, 더 의미있는 변화를 일으킬 수 있습니다

이제는 내 지역 사회를 알고 있습니다 이제 저는 동맹국을 압니다 그리고 그것은 매우 중요합니다 그리고 네, 여기 머물러 있고, 잡동사니 또는 다른 방법으로 여기 있습니다 멜라니 워릭 : 좋습니다

ANIMA ANANDKUMAR : 그건 안할거야 그게 나를 더 강하게 만들거야 그리고 그건 단지 당신이 알다시피, 조업 일수는 번호가 매겨집니다 나는 정말로 큰 변화를보고 싶다 나는 모든 것을하고 싶다 나는 조업을 제한 할뿐만 아니라, 커뮤니티에서 이러한 모든 종류의 나쁜 행동을 제한하는 것입니다 그리고 더 넓은 공간에서

멜라니 워릭 : 동의했다 다시 전이하면 청원서를 받았고, 청원과 당신이 가진 모든 일들 사이에서 당신이받은지지와 도움이되었습니다 이사회가 재고 한 것처럼 보입니다 최근 회의가 있기 전에, 그들은 변화를 발표했다 그리고 그 변화는 다소 타협입니다

전체 이름을 변경하는 대신, 그들은 지금 변화하고 있습니다 당신도 알다시피, 그들은 신경 정보 처리 시스템, 두문자어는 NeurIPS가 될 것입니다 그래서 등자물 같지만 정확하게는 아닙니다 ANIMA ANANDKUMAR : 그건 그림이 아니야 나는 내 마음 속에서 싶다

그러나 – 멜라니 워릭 : 저게 뭐야? ANIMA ANANDKUMAR : 나는 그림을 원하지 않는다고 말했다 내 마음 속의 등딱지들 멜라니 워릭 : 알아 내 머리 속으로 계속 들어가는 그 말이야 사람들이 새로운 두문자어를 말할 때마다

ANIMA ANANDKUMAR : 아마도 [? 순무?] 멜라니 워릭 : 네 그래서 새로운 이름에 대해 어떻게 생각하세요? ANIMA ANANDKUMAR : 나는 새로운 이름이 좋은 타협이라고 생각한다 나는 깨끗한 슬레이트로 시작하는 것을 좋아했을 것이다 그게 더 힘들지 않았기 때문입니다 하지만 우리가이 시점에 도달하게되어 기쁩니다

그리고 제가 말했듯이 그것은 그 이름에 관한 것보다 훨씬 큽니다 열리는 모든 힘입니다 우리가이 이름의 변화를 토론 할 때 그것이 우리가 훨씬 더 많이 작업 할 필요가있는 것입니다 그래서 저는 다음 단계로 넘어 가고 싶습니다

나는 훨씬 더 영향력있는 코드를보고 싶다 행동의 현재는 놀랍습니다 그것은 짧은 시간에 이루어졌습니다 Hal Daumé와 Katherine Heller는 놀라운 일을했습니다 함께

하지만 이제 나는 물어보고 싶은데, 그 반향은 무엇인가? 누군가 만난다면? 진정한 반향이 있어야합니다 그때 만 이빨을 가져야합니다 그래서 이것들은 우리가 스스로에게 물어볼 필요가있는 것들입니다 다음 단계로 멜라니 워릭 : 뭔가 있니? 그 사람들에게 권하고 싶습니다 현장에서 포괄 성을 향상시키는 데 도움이 될 수 있습니까? ANIMA ANANDKUMAR : 전문적인 상호 작용 당신이 사람들과 이야기하는 경우에 매우주의해야합니다

누가 너보다 후배 지 심지어 생각조차하지 않는 행동조차도 그들에게 큰 영향을 줄 수 있습니다 그리고 더 잘 의사 소통하십시오 사람들이 편안하다고 느끼는 지 확인하십시오 네가 그들과 이야기 할 때

그래서 나는 그 기초부터 시작할 것입니다 나는 Jeff Dean이 놀라운 Twitter 스레드를 가지고 있다고 생각한다 그는 여성 연구원의 경험을 크라우드 소싱했다 그들이 가진 회의와 부정적인 경험 그리고 나서 그는 말했다, 오, 당신이해서는 안되는 것들이 있습니다

예를 들어, 제가 처음 만난 컨퍼런스에서, 내 고문은 훌륭합니다 그는 나를 다른 고위 남성 연구원에게 소개했다 교수 그리고 그는 나를두고 나에게 소개해주었습니다 그는 다른 누군가와 이야기해야했다

그는 떠났고, 그는 더 나아 갔다 이 대화를 장악하십시오 그 교수가 나에게 말했다 오, 너를 소개시켜 줄게 내 여자 대학원생에게

둘 다 여자이기 때문에, 당신은 그녀와 더 잘 지낼 것입니다 제 말은, 저처럼, 저기요 당신도 알다시피, 나는 시작 연구원이다

나는이 노인과 정말로 이야기하고 싶다 내가 바라 보았다 그리고 이것은 단지 – 그에게는 너무 자연스러워 보였지만 내게는 그렇게 나쁜 영향을 미쳤다 그리고 여성들이이 모든 것을 표현하는 것이 중요합니다 그 (것)들을 불편하게하고, 환영받지 못하고, 남자들이주의를 기울일 생각을하고, 그리고 나서 이것을 더 넓게 열어 라

다른 다양성 그룹에게 나는 AI에서 흑인이 다양성에 대한 놀라운 노력을 보았다는 것을 안다 내 말은, 우리는 연구원이오고 아무도 참석하지 않은 국가의 전에이 회의들 저에게는 그곳에서해야 할 일이 너무 많다는 것을 보여줍니다 그러나 그들은 또한 무거운 짐마차를 받았다

많은 쟁점을 겪고있다 그래서 나, 예, 우리는 지금 여자들부터 시작합니다 내가 그 경험을 비춰 줄 수 있기 때문이다 나는 그들을 이해한다 그러나 그것이 다른 그룹들에게 어떻게 영향을 미치는지 이해하고 싶습니다

다른 사람들이하는 이슈는 무엇입니까? 나는 결코 가질 수 없을지도 모르는가? 나에게는 나만의 특권이 있지만 다른 사람들에게는 특권이있다 서로 다른 배경에서 왔고 더 많은 문제에 직면 해 있습니다 모든 사람들의 문제를 어떻게 해결할 수 있습니까? 멜라니 워릭 : 나는 그것이 중요한 점이라고 생각한다 그리고 우리는 일주일에이 팟 캐스트를 공개합니다 회의가 있기 전에 NeurIPS 회의

그리고 당신이 언급 한 것처럼, 인공 지능과 LatinX 및 WIML에서 Black을 좋아합니다 이제 그 이름이 바뀌었고, 타협이 있었는데, 무엇이 당신은 회의의 관점에서 기대하고 있습니까? 당신이 흥분하는 분야는 무엇입니까? 당신이 생각하기에 좋다고 생각하는 것, 계속되고있는 그 다양성 노력의 바깥쪽에 이 분야에 더 많은 연구원을 끌어들이는 데 도움이 될까요? ANIMA ANANDKUMAR : 물론입니다 나에게이 컨퍼런스에 참석하기 항상 새로운 혁신에 관한 것입니다 새로운 기술 혁신과 마찬가지로 젊은 연구원처럼 젊은 사람들이하는 일은 너무나 많습니다

우리가 어떻게 그들을 양육하고 격려 할 수 있겠는가? 그들이 처음으로 컨퍼런스에 참석하는 경우 또는 논문을 발표 할 때 어떻게해야합니까? 그것을 다음 단계로 가져 가라, 내가 그들과 어떻게 대화 할 수 있는지 더 넓은 모든 그림에? 이것이 내가이 회의를 최대한 활용할 수있는 곳입니다 그리고 워크샵에서 더 많은 교환 그것이 훨씬 더 유기적이기 때문에 일어날 수 있습니다 방금 시작했거나 더 많은 일을했습니다 예비 단계에서, 그렇지? 브레인 스토밍을 할 수있는 여지는 훨씬 많습니다 피드백을 받기 위해, 피드백을 받기 위해

과거에는 많은 결과를 얻었습니다 회의 도중 나는 앉아서 사람들과 브레인 스토밍을하고, 새로운 아이디어를 생각해 내십시오 그리고 이제는 커뮤니티가 규모가 커짐에 따라 더 어려워졌습니다 그러나 나는 아직도 이것을 추구하고 싶다

그리고 이것은 우리가 군중을 통제 할 필요가있는 곳입니다 우리는 이것을보다 관리하기 쉬운 방법을 찾아야합니다 사실, 나는 이것을 WIML이나 Black에서 더 많이하는 경향이있다 왜냐하면 그것들은 더 작은 사건이기 때문입니다 나는 개인적인 수준에서 대화하고 아이디어를 교환 할 수 있습니다

멜라니 워릭 : 훌륭합니다 마지막으로 두 가지 질문 중 하나가 있습니다 인터뷰 많이 했어 아무도 당신에게 누군가를 원한다고 묻지 않는 질문들 물어볼 것인가? ANIMA ANANDKUMAR : 사람들이 물었습니다

업계 대 학계에 관한 나에게 많은 왜냐하면 나는 양쪽에있어 그리고 저는 그들 각각의 선과 악을 봅니다 그래서 대부분의 질문은 일반적으로 업계가 어떻게 도망 치고 있는지 학문적 재능 어떻게 피할 수 있습니까? 그리고 내가 항상 말하기를, 저기 봐 많은 긍정적 인 영향을 미친다 왜냐하면 많은 교수들이 나처럼 두 산업 간의 시간을 나누고있다

학계와 학계가이 양도에 정말로 도움이됩니다 학계에서 산업계에 이르기까지 다양한 정보를 얻을 수 있습니다 아무도 내게 전에 물어 본 적이없는 질문입니다 산업이 어떻게 학계에 긍정적 인 영향을 미치는지, 아직 실현되지 않은 것은 무엇입니까 [INAUDIBLE] ?? 또한 많은 좌절감이 있기 때문에 나와 현재 학문적 인 연구원들에게 체계 그리고 저에게 그것은 연구 방법입니다

출판에 많은 관심을 가지고 있습니다 또한 소프트웨어 프레임 워크를 만드는 데 거의 집중하지 않았으며, 사람들이 실제로 할 수있는 커뮤니티 노력을 창출합니다 생태계를 구축하고 모듈 형 소프트웨어에 대해 생각해보십시오 다른 사람들에게 도움이 될 것입니다 일부 연구, 자신의 코드를 완료 그들은이 논문을 쓰고 이것을 출판하고 있습니다

그리고 저에게 업계는이 게임을 변화 시켰습니다 이러한 영향은 오픈 소스를 통해 발생하기 때문에 프레임 워크, 커뮤니티에서 사용하고 있습니다 그리고 이것에 공헌해라 그래서 제가 진정으로 바라는 것, 제가 추구하는 것은, 우리는 과학의 다른 분야에서 어떻게 이것을 할 수 있습니까? 문제는 다른 기본 과학에서, 지금이 일을하는 산업은 없습니다 어떤 산업도 이것에 대한 연구를하지 않습니다

그렇다면이 분야의 다른 점은 무엇입니까? 산업에 의해 방해받지 않는가? 나는 혼란과 혼란을보고 싶다 인센티브가 어떤 의미인지 더 나은 방법으로 정렬 이러한 장벽을 어떻게 제거 할 수 있을까요? 그것은 대부분 사회 학적입니다 이 아주 오래된 레거시 코드가 일부 고 에너지 물리학에서 사용되었습니다 무슨 일이 일어나고 있는지 이해합니다

오늘도 여전히 사용되고 있습니다 우리가 수십억 달러를 가지고있을 때에도 수행되는 실험의 실험적 부분 너무 많은 자원이 필요합니다 그리고 그 곳에서 보조금이 지원됩니다 그러나 계산 측면에서 궁극적으로 이러한 응용 프로그램에 AI를 사용하려면, 기본적인 장벽이 있습니다 그들은 사회 학적으로 보일 수도 있고 더 평범 할 수도 있습니다

그들은 수학적 장벽이 아닙니다 그러나 중요한 장벽입니다 그리고 나는 그것을 방해하는 방법에 대한 좋은 대답이 없습니다 MELANIE WARRICK : 좋은 질문입니다 너를 놓기 전에 내가 만지고 싶었던 다른 것? ANIMA ANANDKUMAR : 다시 한 번 감사드립니다, 멜라니

많은 질문을 던지 셨습니다 내가 감정을 표현할 수있는 곳 이 시위를 겪었을 때 NIPS 지역 사회와 소통하십시오 이 목소리를 증폭시켜 주셔서 정말 고맙습니다 대출 지원 정말 고마워

고마워 이 팟 캐스트를하는 것 멜라니 워릭 :와 주셔서 감사합니다 우리 이야기 정말 고마워, 아니마

OK, 그주의 질문 어떤 유형의 왕따 또는 조업을 다루는 경우 또는 당신은 이것에 대해 걱정하고 있습니다 네가 할 수있는 일이 있니? 글쎄, 나는 여기에 몇 가지 링크를 포함시켰다 너 체크 아웃 할 수있어 전자 프론티어의 훌륭한 정보가 있습니다

감시, 자기 방위, 팁 및 도구 재단 나는 그것을 한 번에 모두 읽는 것을 권하지 않는다 나는 거기에 들어가서 둘러보고 선택하라 그리고 말이되는 것을 선택하십시오 또한 Feminist Frequency가 제공 한 당신을 돕기위한 멋진 정보 온라인을보다 잘 보호 할 수있는 방법을 제공합니다

이것은 절대 안전한 과정이 아닙니다 이것은 완벽한 과정이 아닙니다 그러나 적어도 그것은 당신이 할 수있는 어떤 것입니다 특정 단계를 수행하는 데 관심이 있다면 수행하십시오 그리고 그들은 저 밖에있는 유일한 사람이 아닙니다

누가 콘텐츠를 제공했는지, 그래서 당신은 분명히 더 탐험하기 위해 검색을 해보십시오 좋아, 그럼 우리 모두 어디로 갈거야? 글쎄, 우리가 그것에 대해 말했듯이, 마크는 12 월에 KubeCon에서 열릴 예정입니다 그래서 당신이 거기에있을 예정이라면, KubeCon, Koob-Con, 그러나 당신이 그것을 선언하면, 당신은 가서 그에게 인사해야합니다 그리고 나서 이번 주에 실제로 SOCML에있게 될 것입니다 그리고 다음 주에 제가 말씀 드렸듯이, NeurIPS가 될 것입니다

몬트리올 (Montreal)에 가려면, 당신은 확실히 워크샵의 일부를 확인해야합니다 WIML은 12 월 3 일에, 블랙은 AI에있을 예정입니다 12 월 7 일에있을 예정이며 LatinX 12 월 8 일에있을 예정입니다 그래서 네가 거기 있다면,가 이 여러 커뮤니티를 확인하십시오

그들은 좋은 사람들, 특히 배우고 있습니다 AI 공간에서 이번 주 팟 캐스트에서 우리를위한 것입니다 우리와 함께 해줘서 고마워 다음 주에 너와 얘기 할거야

[음악 재생]

Kubeflow – Tools and Framework (Google Cloud AI Huddle)

[음악 재생] 오늘 발표자는 아비새입니다 Abhishek은 Kubeflow를 설계하는 엔지니어 팀을 관리합니다

플랫폼 및 임무 지원 확장 가능한 LM 모델을 만드는 Kubeflow 가능한 한 간단하게 제작에 적용 할 수 있습니다 그는 원래 Google 검색에서 일했습니다 크롤링 및 색인 생성 시스템에서 엔터프라이즈 ML 신생 기업에서 수년을 보냈다 그가 클라우드 AI 플랫폼으로 돌아 오기 전에 현재 Kubeflow에서 작업 중입니다 Abhishek, 그것을 가져 가라

ABHISHEK GUPTA : 좋습니다 고맙습니다 [INAUDIBLE]와 Shantru [박수 갈채] 환영합니다 사과 해 주셔서 감사합니다

약간의 지연이 있었지만 우리는 시작할 것입니다 그리고 나는 Shantru가 이미 청중과 의사 소통하는 방법을 모델로 알려주십시오 가능하다면 조금 대화식이되고 싶습니다 도중에 몇 가지 질문을 할 수 있습니다 승인

나는 첫 번째로 생각한다 우리 모두는 기계 학습에 관해서 이야기 할 때 아마 여기 있습니다 우리가 뭘하고 싶니? 마음에 떠오르는 것은 모델을 만들고 싶다는 것입니다 데이터 과학자는 몇 명입니까? 또는 데이터 과학자라고 생각합니까? 나는 거기에 하나를 본다 내가 예상했던 것보다 낮다

나는 더 많은 데이터 과학자라고 확신한다 다른 사람? 얼마나 많은 엔지니어가 엔지니어입니까? 누가 모델을 생산합니까? 승인 조금 더 큰 그룹 큰 고맙습니다

너는 모두 서로 다른 경험을 했어 그러나 이것 모두는 아마 이것을 직면했을 것입니다 당신은 당신이 모델을 만들 예정이며, 실제 작업을 시작하면, 음, 다른 것들이 많이 있습니다 당신은 심지어 할 수 있기 전에 주변에서해야합니다 TensorFlow에 손을 올려 놓거나 모델을 훈련시키는 무언가를 얻으십시오

당신은 데이터로 시작하고 당신은 알아 내야 만합니다 시스템에 데이터를 가져올 위치 데이터 분석, 데이터 변환, 검증 사실, 테스트 세트를 만들고 훈련 세트를 만든 다음 모델 교육, 모델 제작, 많은 실험 그런 다음 모델의 유효성을 검사하려고합니다 실제로 그것이 당신이 찾고있는 것을 않습니다

그 후에는 규모에 맞게 훈련하고 싶습니다 모델 제작 롤아웃 생산에 들어 가지 않으면, 나는 그것이 왜 [INAUDIBLE]인지 모르겠다 모형을 전혀 훈련시키지 않는 것 같습니다 가장 중요한 단계

그리고 실제로, 그것을 해결하고 아마도 그 주위의 응용 프로그램 물론, 결국, 당신은 모니터링 및 로깅 기능을 제공합니다 우주에서이 작업 흐름의 문제점은 무엇입니까? ML 스택이나 파이프 라인 설정은 엄청나게 어렵습니다 이 일을 해 준 사람은 누구나 생각합니다 나는 당신이 serialize를 시작할 때, 당신은 많은 도구를 설치해야합니다, 데스크톱, 워크 스테이션, 어디서든 작업 할 수 있습니다

당신은 많은 엔지니어링에 빠지게됩니다 그리고 설치가 필요한 곳에서는 [INAUDIBLE]을 연결된 것들, 함께 일하는 것들, 네트워킹을 알아내는 것들 그리고 나는 모릅니다 생산 엔지니어와 상담하십시오 프로덕션 환경에서이 작업을 수행하는 것은 더욱 어렵습니다 너는 조심해야한다

그곳에 이미 있습니다 모델을 잘못된 방식으로 생산한다면, 완전히 잘못된 예측을 내릴 수 있습니다 과학자가 의도 한 데이터에서 실제로 모델을 훈련시켰다 그리고 작동하는 ML 스택을 설정하십시오 다른 클라우드 또는 다른 배치 전반 매우 어렵습니다

사실, 나는 전혀 모른다면 어떻게 될지 모르겠다 현재 도구 세트로 가능합니다 그리고 오늘의 토론을위한 우리의 현재 목적을 위해, 우리는 당신의 데스크탑에 귀하의 로컬 노트북을 고려할 것입니다 멀티 클라우드이기도합니다 그것은 단지 구름의 또 다른 예입니다 괜찮아

실험 스택을 보면, 모델을 만들 때, 당신은 현지에서 훈련하고, 물건을 시험해보고, 물건을 많이 가지고 있습니다 랩탑에서 돌아가서, 가속기가있는 하단의 하드웨어부터 시작하여, 운영 체제 드라이버, 런타임 및 저장소 그리고이 위에는 프레임 워크가 있습니다 실제로 모델을 훈련하고 구축하는 데 사용합니다 스택 맨 위에있는 랩탑이나 데스크탑에서, 당신은 마이크로 서비스를 많이 설치하려고합니다 워크 플로를 작성하고 만들 수있는 읽기 및 데이터, 교육, 그런 다음 모델을 테스트하고 예측을합니다

이제 우리는 한 걸음 더 나아가게됩니다 이 모든 일을 다시 끝내야 해 실제로 규모에 맞게 모델을 훈련시키려는 경우 우리 모두는 많은 양의 데이터로 모델을 교육하는 것을 좋아합니다 우리가 사용할 수있는 데이터 세트가 많을수록 데이터가 많아집니다

당신이 사용할 수있는 포인트 다행히 모델에서 더 나은 정확도를 얻을 수 있습니다 그리고 마침내, 당신은 실제로 모델을 클라우드에 배포하려면 실제로는 끝 포인트는 사용자가 액세스 할 수 있으며 실제로 만들고 있습니다 현실 세계의 차이 모델의 실제 의도

이 세 가지 환경 모두에 대해, 불행히도 현재 세트에서 현재 이용 가능한 기술들, 말 그대로 많은 것을 다시해야합니다 실험 스택에서 한 행동 실제로 모델을 구축하는 것은 아닙니다 생산에 적용하거나 배치 할 수있는 것 구름에 그리고 그 일을하는 데 수반되는 많은 일이 있습니다 이것이 우리가 Kubeflow를 짓는 것을 생각한 이유입니다

그리고 우리는 이러한 노력을 시작했습니다 문자 그대로 우리의 사명은 모든 사람이 쉽게 사용할 수 있도록하는 것입니다 휴대용 분산 개발, 배포 및 관리 ML Kubernetes에 요약하면 기본적으로 플랫폼 Kubeflow를 실행할 수있게 할 것입니다 어디에서나 Kubernetes를 실행할 수있는 곳이라면, 전 구름에 상관없이 또는 어떤 종류의 클라우드 플랫폼

Kubernetes를 실행할 수 있다면 Kubeflow를 배포 할 수 있습니다 기술 스택을 함께 가져와 로컬 시스템을 포함하여 따라서 로컬 컴퓨터에서도 Kubernetes를 실행할 수 있습니다 이 기술로 본질적으로 스택이 어떻게 생겼는지입니다 말 그대로 Kubeflow 서비스를 사용하고 있습니다 배포하고 개발하는 모든 것이 무엇이든, 당신은 모든 환경에서 그것을 번역 할 수 있어야합니다

많은 노력없이 Kubeflow 내부에서 일어나는 일을 살펴보면, 우리는 마이크로 서비스를 많이 가지고있다 우리는 ML 워크 플로우를 구축하는 데 의존하고 있습니다 그리고 우리는 모든 구성 요소를 통합했습니다 일부는 TensorFlow DFX 및 기타의 Google 자체에서 제공됩니다

TF와 같은 것들을 포함한 오픈 소스 커뮤니티에서 Transform, Numpy, 데이터 변환을위한 스파크, 목성 데이터 검증을위한 TF 데이터 실제로 개발 환경을 위해 당신은 당신의 모델 인 TF Job, MXNet, 규모에 맞게 모델을 실제로 훈련하는 PyTorch TF Serving, Seldom, TensorRT를 통해 대규모로 모델 제공 원하는 대기 시간과 함께 그리고 모니터링을 위해 프로 메테우스 우리가 슬라이드에 들어갈 수없는 것들이 더 있습니다 또한, 상자가 있음을 알 수 있습니다 지금 내용이 누락되었습니다 따라서 더 많은 역량을 구축해야합니다

공동체가 참여하게한다 플랫폼에 솔루션을 통합 할 수 있습니다 알았어 그래서 그것은 뒷 이야기의 일종이었다 Kubeflow가 무엇이고 어떻게 솔루션을 번역 할 수있게 해줍니다

다른 플랫폼에서 이 슬라이드에서 시간을 보내길 바래 사용자 경험이 무엇인지 생각해보십시오 같이 보일거야 모델 개발을 해본 사람들, 우리는 당신이하는 일의 흐름이 어떤 것인지를 알고 싶어합니다

당신이 어떻게 당신을 이해하려고하는지 모델을 개발하고 구축하십시오 Kubeflow의 중요한 목표 중 하나 정말 낮은 막대와 높은 천장의 경험을 만들어냅니다 천장이 높다는 것은 무엇을 의미합니까? Kubeflow가 설계된 방법에 주목하면 Kubernetes의 상단에, 그것은 어떤 Kubernetes도 제한하지 않습니다 레벨 API 그리고 Kubeflow에서 사용할 수있는 모든 도구에서, 당신은 당신의 마음의 내용을 구성 할 수 있어야합니다

그리고 당신이있는 어떤 환경에서도 Enterprise World에는 많은 복잡성이 있습니다 많은 도전적인 네트워킹 설정, 다른 종류의 환경 을 위해 최적화해야 할 수도 있습니다 그리고 Kubeflow의 설정 당신이 세부 사항으로 내려갈 수 있어야합니다 필요한 모든 것을 수정하십시오

그것은 당신의 환경에서 작동합니다 하지만 다른 한편으로는 Kubernetes에 익숙하지 않은 사용자 이 플랫폼에 액세스하여 Kubernetes를 구축 할 수 있어야합니다 Kubernetes를 배우는 것에 대해 걱정할 필요없이 흐릅니다 데이터 과학 분야에서도 마찬가지로 뿐만 아니라 엔지니어가 있습니다 학습 데이터 과학을 시작합니다

Kubernetes에는 좋은 배경이 많이 있습니다 및 시스템을 사용하지만 데이터에 익숙하지 않을 수도 있습니다 과학 우리는 그들을 위해 낮은 막대를 만들고 싶습니다 데이터를 만들 수있는 도구가 있어야한다

과학 기계 학습 제품 세부 사항에 너무 많이 가지 않고 가능하면 다양한 기술을 배우는 것 좋아, 그걸 염두에두고, 나는 우리를 걸을 수있는 모범을 제시한다 우리가 방금 이야기 한 사용자 경험을 통해 구체적으로 초점을 맞추고 있습니다 제 생각에 많은 사람들이 이미 무엇에 대해 잘 알고 있다고 생각합니다 GitHub 문제입니다

일반적으로 GitHub에 가면 생각합니다 실제 문제와 관련된 콘텐츠가 있습니다 너는 모든 세부 사항을 가지고있다 그리고 나서 당신은 라벨을 붙입니다 – 제목 GitHub 문제 제목 그것은 적합하거나 묘사하고, 요약하고, 그게 무슨 문제 야? 우리가보고있는 문제 본질적으로 버그를 신고하는 사용자입니다 그리고 그들이 어떤 문제를 겪고있을 때, 그들은 올바른 사고 방식에 있지 않습니다

그리고 그들은 실제로 무슨 일이 일어나고 있는지에 대해 고민하고 있습니다 그리고 그들이 원하는 것은 그 오류를 붙여 넣는 것입니다, 제공하고자하는 정보를 제공하십시오 문제를 제기하십시오 생각할 시간이 아닐 수도 있습니다 정확히 무슨 일이 일어나고 무엇이해야 하는가? 버그의 진짜 제목은

이를 염두에두고 데이터 과학자 중 한 명이 Hamilton의 GitHub에서이 문제에 대해 실제로 생각했습니다 그는 ML 알고리즘이나 ML을 생각해 낼 수 있다고 느꼈다 콘텐츠를 볼 모델, 그것을 분석하고, 그 제목을 제안 해 주시길 바랍니다 관련성이 높고 도움이됩니다 그래서 저는이 시점에서 하멜에게 감사 드리고 싶습니다

실제로이 모델을 만든 GitHub에서, 그리고 도움을 준 Ankush와 Michelle 이것을 Kubeflow 위에 응용 프로그램으로 제작합니다 그리고 내가 사람들에게 감사하는 단계에있는 동안, 다른 많은 사람들에게도 감사해야합니다 당신이보고있는 내용은 실제로 내 창조물이 아닙니다 실제로 그것을 만드는 데 많은 도움을 준 사람들입니다 그리고 저는 개인적으로 제레미에게 감사 드리고 싶습니다

실제로 여기 주변에 있습니다 가능한 한 그를 만나시기 바랍니다 그는 Google Kubeflow 엔지니어링 팀의 기술 선도자입니다 그리고 그는 개념화하고 공식화했다 2017 년에 시작된 Kubeflow 주변 아이디어 2017 년 12 월 발표 제품 관리자 David과 함께이 세계에 아론 틱, 오늘 여기 없어요

그래서 그들 중 2 명은이 프로젝트를 공동 창립했습니다 실제로 비전과 기술을 정의했습니다 이 일이 일어나고 그 다음으로 나아갈 것입니다 우리가 그 (것)들에게 방향을 제공하기 위해 많이 의존한다고 말하십시오 또한 Google의 Kubeflow 엔지니어링에 감사드립니다

팀 그것들이 없으면이 모든 것이 불가능할 것입니다 그리고 물론 Kubeflow 커뮤니티 – 우리는 정말로 우리 공동체를 사랑합니다 그들은 개방적이고 친절하며, 그리고 그들은 우리와 함께 많은 것을 돕는다 이러한 문제에 대한 해결책을 제시합니다

좋아, 앞으로 나아가, 첫 걸음 사용자 경험에서 우리가 이야기하고 있었던 배포였습니다 그리고 이것은 실제로 신선한 것입니다 지금까지는 직접 사용할 수 없습니다 하지만 배포 경험에 대한 미리보기를 제공하고자합니다 이 응용 프로그램과 같이 보일 것입니다

우리가 짓고있는 이 배포는 배포입니다 Kubeflow가 Google Kubernetes 엔진 위에 있습니다 앞에서 언급했듯이 Kubernetes가 어디에 있든 Kubeflow를 배포 할 수 있습니다 Microsoft Azure, AWS, 또는 다른 어떤 [? 클라우드 중심?] on prem 하드웨어 그러나 우리는 특별히이 프리젠 테이션에 초점을 맞추고 있습니다

GKE 기반 배포 당신은 몇 가지 [? ?] [INAUDIBLE] 세트 Google에 대한 정보를 제공하는 방법에 대해 이야기합니다 프로젝트, 원하는 클라우드 프로젝트 스택을 배포하고 배포 이름을 지정하려면 그런 다음 일종의 인증 정보를 제공합니다 클릭 배포를 말할 수 있습니다

몇 분 후, 함께 클러스터를 볼 수 있어야합니다 Kubernetes 엔진에서 실행되는 서비스 계기반 그럼이게 무엇을 보여주고 있습니까? 작은 글꼴에 대해 유감스럽게 생각합니다 그러나 근본적으로, 이것들은 몇 가지 핵심 서비스들입니다 귀하의 클러스터에 Kubeflow가 배치됩니다

배포를 만들 때 이 중 많은 것들이 함께 묶는 것이 기본입니다 워크 플로 또는 프로세스를 모델 교육 또는 배포에 사용할 수 있습니다 여기에서보고있는 URL 근본적으로 액세스 포인트에 들어가는 방법입니다 Kubeflow 클러스터 배포 모든 것이 기본적으로 배포 방식입니다

클라우드 프로젝트에서 보호됩니다 예외가있는 외부 IP에서 액세스 할 수 없습니다 이 진입 점을 IP 보호, Google IP 보호, 당신이 모든 액세스 권한을 부여하고 클러스터로 들어갑니다 따라서 해당 링크를 클릭하면 Kubeflow 대시 보드 지금은 아주 적습니다

그리고 우리는 여기에 들어가야 할 올바른 정보는 무엇입니까? 그리고 모두 의미가 있습니다 하지만이 시점에서 당신이 몇 가지로 반송 도움이 당신이 가장 일반적으로하고있는 것입니다 그것이 도움이 될 것 인 첫번째 물건은 당신이 도착하는 것을 돕는다 JupyterHub입니다 JupyterHub는 실제로 당신의 발달을

이것이 배포 프로세스의 다음 단계입니다 나는 여기서 약간의 시간을 들여서 되돌아와보고 싶다 우리가 낮은 술집, 높은 천장에 대해 이야기했던 우리 교장 선생님 께 우리는 UI, 웹 UI 기반 배포 프로세스, 전개에 대한 기준을 낮추어 그렇지 않은 데이터 과학자들도 쉽게 사용할 수 있습니다 Kubernetes에 익숙해 Google Cloud에 접속하십시오

Kubeflow를 만들 수 있어야합니다 많은 노력없이 클러스터, 단 몇 번의 클릭 몇 번의 키 입력 그러나 다른 한편으로, 우리는 무슨 일이 일어나고 있는지 잘 아는 사람 배포가 무엇인지에 대한 완전한 제어권을가집니다 같이 보일거야 그래서 앞에서 살펴본 CLI 기반 배포 명령 줄 도구 인 kftctl을 사용합니다

또한 배포를 제어 할 수 있습니다 4 개의 명령 세트 – init, 생성, 적용 및 삭제 워크 플로 배포 방법에 대한 예를 볼 수 있습니다 오른쪽에 먼저 배포를 초기화하는 것으로 시작하여 결국 몇 가지 매개 변수, 환경 변수, 귀하의 클라우드 구성이 무엇인지 판단하십시오 같이 보일 것입니다

그런 다음 환경을 만듭니다 변하기 쉬운 그리고 init은 디렉토리입니다 Kubeflow를 참조하는 Kubeflow 응용 프로그램 전개 그것이 완료되면, 당신은 할 수 있습니다 – 이 경우에도 다시 Google Cloud Platform 인 GCP를 가리 킵니다

그래서 결국 GKE 클러스터를 만들게 될 것입니다 다음 단계는 기본적으로 플랫폼을 생성하는 것입니다 그리고 생성되는 것은 그것이 생성하는 것입니다 GKE 구성에 대한 많은 구성 같이 보일거야 이 이점은 생성 된 구성 집합 배포를 수행하는 곳에서 로컬로 사용할 수 있습니다

그 구성에 액세스 할 수 있습니다 가서 무슨 일이 일어나고 있는지 둘러 볼 수 있습니다 많은 것들을 조정할 수 있습니다 추가로드 풀을 작성하려는 경우에는 수정하고, 당신은 [? GPUs?] 처음부터 거기에서 많은 구성 변경을 할 수 있습니다

본질적으로 IEP를 원하든 원하지 않든간에 다음 단계는 플랫폼을 적용하는 것입니다 실제로 생성 된 구성을 사용합니다 이전 단계에서, 그리고 실제로 말하기 Google 배포 및 클라우드 배치 관리자에게 GKE 클러스터를 만들었습니다 구성에 의해 정의됩니다 다음 단계는 대략 k8을 생성하는 것입니다

기본적으로 구성 GKE 클러스터에 배포되는 다양한 서비스 따라서 이전 슬라이드 중 하나에서 GKE를 살펴 보았습니다 클러스터, 서비스 목록이 있음 핵심 Kubeflow의 일부로 실행되고 있습니다 해당 서비스의 구성 이 명령으로 생성됩니다 그리고 신청은 다시 진행할 것이고 그것을 적용 할 것입니다 하지만 중간체는 그 구성을 사용 가능하게 유지하는 것 필요하다고 생각되는 양식을 수정하십시오

Jupyter 노트북으로 다시 전환하면, 너는 주피터 허브 (JupyterHub)에 간다 그리고 이것은 당신이 착륙 할 수있는 페이지입니다 Jupyter 노트북을 만들 수 있습니다 여기서 주목하면 여기에있는 첫 번째 필드 컨테이너 이미지를 선택하게합니다 미리 만들어진 컨테이너 이미지가 몇 가지 있습니다

Docker 컨테이너 이미지입니다 이미 다른 버전의 TensorFlow 지원 TensorFlow는 CPU 또는 GPU 용으로 제작 된 이미지와 함께 제공됩니다 원하는 경우 Spawn을 클릭하면됩니다 그런 다음 내 노트북을 시작하는 것처럼 말하십시오 그러나 더 이상 구성하고 지정할 수 있습니다

얼마나 많은 코어를 원하십니까? 따라서 작업량에 GPU가 필요하다는 것을 알고 있다면, GPU 컨테이너가 필요하다고 지정할 수 있습니다 그런 다음 필요한 메모리 양을 지정할 수 있습니다 일단 당신이 당신의 노트북을 창조하면, 당신은 노트북 안에 있습니다 그리고 이것은 당신이 다니는 놀이터의 종류입니다 TensorFlow 라이브러리를 가져올 수 있습니다

다른 파이썬으로 작업한다면 라이브러리, PyTorch, 당신은 PIP 설치 패키지를 할 수 있어야합니다 여기뿐만 아니라 그리고 그 패키지에 접근 할 수 있습니다 파이썬 패키지 다른 파이썬 도구에 상관없이 팬더에 액세스 할 수 있습니다

사용할 수 있습니다 이것은 당신이 많은 시간을 보낼 곳입니다 당신의 모델을 반복하고 어떤 것이 효과가 있는지 알아 내고, 무엇이 작동하지 않으며 모델을 어떻게 원합니까? 다양한 데이터에 연결되는 모습 실제로 모델을 훈련하십시오 이 단계에서 당신은 여전히 Jupyter가있는 컨테이너 내부에서 실행 중입니다 노트북을 실행합니다 따라서 합리적인 규모의 데이터로만 작업하고있는 것입니다

반복 및 실험 할 수있는 세트 귀하의 모델에 일단 당신이 당신의 훈련 스크립트가 무엇인지 알게되면 프로세스의 다음 단계처럼 보입니다 Docker 컨테이너 이미지를 작성하는 것입니다 현재이 프로세스에는 Docker 파일을 정의하는 작업이 포함됩니다 Docker 컨테이너에 필요한 항목을 지정합니다

설치했다 예를 들어, 몇 가지 Python 패키지를 설치해야하는 경우, 해당 PIP 설치가 있습니다 그리고 당신은 당신의 훈련 스크립트에서 복사합니다, 노트북에서 가져온 파이썬 스크립트 해당 파이썬 파일을 만들 수 있습니다 컨테이너 이미지에 포함시킬 수 있습니다

다른 지원 라이브러리와 함께 네가 거기에서 원하는대로 쓴거야 일단 Docker 파일을 지정하면, Docker Build 명령어를 사용합니다 Docker 컨테이너 이미지를 만든 다음 G Cloud를 작성합니다 클라우드로 밀어 넣어 실제로 사용할 수있는 위치에서 컨테이너 이미지를 사용하여 교육 작업을 만듭니다 내가 여기서 부르고 싶은 또 다른 일 높은 천장의 낮은 막대를 되돌아보고 있습니다

나는 몇몇 데이터 과학자들, 이것은 너무 많을 수 있습니다 그들은 아마도 이것을 할 수 있습니다 그러나 이것이 대부분의 시간을 보내야하는 곳입니까? 이것이 우리가 이것을 통합하려는 이유입니다 노트북에서 직접 이동하는 워크 플로우, 그리고 당신은 당신의 훈련 연습을 할 수 있습니다 그리고 그곳에서 Build를 클릭하십시오

그리고이 뒤에서 실제로 자신을위한 컨테이너 이미지를 만듭니다 우리가 생각하고있는 여러 가지 방법이 있습니다 우리가 할 수있는 피드백에 따라 모든 단계에서 막대를 낮추십시오 좋아, 다음 단계를 살펴 보자 가장 흥미로운 부분입니다

나를 위해, 최소한 – 내 훈련 스크립트를 가져 와서 실제로 실행하는 것입니다 분산 클러스터에서 전체 눈금 만들기 TensorFlow 모델 Kubeflow 클러스터에 배포하는 모든 응용 프로그램에서, 그것이 작동하는 방식은 – 몇 가지 슬라이드에서 더 자세히 살펴 보겠습니다 그러나 본질적으로, 그것은 일반적으로 두 단계 – 교육 작업을위한 구성 작성 또는 클러스터에 배포하려는 다른 서비스 근본적으로 당신이 그 구성 매개 변수가 지정되어있다 적절하게 당신이 필요로하는 것을 기반으로, 얼마나 많은 근로자가 필요한지, 모델의 입력은 어디에서 오는지, 어디에서 출력을 원합니까? 이동 모델 및 크기 설정 당신의 훈련 세트가 어떻게 될 것인가? 아마도 어쩌면 어쩌면 보일지도 모른다

구성 준비가 완료되면, 그때 당신은 당신의 훈련 직업을 시작할 수 있습니다, 방금 정의한이 TF 작업 구성을 사용하십시오 내 Kubeflow 클러스터에 적용하십시오 그리고 그것은 실제로 적용되는 ks apply 명령입니다 구성, 다음 클러스터에 이야기하고 말한다, 이 용기를 가져와 실행 해

그 일이 진행되는 동안 너는 다양한 Kubeflow 명령을 사용할 수 있습니다 작업을 실행중인 부분을 모니터링하는 방법 로그에 액세스하여 진행 상황 파악 훈련 일과 동일하게 돌아 가라 나는 계속 같은 주제로 돌아 간다 그러나 근본적으로, 낮은 바, 높은 천장, 우리는 데이터 과학자 또는 사실 약간의 융통성을 원합니다

가서 TensorFlow 작업을 쉽게 만들 수 있습니다 구성 UI에서 그리고 이것은 가능합니다 이전 슬라이드를보고, 거기 그 일에 대해 정의 된 많은 구성이었습니다 그리고 우리는 말 그대로 해석하고 해석 할 수 있습니다

구성 및 해당 UI를 생성 그 구성에 당신을 허용 명령 줄에서 매개 변수를 설정하는 방법 하지만 UI에서 여기서 컨테이너 이미지를 가리킬 수 있어야합니다 당신이 사용하기를 원하는 노동자의 수, 어디에서 데이터를 가져올 지 등이 포함됩니다 우리 모델이 훈련되면 우리를위한 다음 단계 이 모델을 어떻게 풀 수 있을까요? 내가 제시 한 모범을 믿는다 여기에 Tensorflow [? 피복재

?] 그리고 Selden도 사용할 수 있습니다 Kubeflow에서 사용할 수 있습니다 그리고 우리는 GitHub Examples repo를 가지고 있습니다 가서 GitHub 문제를 살펴 보겠습니다 요약 예

그리고 너는보고 볼 수 있어야한다 Selden을 사용하여 동일한 작업을 수행 할 수있는 방법 이 슬라이드에서는 TensorFlow를 안내합니다 [? 검색?]을 눌러 모델을 검색합니다 우리가 사용하는이 ksonnet에 대해 이야기했습니다

나는 너에게 약간의 배경을주고 싶다 저기서 무슨 일이 일어나고 있는지 우리는 ksonnet을 사용합니다 ksonnet은 템플릿을 사용하여 다양한 구성을 설명 할 수 있습니다 그리고 templating의 힘은 너는 모든 것들을 매개 변수화하기 위해 구성을 지정 및 설정하고 수정할 수 있습니다

인스턴스 생성시 그래서 모든 Kubeflow 구성 요소가 설명됩니다 해당 Ksonnet 구성에 따라 구성 디렉토리에서 사용할 수 있습니다 클러스터를 전개 할 때 작성한 파일입니다 거기에서 서비스를 만들 수 있어야합니다

템플릿을 사용하여 새 서비스 구성 요소를 생성합니다 여기에서 내가하는 것처럼 매개 변수를 구성하십시오 우리는 ServeInception 컴포넌트를 생성했다 TF 제공 템플릿의 새로운 구성 요소입니다 그런 다음 여기에 몇 가지 매개 변수를 설정합니다

우리가 HTTP 프록시를 원하는지, 우리가 사용하고 싶은지 모델이 실제로있는 GPU 모델을로드 할 위치를 저장하려고합니다 그리고 다른 많은 매개 변수들이 있습니다 내가 사용하지 않지만 당신은 자유롭게 탐구하고 알아낼 수 있습니다 당신이 구성하고 싶은 것 그리고 나서 마지막 단계처럼, 마지막 시간처럼, 일단 구성이 준비되면, ks apply라고 말하면서, 실제로 배포가 끝납니다

클러스터에서이 구성 요소를 사용하여 모델을 시작합니다 마지막으로이 웹 앱을 배포합니다 매우 유사한 과정입니다 아마 Flake 나 다른 파이썬을 사용하여 끝날 것입니다 라이브러리 또는 좋아하는 도구가 무엇이든간에 모델에 대한 웹 앱 빌드 우리가 방금 만든거야

그리고 일단 신청서가 준비되면, 해당 컨테이너 이미지를 만들고 deploy Kubeflow의 컨테이너, 그리고 당신 귀하의 모델에 귀하의 UI를 가지고 [? 뒤에서 나는 내가 이것을 계속해서 언급하고 있다고 생각한다 그러나 본질적으로 그것이 진짜 주제입니다 여기에 우리가 확인을 위해 노력해 왔습니다 우리는 구성 요소의 폭을 모든 워크 플로우의 모든 스펙트럼에 걸쳐 필요합니다

데이터 수집에서 배포 및 실행 방법 귀하의 응용 프로그램 이 문제를 해결하기 위해 많은 노력이 필요합니다 우리가 스스로 할 수있는 것보다 우리가 우리 지역 사회에 많이 의존하고있는 이유입니다 솔루션을 제공합니다 그리고 우리는 당신도 참여하도록 권장 할 것입니다

그러나 우리가이 작업을하는 동안 우리는 사용자를 연구합니다 많은 피드백을 받고 어디에서 추측 할 수 있습니까? 그들은 어려움을 겪고 있습니다 그리고 우리는 그 정보를 활용할 것입니다 막대를 낮추고 개선하기 위해 우리가 어디에서나 볼 수있는 경험 사용자 경험에 고통입니다 우리에게는 엄청난 기세가 있습니다

올해 초 프로젝트가 시작된 이후, 작년 말, 올해 초 1,000 개 이상의 커밋과 100 개 이상의 커뮤니티 멤버가 있습니다 이들은 활동적이며 약 20 개 이상의 회사 기여하고 있습니다 GitHub 레포에서 이에 대한 실시간 통계를 얻을 수 있습니다 마지막으로 Kubeflow가 열려 있음을 언급하고자합니다

우리는 열린 공동체입니다 우리는 지역 사회에 가입하고 기여하는 사람들을 사랑합니다 오픈 디자인, 오픈 소스, 우리는 아이디어에 열려 있기 때문에 우리는 점점 더 많은 데이터 과학자들이 참여하기를 희망합니다 오늘 알았 듯이 데이터 과학자는 거의 없습니다 나는 당신이 우리 웹 사이트 kubeflow

org에 가기를 좋아할 것이다 우리의 GitHub 저장소에 가서 문제를 제기하십시오 거기서 시작합시다 작동 중인지 여부에 대해 문제를 제기하지 않는 이유는 무엇입니까? 너를 위해 일해? 그리고 나서 우리가 당신을 더 관련시킬 것입니다 그리고 희망적으로, 당신은 기여할 ​​아이디어를 갖게 될 것입니다

너희들이 있으면 행복하게 몇 가지 질문을 관객 : Abhishek, 감사합니다 내가 가진 한 가지 질문은 이전 일뿐입니다 자신의 ML 파이프 라인을 만드는 여러 회사들에 대해 이야기했습니다 그런 것들

Uber의 Michelangelo, Facebook의 FB 학습자 너희들이 얼마나 일반적으로 이것을 디자인하고 있니? 그리고 당신이 생각하는 방식으로, 당신들이 설계하고있는 방식으로, 보유한 사용 사례에 잠재적으로 적용될 수 있습니까? 그리고 어떻게 당신들이 최적화를하고 있습니까? 오만하고 더 일반적인 사이에? ABHISHEK GUPTA : 맞아, 나는 우리가 장소에서 시작한다고 생각해 우리는 비난을받지 않습니다 우리는 유연성을 허용하고자합니다 커뮤니티가 아이디어를 내놓을 수있게해라

기여할 수 있습니다 처음에는 가장 큰 도전이라고 생각합니다 폭을 넓히고 확실하게하는 것입니다 우리는 구성 요소를 가지고 있으며, 우리는 전체적인 끝을 커버 할 수있는 지원을 가지고 있습니다 워크 플로우를 종료합니다

사람들이 가장 큰 도전 중 하나라고 생각합니다 관심이 데이터 커넥터입니다 모든 엔터프라이즈 솔루션에서 큰 문제가됩니다 사람들이 항상 우리에게 묻습니다 데이터 시스템에 커넥터를 사용할 수 있습니까? 그리고 마찬가지로 미켈란젤로에 대해서도 언급 한 것 같습니다

페이스 북의 FB 학습자 그들 모두는 다양한 강점을 가지고 있습니다 그리고 나는 우리가 그들에게 와서 기고하기를 환영한다고 생각한다 로 [? OSS?] 커뮤니티를 구축하고이를 플랫폼에 구축하십시오 우리는 그것을 갖고 싶습니다

다른 이들이 건설하기를 원한다면 – 우리는 갔고, 만든 것처럼 많은 기여자를 가지고 있습니다 구성 요소를 가져가는 노력 그러나 그들을 이용할 수있게하십시오 그리고 우리는 그것을 계속하도록 격려 할 것입니다 관객 : 이봐 요, 이야기 해줘서 고마워요 그래서 문제 중 하나 또는 사물 중 하나 오늘 존재하지 않는 것을 도울 수있는 우리가하는 표준이 무엇인지 아는 것입니다

MLS가 없기 때문에 ABHISHEK GUPTA : 그렇습니다 관객 : 피처 엔지니어링 (feature engineering)을하는 법, 서빙을하는 법, 훈련을하는 방법, 그리고 우리가 일을하고 있다면 그것은 기업과 호환된다는 것입니다 그때에 유감스럽게도 실제로 도움이됩니다 ABHISHEK GUPTA : 물론입니다

관객 : 어떻게 보입니까? ABHISHEK GUPTA : 그렇습니다, 나는 동의하지 않습니다 나는 네 질문이 매우 유효하다고 생각한다 나는 우리가 이야기하는 많은 고객들로부터 이것을 듣습니다 그들 중 많은 사람들이 그들은 저에게 이것을하는 1 가지의 방법을 말한다, 그게 내가하고 싶은 일이다 나는 탐구하고 파악하고 싶지 않다

그래서 우리는 다양한 사람들을 봅니다 정말 정교한 엔지니어가있는 곳 실제로 팀은 완전한 통제를 원합니다 그러나 실제적으로 관심이 있습니다, 이건 제 사업상의 문제입니다 그것이 제가 집중하고 싶은 말입니다 어떻게 이런 일을하는지

나는 여론 조사를받는 것이 도움이 될 때를 본다 그러나 나는 프로젝트의 시작과 같아 보인다 의견을 낼 때가 아니다 우리는 올바른 견해가 무엇인지 알지 못할 것입니다 나는 우리가 탐구하고 허용 할 때가 된 것 같아요

우리와 함께 아이디어를 제공하는 커뮤니티 아이디어 그리고 잘하면, 우리는 사용자로부터, 고객으로부터 무엇이 그들에게 효과가 있는지 알려줍니다 우리는 그들이 혼란 스러울 때 그들을 돕기 위해 기꺼이 돕습니다 또는 그들이 약간의 손을 떼고지도해야 할 필요가 있다면 우리는 앞으로 그것을 기꺼이 감당할 것입니다

우리 지역 사회 전체가 지침을 제공하는 것을 기쁘게 생각합니다 하지만 나는 그걸 믿지 않는다고 생각합니다 우리가 지금 오픈 끝나기 시작하면, 나는 우리가 좋은 해결책을 잃을 것이라고 생각한다 우리는 결국 플랫폼이 모두가 쓸모가 없다 내 의견으로는 전체 ML 공간이 산업으로, 우리는 모든 일을하는 올바른 방법이 무엇인지를 정말로 모릅니다

아르 그리고 우리는 먼저 그것을 알아낼 필요가 있습니다 우리가 사람들에게 그 의견을 부탁하기 시작하기 전에 관객 : 안녕하세요 내 이름은 폴이야

정보 주셔서 감사합니다 그것은 많은 사람들을 돕는 정말 훌륭한 도구 인 것 같습니다 ABHISHEK GUPTA : 고맙습니다 관객 : 저는 KeyStores에 대해 많이 들었습니다 Kubeflow가 KeyStores와 함께하는 방식에 대해 궁금합니다

또는 ID 관리 ABHISHEK GUPTA : 좋습니다 관객 : 당신이 IAM을 좋아한다는 것을 압니다 Google Cloud Platform에서 그 말을 할 수 있니? ABHISHEK GUPTA : 그렇습니다 ID 및 액세스 관리에 의존하고 있습니다

기본 클라우드 플랫폼에 예를 들어 Kubeflow 자체는 수많은 기본 클라우드에서 휠 재발 명 하부 구조 Google Cloud에서 우리는 완전히 의존합니다 사실 Kubernetes에 크게 의존 할 것입니다 이러한 솔루션을 설계 및 정의하고이를 활용할 수 있습니다 그리고 그 외에도 배포 할 때 Kubernetes는 다른 클라우드 제공 업체, 우리는 IAM 솔루션을 활용할 것입니다

저기서 사용할 수 있습니다 말이 돼? 관객 : 네, 고마워요 ABHISHEK GUPTA : 폴 감사합니다 관객 : 안녕하세요 우리가 Kubeflow를 배치하는 데 도움이 될지 궁금 해서요

관리되는 일부 기계 학습 플랫폼에 대한 Google의 관점에서 볼 때 어떻게 보입니까? ABHISHEK GUPTA : 그렇습니다 나는 그렇게하는 것이 좋은 생각이라고 생각합니다 우리가 방금 토론 한 것처럼 분명히 사용자가 있습니다 누가 관리 서비스의 혜택을 누릴 수 있습니다 그리고 나는 그것이 그들의 경험에서 중요한 부분이라고 생각합니다

그들은 실험하고 깊게 들어갈 용의가있다 특정 지역으로 그러나 ML 워크 플로우의 일부가 있습니다 투자를 원하지 않는 곳 그리고 통합하는 것이 좋을 것입니다

나는 Mark가 내가 생각하기에, FB Learner를 얻는 방법에 대해 물어 보았습니다 예를 들어, 미켈란젤로 또는 Google 클라우드의 관리 서비스 플랫폼에 통합 할 수 있습니다 나는 우리를 위해 그것이 중요하다고 생각한다 이러한 서비스와의 통합 지점을 파악하기 위해, 예를 들면 사람들은 기꺼이 시간을 보낼 수 있습니다

실패하거나 실험이 진행되면서 정상입니다 교육 단계 그러나 그들은 구글의 힘을 이용하기를 원한다 CLE?] 게재 용 플랫폼 또는 이와 유사하게 다른 관리 서비스가있을 수 있습니다

그럴 수도 있습니다 그래서 저는 이것이 흥미로운 아이디어이며 매우 유용하다고 생각합니다 우리는 분명히 모든 솔루션을 분명히 봐야합니다 나는 그것들을 할인하지 않을 것이다 그 질문에 대답합니까? 고마워

관객 : 당신이 처음에 언급 한 [비 숙녀] 그 [INAUDIBLE] Kubeflow [INAUDIBLE] 클라우드뿐만 아니라 다른 클러스터에도 배포하십시오 ABHISHEK GUPTA : 그렇습니다 관객 : 현재 다른 종류의 클러스터를 다룰 수 있습니까? HPC 시스템과 같은 시스템? ABHISHEK GUPTA : 그렇습니다 좋은 질문입니다 그래서 저는 쿠베르네스에 크게 의존한다고 생각합니다

우리에게 배포 기능을 제공합니다 다른 플랫폼에서 예를 들어, prem은 이러한 플랫폼 중 하나입니다 우리는 특정 파트너와 협력하고 있습니다 이 작품을 작업하게 만드는 데 집중하고 있습니다

고성능 클러스터와 같이, 예를 들어, InfiniBand 연결이 있거나 예를 들어 시스코와 같은 다른 유형의 상호 연결입니다 일부 고 대역폭 연결도 있습니다 따라서 우리는 지역 사회 파트너 중 일부에 의존 할 것입니다 이러한 플랫폼을 해당 하드웨어 플랫폼으로 이식 할 수 있도록 도와줍니다 청중 : 현재 아직 이용 가능하지 않습니다

[알아들을 수 없는]? ABHISHEK GUPTA : 그렇습니다 나는이 사실을 모르고 있지만, 예를 들어, 특정 파트너가 솔루션을 개발 중입니다 맞습니다 그러나 이것은 확실한 것입니다 우리가 관심을 갖고있는 고맙습니다

감사합니다, [INAUDIBLE] ABHISHEK GUPTA : 고맙습니다 고마워

PUBG revelation with Artificial Intelligence #1

연주 할 준비가되었습니다이 곡을 다시 들으실 수 있습니다

vikram singh & 내가 너를 놀고있어 PUBG, 우리가 할꺼야 함께하지만 AI 방식이 될 것입니다 여러분이 볼 수있는 것처럼 저는 이미 구글을 엽니 다 당신이이 구글이 무엇을 알지 못한다면, colab은 내 이전 동영상에서 Google 콜라 브에 대한 이야기를 확인하십시오

또는 관련 블로그를 작성한 설명의 링크를 확인하십시오 이 Google 캘랩에 한 가지 더 많은 사람들이 동영상을 올릴 수 있습니다 우리가 처음부터 끝까지 유약을 사용하지 않기 때문에 이전의 것에 비해 다른 우리는 코드를 작성하지 않습니다 모든 코드를 기록하려고하는 이전 비디오 btw 녹음 중입니다 두 번째 시간이고 그 비디오는 아마도 두 시간 이상 걸릴 것입니다

당신을 좌절시킬 것입니다 그것은 꽤 긴 하나입니다 그래서 그 비디오의 짧은 버전을 만들 것입니다 그래서 너희들은 내가 이미 구글을 열어 볼 수있다 colab 그래서 아래로 가서이 Google cooler에서 작업하기 전에 우리가 가자 언쟁을하고이 새끼 고양이 모델이 괜찮은지 확인해보세요

여기에 있습니다 kaggle 지금 데이터 과학자를위한 학습 허브를 개척하고 내가 볼 수 있듯이 이미 내 Gmail 계정을 사용하여 kaggle에 가입하고 내 슈퍼 오래된 아직 계정을 사용하고 있지 않으므로 직접 완료하시기 바랍니다 섹션 및 PUBG 경쟁을 찾아 여기에 우리는 pubg 마무리 배치 이동 예측을 통해이 경쟁 전망 데이터 세트로 이동해 보겠습니다 이 PUBG 완료와 관련된 다른 정보는 내려 가고 여기에 이 대회를 볼 수 있습니다 PUBG는 3 개월 전에 출시됩니다

이번 대회에 참가하고 싶다면 아직 한 달 남았습니다 가자, 여기 내가 너를 돕는 특별한 일에 내가 설명해 줄거야 이것에 관한 것들이 당신을 완성 시켜줄 것입니다 맨 위로 거짓말을하다가 직접 돌아 가자 우리가 진짜 배우는 여기에 경쟁을 pubg 그래서 시작하려고합니다

그래서 우리가이 경쟁에서 일하기 시작할 때 우리는 이것을 통해 이 전체 비디오의 개요 우리가 무엇을 할 것인가? 우리는 거대한 크기의 데이터 세트를 처리하고 그 거대한 것을 처리하는 방법에 대해 연구 할 것입니다 데이터 세트의 크기 우리는 먼저 Google Colab을 사용하여 수행되는 작업과 두 번째 것은 kaggle에서 작업 데이터로 직접 pubg 데이터를 가져 오는 것입니다 그래서 우리는 처음에 데이터를 로컬 머신에 다운로드한다 우리는 우리의 작업 공간에 당신이 jupyter에서 일하기를 원하는지 여부를 업로드합니다 노트북 또는 Google 애널리스트가 여기에서 데이터를 실제로 가져올 것입니다

Google Colob 노트북에 불평하고 이것이 정말 멋진 물건입니다 교육 및 테스트 데이터 세트 사전 처리 및 사용 가능한 체크 아웃 기능 설정 및 네 번째 설정은 다음과 같은 Google 데이터 세트에 대한 더 자세한 정보를 제공합니다 EDA (Exploratory Data Analysis) 및 기능 분석을 수행합니다 다섯 번째 그리고 마지막 하나는 랜덤 포레스트 알고리즘을 사용하여 예측을 만들거나 모델을 만들고 그 모델을 통해 테스트 데이터 세트를 사용하여 예측 그래서 우리는이 술집 G와 경쟁 할 것입니다 먼저 kaggle 의존성을 설치하고 있습니다

데이터를 가져오고 싶습니다 kaggle에서 Google colab 노트북으로 직접 이동하여 작업 할 수 있습니다 먼저 Kaggle 의존성을 설치해야하는 Kagggle API이므로 먼저 그동안 달리기에 다른 사람에 대해 이야기해라 당신과 같은 의존성은 numpy 유용한 매트릭스와 같은 몇 가지 기본 라이브러리 데이터 전처리를위한 조작 판다 Matplotlib & seaborn for 데이터 시각화 그래서 그것을 실행하고 다음 명령 업로드로 이동하자 kaggle 자격 증명은 업로드 된 kaggle 자격 증명을 볼 수 있습니다 kaggle

json 파일 그래서 kaggle 자격 증명은 무엇입니까? 여기 계좌 섹션으로 가자 여기 API 섹션에서 새 API 토큰을 만들 수 있습니다 이것은 당신의 개조 자격 증명을 생성합니다 그래서이 자격 증명의 용도는 무엇입니까? 저는 이것에 대해 잠깐 이야기 할 것입니다 지금은하지만 한 가지는 내가 왜 그런지 내 자격 증명을 생성하지 않는다는 것입니다 이미 하나 생성했기 때문에 Google 쿠폰 앱에서 사용하고 있습니다

일단 새로운 AWS를 생성하면 AWS에 추가됩니다 효과가 없으므로 업로드를해야하기 때문에이 작업을 수행하고 싶지 않습니다 그들 대부분을 바꾸어 가자 다시 돌아 가자 너희들은 이걸 생성해라

자격 증명을 작성하고 Google Colab 노트에 업로드하면됩니다 여기저기서 구식 인 Kaggle 자격 증명을 사용해서 업로드 할게요 그들을 실행하고 여기에서 내 시스템에 이미있는 파일을 선택하겠습니다 너는 kaggle이라고 불렀고, 여기 너는이 kaggle을 볼 수있다 & 업로드하자

일단 업로드되면 아래 섹션에서 kagglejson을 볼 수 있습니다 이 동안 사용자 이름과 키를 저장하는 동안 너희들이 내 자격 증명을 사용하려고하면 안돼 이 강의를 마친 바로 그 순간에 나는 새로운 것을 만들거야 그래서 당신이 그들에 대해 연구하고 싶다면 효과적이지 않습니다

당신의 파일 하나를 살펴 보겠습니다 예배 규칙서 kagglejosn 및 sampledata가 있으므로이 두 파일은 이미 있고 거기에 있습니다 kaggle API는 kaggle을 저장하는 외부 디렉토리를 생성하기를 원합니다

자격 증명 및 모든 폴더를 모든 데이터 세트 다음 kaggle에서 가져온 모든 폴더 데이터가 바로 kaggle 디렉토리로 이동하므로 다음 코드 줄에서 kaggle 디렉토리를 만든 다음 해당 kaggle 디렉토리에 kagglejson 파일을 저장합니다 명령은 chmod 600이라고 불렀고 우리는이 unix 명령을 사용하여 귀하의 개성을 보호합니다 그것이 내가 UNIX 명령이고 거의 사용하지 않기 때문에 내가 알고있는 것입니다 유닉스에서 다음 작업으로 옮겨가는 작업은 개그 API 아니요, 데이터 섹션에 있습니다 데이터 섹션으로 이동하여 여기에서이 API를 바로 볼 수 있습니다

이 코드 줄을 여기 위에 붙여 넣으면 복사 및 붙여 넣기가 수행됩니다 일단 그것을 실행하면 모든 데이터 또는 모든 데이터 가져 오기를 다운로드하게됩니다 당신이 볼 수있는 Google colab에 kaggle하십시오 kaggle 디렉토리에있는이 파일들을 모두 확인하십시오 train, test, kaggle

json과 같은 모든 파일을 볼 수 있습니다 그 kaggle 디렉토리에서 우리는 여러분이 훈련 및 테스트를 볼 수있는 것을합니다 파일이 압축되어 있으므로 먼저 압축을 풀고 다음을 읽습니다 파일을 압축하면 다음 코드 줄에서 수행 할 작업입니다 테스트 압축을 풀고 모든 파일을 다음 줄의 코드로 살펴 봅니다

우리는 훈련과 테스트 파일을 모두 읽으려고합니다 우리가하는 정상적인 과정 이니까 여기에이 파일들을 읽으 려하고 우리는 그 파일들의 모양을 보려고합니다 열차 테스트 후 마지막 줄에 우리는 칼럼이 거래 데이터 측면에 있다는 것을 보여줍니다 실행중인 시간이 기능 세트에 대해 이야기 해 봅시다 kaggle 모든 열을 a라고합니다 특정 기능은 우리의 교육 데이터 세트가 29 열로 구성되어 있기 때문에 열은 이러한 기능 세트에서 설명되며,이 모든 열은 라인 돕다 부스트, 치유, ID, 킬 플레이스 그래서 일반적으로 플레이어가 퍼블릭을하면서 플레이하는 모든 설정 작업 시험 모양이 약 2 인 동안 훈련 모양은 29 개 열에서 450 만과 비슷합니다

28 칼럼의 백만이고, 우리가 예측할 필요가없는 한 칼럼 우승 한 장소 또는 예측을 예측하십시오 당신이 할 수있는 방법을 알 수 있습니다 예측을 만들 필요가있는 선수의 순위를 예측하고 예측은 직접 테스트 데이터 세트로 이동 했으므로이를 작성해야합니다 이 퍼블릭 경쟁에서 우리가하는 첫 번째 일을 pubG로 돌려 보겠습니다 열차와 테스트에있는 다른 유형의 데이터 세트를 확인하는 것입니다

이 두 명령을 모두 실행 해 봅시다 정수 부동 소수점을 찾습니다 다른 종류의 데이터 세트가 교육 및 테스트를 위해 존재합니다 아래로 내려 가자 실제 학습이 빠진 값을 찾기 시작한다

교육 및 테스트 데이터 세트 모두에서 모든 열 또는 일부 열을 볼 수 있음 누락 된 가치와 만약 우리가 원하는 것을 찾고 싶다면 가치를 찾은 다음, 우리는 잃어버린 valie와 우리가 발견 한 첫 번째 줄을 버릴 것입니다 교육에서 누락 된 가치와 두 번째 바람에서 우리는 누락 된 가치를 발견 할 것이다 테스트 데이터는 교육 데이터 세트에서 볼 수 있습니다 그 사람이 누락 된 값이 하나 뿐인 것을 볼 수 있습니다 여기서 winplace perc을 찾아서 특정 행을 찾아 내면 그들을 놓아서 우리가 다음에 할 코드의 다음 줄을 열 또는 행을 찾으면 그 행 2744604가 삭제되므로 다음 행의 특정 행을 삭제 한 다음 열차 데이터 세트의 누락 된 값을 다시 찾아서 작동합니다

지금 우리가 훈련에 참석할 것임을 알지 못한다 다음에 다음 데이터 세트가 두 세트에서 재생 된 경기 수를 찾는 데이터 세트 교육 및 테스트 데이터 세트 어떻게하면이를 찾을 수 있을까요? 매치마다 고유 ID의 총 개수를 찾습니다 고유 한 ID를가집니다 ID가있는 고유 한 ID가있는 경우 ID를 찾을 수 있습니다 매치는 훈련 및 테스트 데이터 세트 모두에 적용되므로 우리가 먼저해야 할 일입니다

고유 ID의 총 개수를 확인하고 len ()에 캡슐화합니다 함수를 사용하여 재생 된 경기의 수를 얻고이를 실행하여 훈련 데이터에서 열차와 테스트에서 열리는 경기의 수는 40 세트 97964 시험 중 하나는 20556 그래서 이것은 train과 test 데이터 모두를위한 것입니다 일은 선수의 수를 찾는 것입니다 각각이 일치하므로 실행 해 봅시다 다음으로 우리가 할 일은 여기 열은이 고유 한 ID와 같은 95 명의 선수가 발생하는 경기를 볼 수 있습니다

99 명의 선수 중 99 명 중 1 명이 100 명의 선수를 가지고있을 때 95 명과 일치합니다 이 모든 선수들이 다른 경기에서 뛰는 것을 찾을 필요가 있습니다 한가지는 player_played라는 새로운 열을 생성한다는 것입니다 열은 각 경기에서 경기 한 선수의 수를 훔쳤습니다 이 3 줄 코드에서 우리가하는 일은 그들을 실행하고 그 후에 우리는 탐색 데이터 분석 (EDA)은 우리의 데이터 세트를 그림으로 그릴 것입니다

이야기의 수천을 알려주고 다음 코드 줄에서 우리가하는 일을 매치마다 플레이하는 플레이어의 수를 줄이면됩니다 여기 거의 끝났습니다 내려 가서 그래프를 볼 수 있습니다 다른 플레이어가 다른 플레이어에서 플레이 한 것을 보여줍니다 일치하고 대부분의 데이터 집합에 집중했다

85 명의 선수가 일부 경기에서 100 명이 넘는 선수를 보았습니다 98 명이 참가했습니다 심지어 약 75 명 미만의 경기는 매우 적습니다 선수들이 그림을 그리거나 다음에 데이터 세트를 만들어야합니다 일이 이상치에서 작동하므로 여기에 일치하는 데이터 세트가 있습니다

기본적으로 윤곽선은 데이터 포인트와 같은 나머지 데이터 포인트 동작을 여기에서 벗어난다 이 플롯에서 데이터 포인트의 대부분이 직선을 따르는 것을 볼 수 있습니다 행동을하지만 하나의 특별한 점이 있으며이 정상을 벗어납니다 직선의 거동과 그 점을 외곽 값이라고 부르기 때문에 우리는 pubg 데이터 세트에있는 이상치를 제거하거나 그냥 삭제하십시오 아래로 내려 가서 지금은 pubg에서 볼 수있는 pubg 데이터 세트의 특이점이 될 수 있습니다

플레이어를 찾아서 죽일 필요가 있다고하는 기본적인 연구가 있습니다 그 (것)들 그러나 몇몇 선수는 똑똑한 것을 시도하고 다만 몇몇 장소를 숨기고 살인 득점을 시작하십시오 그래서 우리는이 모든 선수들을 찾아 내야합니다 그래서 우리가 그걸 어떻게 할 수있는 기본적인 것들을 내려 가자 첫 번째 것은 우리가 우리가 찾을 수있는 총 거리라는 새로운 변수를 만들자 여행 또는 승차 여부에 관계없이 각 플레이어가 다룰 수있는 거리 수영하고, 우리가 얼마나 많은 거리를이 특별한 플레이어와 그 거리에 따라 우리는이 플레이어가 여행하는지 또는 이 선수가 똑똑해 지려고 노력하는지 여부는 그가 어떤 장소에 숨기고 있는지, 살인 행진을 시작하면 코드의 다음 줄에서 그렇게 할 것입니다

그래서 내려 가자 그러면 여기서 우리는 3 개의 거리를 볼 수있다 거리와 수영 거리를 계산하고 총 거리라는 새로운 변수를 만들고 그 변수에 관해 우리는 열차와 테스트 데이터의 모든 선수를 찾는다 둘 다 실행하면 여기에 kill_without_Moving이라는 변수가 생성되어 있습니다 그리고 그 변수는 가지고있는 모든 플레이어의 데이터 세트를 저장합니다

0 살 이상은 죽이지 만 그 거리는 0과 같습니다 그래서 우리는 그것들을 할 것입니다 열차와 테스트 데이터 세트에 대해서도 똑같은 것을 실행 해 봅시다 여기에 사람들이 알아 차릴 수 있습니다 기차 데이터 세트에 어떤 변화가 생기더라도 우리는 같은 변화를 가져옵니다

테스트 데이터 세트에서 모든 일이 동시에 일어나기 때문에 움직여 봅시다 다음 플레이어에게 얼마나 많은 플레이어가 살인 전략을 가지고 노는 지 확인하십시오 많은 플레이어가 움직이지 않고 여기를 보시면 1535에 해당하는 것을 볼 수 있습니다 따라서 약 1535 명의 플레이어가 특정 전략을 사용하여 게임을하고 있습니다 선수하지만 그들은 우리가 테스트 데이터 세트를 위해 할 것과 똑같은 것을 움직이지 않고있다

그 전략으로 플레이 한 플레이어의 수를 찾고 여기에서 그 전략으로 경기 한 약 311 명의 선수를 봅니다 그래서 우리는 한가지 할 일이 있습니다 그러면 모든 플레이어가 데이터 세트에서 빠져 나와 이제 실행 해 봅시다 우리는이 모든 선수들을 내려 놓고 여기에서 우리는 데이터 세트의 나머지 부분은 먼저로드 킬을 찾은 다음 동일한 작업을 수행합니다 기능의 나머지 부분은 도로 살인을 사용하여 도로 살생의 횟수를 찾습니다

다른 플레이어는 일부 플레이어가 도로 사살이나 도로가 11 번인 것을보고 있습니다 죽이거나 너무 많은 데이터 세트가 있었기 때문에 우리가 할 일은 우리는 10 명 이상의로드 킬을 가진 모든 선수들을 여기로 내려 놓을거야 열차와 테스트 데이터 세트에서 볼 수 있습니다 더 많은 플레이어를 드롭합니다 10 도로 살해 그래서 그들을 실행하고 다음 하나는 죽이기 때문에 우리는 살인 횟수를 확인한 다음 제거하거나 그래프를 작성하여 실행 해 봅니다 이 모든 코드 줄 및 줄거리가 무엇을 말하는지 살펴 봅시다

여기에 주어진 플롯이 있습니다 여기에 대부분의 데이터가 있습니다 0에서 12 사이에 집중되어 있습니다 그래서 우리는 우리가 떨어지는 것을합니다 이상한 플레이어로 행동하는 모든 플레이어는 35 명이 죽으면 열차와 테스트 데이터 세트에서 할 수있는 것이므로 놓아 버리자

이제 우리는이 모든 이상 치를 제거해야 할 지 물어볼 것입니다 당신이 그걸 가지고 다니지 않고 데이터 과학에서 저에게 따라야 할 것이 있습니다 이 전략이 올바른 방법이라고 말할 수있는 구체적이거나 사전 정의 된 전략이 아닙니다 그것을하는 것의 그러나 여기에서 당신은 내가 매우 많은 칼럼을 떨어 뜨리고있는 것을 볼 수있다 우리는 더 나은 모델을 만든 다음 더 좋은 모델을 만드는 것이 더 좋습니다

예측과 여기에 우리는 거대한 데이터 세트를 가지고 있으므로 우리는 이 모든 행을 삭제하거나 삭제하면 다음 행으로 이동하고 다음 중 하나는 가장 길다 일부 놀이는 가장 길게 살해 당한다 열차 1에 대한 가장 긴 죽일 데이터 세트를 여기에서 볼 수 있습니다 네비게이션은 0 ~ 400 미터이므로 여기에 우리가 모든 플레이어 또는 모든 이상 치를 제외하고, 우리는 더 이상 최장 거리를 갖는 이상치라고 부릅니다 1000 mete 이상이므로 코드의 다음 줄에서 우리가하는 일을 모두 삭제합니다

이 선수들은 우리가 볼 수있는 선수의 수를 여기에서 볼 수 있습니다 우리는 20 선수는 20 명이므로 우리는 그들을 떨어 뜨리고 열차에 대해서도 똑같이합니다 테스트를 해보고 그 이상을 가지고있는 모든 플레이어를 드롭합시다 가장 오래 걸리는 길이가 1,000m 인 것은 다음과 같습니다 승차 거리, 도보 거리 또는 수영 거리와 같은 처음에는 총 거리라는 특정 변수를 사용합니다

먼저 각 기능의 변수를 하나씩 가져 와서 먼저 도보 거리에 대한 그래프를 만들고 더 많은 플레이어를 드롭합니다 도보 거리가 10,000 미터 이상이므로 우리가하는 일이 여기에서 볼 수 있습니다 대부분의 데이터 세트는 0에서 5,000 미터의 그래프이며 우리는 수천 미터가 넘는 모든 선수를 떨어 뜨린다 우리는 열차와 테스트 데이터를 위해 다음으로 할 일을 계획하고, 같은 거리를 타시면 각 플레이어가 얼마나 많은 승차감을 갖느냐와 같이 대부분의 데이터를 볼 수 있습니다 세트는 0 미터에서 10,000 미터까지입니다

그래서 우리는 더 많은 선수를 제외시킬 것입니다 15,000 미터의 주행 거리보다 더 빨리 달려 가자 수영 거리를 보자 그것을 달리고 그것을 위해 밀도 플롯을 만든다 우리는 snsdistplot을 사용하여 밀도 플롯을 만드는 경우를 볼 수 있습니다

if 이 특정 코드 행을 알지 못해서 여기에서 가장 많이 볼 수 있습니다 데이터 세트의 0 ~ 500 미터이므로 모든 플레이어를 드롭합니다 천 미터 이상 수영 거리 당신은 단지 138 명의 플레이어 만 볼 수 있습니다 그래서 우리는이 모든 플레이어를 당신은 단지 138 명의 플레이어 만 볼 수 있습니다 주어진 데이터 세트와 다음 세트를 총 거리에 대한 플롯으로 여기에서 볼 수 있습니다

플레이어의 총 거리에 대한 플롯을 만들고 그 그래프에서 볼 수 있습니다 대부분의 플레이어는 0-100 미터의 데이터 세트를 가지고 있으므로 우리는 모두 드롭 할 것입니다 총 거리가 15,000 이상인 플레이어를 버리자 그리고 다음은 획득 한 무기의 이상 현상입니다 각 기능을 하나씩 설명하고 있습니다

백 패닉 쿼드 (back panic quad)를 볼 수 있습니다 한 줄짜리 기능을 지금 생각하면이 줄을 써서 얼마나 많은 무기가 획득되는지와 같이 획득 된 무기의 이러한 이상 현상에 대해 이야기하십시오 그 공포에있는이 변칙에 대해 우리는 얼마나 많은 무기가 필요한지 이야기합니다 플롯은이 밀도 그래프에서 여기에서 대부분의 데이터 또는 대부분의 플레이어를 볼 수 있습니다 무기가 200 개가 넘기 때문에 우리는 플레이어가 가지고있는 것을 알아냅니다 50 가지가 넘는 무기를 떨어 뜨리고 떨어 뜨립니다

그래서 우리는 무기가 200 개가 넘기 때문에 우리는 플레이어가 누구인지 알게됩니다 무기가 50 개가 넘는 플레이어의 수는 135 명입니다 먼저 모양을 찾거나 찾는다 무기가 50 개 이상인 플레이어의 수 항상 귀하의 모든 지원에 감사드립니다 대체 이제는이 모델을 2 단계로 교육해야합니다

AWS에 대해 살펴 보겠습니다

Cloud OnAir: AI Inference on GCP: How to get the best out of GCP VMs with Intel Xeon Scalable

[음악 재생] SHAHH SHAHIDI : 클라우드 OnAir에 오신 것을 환영합니다 Google Cloud에서 웹 세미나를 생방송하십시오

매주 화요일마다 웨비나를 개최합니다 내 이름은시다 그리고 오늘 저는 GCP와의 AI 추론에 대해서 이야기 할 것입니다 인텔에 언제든지 질문 할 수 있습니다

인텔 및 Google 직원이 있습니다 누가 너의 질문을 할거야 시작하자 우리는 인텔 제온의 가치 제안에 대해 이야기 할 것입니다 및 GCP 및 인텔과 함께 GCP 환경을 구성하는 방법 하드웨어 및 소프트웨어 최적화, 귀하의 인공 지능을위한 최고의 성능을위한 도구 및 도구 신청

우리는 당신에게 작품 중 일부를 소개 할 것입니다 Google과 함께 2 회에 걸쳐 우리가 이러한 최적화를 가져올 수있는 방법 GCP에서 사용 가능하고 사용하기 쉬운 도구를 제공합니다 그래서 여기서 이야기의 아젠다가 있습니다 먼저 인텔에 대한 간단한 개요를 살펴 보겠습니다 AI에서 우리의 전략과 강점

우리는 우리의 제온 CPU에 대해 계속 이야기 할 것입니다 GCP에서 사용할 수 있습니다 그런 다음 AI에 대한 최상의 성능을 얻는 방법에 대해 이야기합니다 응용 프로그램, 다른 프레임 워크 조정 및 최적화 우리의 하드웨어에서 최고의 성능을 발휘합니다 마지막으로 우리는 2 년 이상의 협력에 대해 이야기합니다

Google Cloud를 사용하여이 성능을 쉽게 구현할 수 있습니다 GCP 개발자가 사용할 수 있습니다 나는 AI 고객의 진짜 예를 들고 싶다 인텔이 AI에 가져다주는 가치를 강조했다 이것은 산업 결함 검출의 라이프 사이클을 보여주고있다

계획 그리고 우리는이 라이프 사이클의 붕괴를 보여주고 있습니다 다른 단계로 다른 프로젝트들은 시간대별로 다르지만, 단계는 일반적으로 동일합니다 하단에서 솔루션 전체 시간 완전한 인공 지능 여행입니다

기회 평가부터 개발까지의 단계 최종 결과에 대한 평가 등의 작업을 수행합니다 중간에 개발 및 배포 부분을 확대합니다 데이터를 소싱하는 것을 포함하는 전체 솔루션 개념 개발 추론 전개 증명, 광범위한 응용 프로그램과의 통합도 가능합니다 상단에서 우리는 증명을 더 확대합니다 개념 개발 자체의 데이터 준비가 완료되었음을 알 수 있습니다 개발 시간의 대부분은, 그 다음에 모델을 훈련하고 테스트를하고, 플러스 문서

보시다시피, 많이 있습니다 계산 집약적 인 부분 전후에 일어날 필요가있다 우리가 핵심 기계 학습으로 지칭하는 생명주기 그리고 깊은 학습 단계 인텔은 전체 라이프 사이클에 걸쳐 고객과 협력합니다 솔루션에 대한 전반적인 시간을 단축 할 수 있습니다

데이터의 전반적인 흐름을 생각하는 것이 중요합니다 데이터 관리 및 기타 두통을 포함하여, 오히려 배포를 빠르게 수행 할 수있는 방법은 무엇입니까? 솔루션의 한 부분을 프리미엄급으로 가속화하는 것보다 자,이 개념을 조금 더 확장하기 위해, 여러 접근법을 간략하게 살펴 보겠습니다 배포 및 개발 전에 데이터를 준비하십시오 사이클 접근 방식 결정의 핵심 요소 데이터 스펙트럼에 착륙하는 곳입니다

귀하의 데이터가 하나의 출처 또는 다수 출신입니까? 구조화되었거나 구조화되지 않았습니까? 얼마만큼의 볼륨을 다루고 있습니까? 임무가 치명적인가 아닌가? 스트리밍 라이브 또는 배치입니까? 누구에게 접속해야합니까? 이것들은 여러분이 프로세스를 시작하기 전에 질문해야합니다 깊은 학습 여정 규정 요구 사항이 있습니까? 이러한 질문에 대한 귀하의 답변에 따라, 우리는 다른 접근 방식과 다른 도구를 추천 할 것입니다 데이터를 통합, 저장, 처리, 관리 및 분석 할 수 있습니다 예를 들어 실시간 스트리밍 데이터를 여러 센서에서 오는 통합 된 높은 처리량을위한 도구를 고려하고 싶습니다

낮은 대기 시간의 실시간 데이터 처리를 제공합니다 최종선에는 많은 다른 접근이있다 데이터를 설정하고 AI에서 데이터 준비하기 개발 및 배치 인텔은이 분야에서 방대한 생태계와 함께 작업합니다 솔루션을 최적화하여 실행 최신 하드웨어에 가장 적합합니다 이러한 최적화를 활용하면 데이터 준비주기에 최상의 성능을 제공하고, 관리를위한 오버 헤드와 두통이 거의없고 전혀 없습니다

데이터 이동 이제 우리는 서로 다른주기에 대해 이야기했습니다 우리가 핵심 기계 학습에 도달하기 전에, AI 응용 프로그램의 깊은 학습, 인텔의 완벽한 포트폴리오를 간략하게 살펴 보겠습니다 소프트웨어 및 솔루션 사실 인텔의 다양한 하드웨어 제품 포트폴리오에서 실행됩니다 우리의 소프트웨어 스택을 통해 우리는 모든 수준을 목표로합니다

인공 지능 전문 지식과 참여, 도서관 개발자, 데이터 과학자, 앱 개발자에게 도움이됩니다 우리는 또한 풍부한 솔루션 카탈로그를 보유하고 있습니다 내부 및 공개 사용 사례를 기반으로 솔루션 아키텍트와 공유 서로 다른 부문에 걸쳐 약간의 작업을 단순화하기 위해 이 도구들 중 몇 가지에 집중하고 싶다 오늘날 대부분은 GCP 개발자에게 적용됩니다 인텔 제온 프로세서부터 시작해 보겠습니다

우리의 인공 지능 솔루션의 토대가되는, 특히 GCP에서 우리는 몇 가지 개선 사항에 대해 이야기 할 것입니다 최신 세대의 Xeon CPU 어떻게 AI가 더 나은 성능을 발휘할 수 있는지 신청 다음은 오픈 소스 심 신경 네트워크 인 MKL-DNN입니다 우리 CPU의 기능 라이브러리 개발자는 이러한 프리미티브를 사용하여 가속화 할 수 있습니다 우리 하드웨어의 성능

그런 다음 인텔과 함께 스택의 다음 계층에 집중합니다 최적화 된 프레임 워크, 특히 TensorFlow, 이 프리젠 테이션의 목적을 위해, Intel의 Python 배포판도 포함되어 있습니다 마지막으로, 우리는 우리의 깊은 학습 개발에 초점을 맞출 것입니다 툴킷, 추측을 가능하게하는 OpenVino 다양한 하드웨어에서 최적화 된 성능 제공 통합 API를 사용하는 배경 인텔, 구글과 제휴 오랫동안 데이터 센터 인프라에 대한 2016 년 이래로 우리는 긴밀히 협력 해 왔습니다

하드웨어에서 실행되는 클라우드 솔루션에 GCP를 사용합니다 AI에 대한 우리의 계약 전략을 요약하면, 우리가 집중하는 세 가지 기둥이 있습니다 첫 번째는 제품입니다 Google과의 긴밀한 협력을 통해, GCP는 최초의 클라우드 서비스 제공 업체였습니다 최신 제온 확장성에 대한 액세스 제공 클라우드 환경의 프로세서, 심지어 몇 달 우리 제품의 일반적인 시장 가용성 전에

Google은 항상 기술의 최첨단에 있습니다 그리고 우리는 시간을 제공하기 위해 계속해서 협력합니다 GCP 개발자를위한 제품을 시장에 내 놓습니다 우리 전략의 두 번째 기둥 도구 및 라이브러리 작업 하드웨어 성능을 최대화 할 수 있습니다 이 작품은 제가 앞서 설명했듯이, 소프트웨어의 여러 레이어에 걸쳐 있음 프리미티브 및 라이브러리에서부터 유니 파이드 컴파일러 및 SDK에 이르기까지, 최적화 된 심층 학습 및 기계 학습 프레임 워크

마지막으로 GCP와 협력합니다 GCP에서 이러한 도구를 사용할 수 있고 쉽게 액세스 할 수 있도록 개발자를위한 환경 그럼 우리 제품에 대해 조금 이야기 해 봅시다 스카이 퀘이크 (Skylake)라고도 알려진 인텔 제온 (Intel Xeon) GCP에서 사용할 수있는 최신 인텔 CPU입니다 2017 년 1 분기 이후 이러한 프로세서는 CPU 코어의 수를 늘립니다

이전 세대에서 50 % 큰 VM으로 변환합니다 이제 Skylake 기반 VM을 선택할 수 있습니다 최대 96 개의 vCPU 및 최대 14TB의 메모리를 제공합니다 Skylake는 또한 많은 마이크로 아키텍처 상당히 큰 캐시를 포함하여, 더 큰 데이터를 저장할 수있는 응용 프로그램으로 변환됩니다

코어에 가까운 구조 데이터 구조가 코어에 맞지 않는 경우, 메모리에 더 빨리 액세스 할 수있는 메모리 대역폭이 더 있습니다 그리고 실행 측에, Skylake 많은 명령어의 명령어 대기 시간을 줄입니다 더 넓은 실행을 추가합니다 동시에 Skylake는 최신 버전을 구현합니다

인텔 벡터 명령어 인 AVX-512, 벡터에서 이전 세대의 두 배 폭을 제공합니다 부동 소수점 성능을 최대 82 % 향상시킬 수 있습니다 이 모든 것이 더 빠른 vCPU 및 컨테이너로 변환됩니다 GCE 및 GKE의 Skylake 및 기타 GCP 제품을 기반으로합니다 아시다시피, 필수 요소 중 하나 길쌈 신경 네트워크 모델링 뒤에 행렬 곱셈입니다

Xeon CPU에서는 명령어를 가속화합니다 이러한 작업을 가능한 효율적으로 수행 할 수 있습니다 Skylake는 오늘 FP32 벡터를 지원합니다 곱하기 및 덧셈 명령, INT8 명령 차세대 Intel Xeon 프로세서 새로운 VNNI 지침을 제공합니다 VNNI는 벡터 신경망 명령을 나타냅니다 하드웨어 가속을 포함합니다

INT8 컨볼 루션 명령 차세대 인텔 제온 프로세서에서, 흡입 작동을 수행하기위한 3-AVX 명령 하나에 융합되어 소비로 인해 속도가 향상됩니다 클럭주기가 짧다 우리는 프레임 워크 개발자들과 긴밀히 협력하고 있습니다 이 지침을 통합하기 위해 그들이 활용할 수 있도록 프레임 워크에 이러한 지침에 따른 성능 향상 귀하의 응용 프로그램에

그래서 우리는 새로운 지침에 대해 이야기했습니다 하드웨어의 모든 장점 우리의 신제품이 GCP에 가져다줍니다 그러나 모든 하드웨어는 소프트웨어만큼이나 우수합니다 그것의 위에 달리는 따라서 하드웨어에 기능을 제공하는 것 외에도, 우리는 소프트웨어 최적화에 집중 해 왔습니다

하드웨어의 모든 기능을 활용할 수 있습니다 우리는 지난 몇 년간 매우 긴밀하게 관계를 맺어 왔습니다 다른 프레임 워크 개발자들과 함께 라이브러리를 통합하고 최적화를 업스트림합니다 다음은 Google 최적화의 예입니다 1 년 반 동안 일해야합니다

Skylake CPU를 공개적으로 출시 한 2017 년 7 월부터, 추측에 약 54 배의 향상이있었습니다 성능, 전적으로 소프트웨어 최적화에서 동일한 인텔 하드웨어 비교 우리 최적화의 힘을 말할 수 있습니다 내년까지 우리의 차세대 Xeon CPU 공개적으로 사용할 수 있습니다 추론 성능이 대략 두 배가 될 것으로 예상하고, 새 하드웨어 가속으로 인해 지침, 구현 및 추가 성능 최적화

이 차트는 ResNet 50 성능을 기반으로합니다 분명히 컴퓨팅 부하가 적은 워크로드의 경우, 하드웨어에 다른 병목 현상이있는 경우, 결과는 덜 발음되지만 여전히 매우 중요합니다 자, TensorFlow에 약간 초점을 맞추자 프레임 워크 최적화에 대해 간단히 이야기하십시오 우리는 우리의 최적화 된 심 신경 네트워크에 대해 일찍 말했습니다 라이브러리

앞서 언급했듯이 MKL-DNN은 오픈 소스 수학 커널 라이브러리입니다 깊은 신경 네트워크 및 주요 빌딩 블록 우리의 프레임 워크 최적화 MKL-DNN은 때로는 매우 낮은 레벨을 사용하여 고도로 최적화되어 있으며, 어셈블리 코드만큼 낮습니다 API는 피드백과 상호 작용으로 개발되었습니다 주요 프레임 워크 소유자와 최적화는 여러 레이어에서 수행됩니다

첫째, 컨볼 루션 (convolution)과 같은 모든 프리미티브 (primitive) 행렬 정규화 및 행렬 정규화 최신 와이드 벡터를 활용하도록 다시 작성 명령 다음으로 서로 다른 레이어가 병렬화됩니다 사용 가능한 모든 코어를 효율적으로 사용할 수있게합니다 하드웨어에서 마지막으로, 프리 페칭, 캐시 블로킹 기술 및 데이터 형식 공간적, 시간적 지역성을 촉진하는 것 실행시 데이터를보다 유용하게 만드는 데 사용됩니다

단위에 필요합니다 MKL-DNN 프리미티브를 사용하는 것 외에도, 우리는 다른 기술을 사용하여 TensorFlow에 통합합니다 우리가 레이아웃 최적화를 좋아하는 것들이 있습니다 기본 TensorFlow 작업 교체, 퓨즈 작업, 전파 중간 상태 그리고 우리는 우리의 커스텀 CPU 풀 할당자를 가지고 있습니다

기본적으로 값 비싼 페이지 손실을 피하는 데 도움이됩니다 페이지가 지워집니다 Google은 이러한 최적화 작업을 위해 Google과 협력 해 왔습니다 2 년 이상 협력하고 계속 협력하십시오 새로운 지침과 프레임 워크에서 이익을 실현 공연

이제는 TensorFlow 및 기타 심층 학습에 더하여 우리는 파이썬에 최적화 된 라이브러리 우리는 NumPy, SciPy 및 SciKit-Learn를 가속화했습니다 인텔 MKL과 최적화는 conda와 Anaconda를 통해 가능합니다 일반 대중을위한 클라우드 및 다시 상류로 돌아옴 메인 파이썬 트렁크에 자세한 내용을 알고 싶다면 Intel 배포판에서의 Python 및 일부 성능 증거 [INAUDIBLE], 우리는 좋은 글을 남겼습니다 인텔 웹 사이트 소프트웨어에서 확인하십시오

나는 당신이 참조 할 수있는 슬라이드에 링크가 있다고 생각합니다 다음은 scikit-learn 라이브러리를 사용하는 예입니다 GCP 환경에서 중요한 성과 달성 속도를 올리다 이것은 K-Means 클러스터링 알고리즘을 사용하고 있습니다 최대 23 배 빠른 이득을 볼 수 있습니다

인텔 scikit-learn 대 주식 scikit-learn 사용 파이썬의 라이브러리 그리고 이것은 96 vCPU Skylake 인스턴스의 GCP에서 실행됩니다 이제 우리는 인텔 최적화 라이브러리에 대해 이야기했습니다 그리고 프레임 워크, 나는 약간의 시간을 보내고 싶다 Google과의 공동 작업에 대해 이러한 최적화 성능을 제공하는 클라우드 GCP에서 쉽게 액세스 할 수있는 자산으로 사용할 수 있습니다

우리는 Intel 최적화 된 Docker 이미지를 생성했습니다 TensorFlow 및 인텔 배포 Python Docker Hub와 GitHub에서 이 Dockers에 액세스 할 수있는 링크가 있습니다 기본적으로 이것은 소프트웨어의 모든 장점을 가져올 것입니다 한 번 클릭으로 Docker 이미지를 다운로드 할 수 있습니다

그래서 이들을 사용하여 더 빠르고 효율적으로 개발할 수 있습니다 또한 Google과 협력 해 왔습니다 파이썬의 인텔 배포판을 만들기 위해, 뿐만 아니라 일부 인텔 성능 라이브러리, Google 컨테이너 레지스트리에서 사용 가능합니다 인텔 성능 라이브러리에는 라이브러리 인텔 수학 커널 라이브러리, 인텔 스레딩 빌딩 블록, Intel NPI, IPP 및 데이터 분석 가속 라이브러리 VM에서이 라이브러리를 사용할 수 있으려면, 당신은 런타임이 실제로 있는지 확인해야합니다

이 라이브러리에서 사용할 수 있습니다 링크에 대한 좋은 지시 사항이 있습니다 런 타임을 다운로드 할 수있는 웹 사이트 VM 인스턴스에서 사용할 수 있도록합니다 인텔 최적화 라이브러리가있는 컨테이너 외에도, 우리는 Google과 협력 해 왔습니다 최적화 된 가상 시스템 이미지를 만듭니다

사용 및 배포 용이성 외에도, 이러한 이미지는 개발자가 항상 최신 버전의 최적화 활용 이 이미지들을 통해 최근 GCP는 인텔 최적화 된 두 개의 VM 이미지를 발표했습니다 하나는 TensorFlow, 1120을 사용하여 최신 MKL-DNN 및 MKL 라이브러리, 인텔 최적화가 적용된 또 하나 세 개의 파이썬 라이브러리 – numPy SciPy와 scikit-learn

이러한 이미지는 환경 변수 설정을 자동화합니다 올바른 변수를 사용하고 Google Cloud를 통해 사용할 수 있습니다 마켓 플레이스, GCE, OS 이미지 및 명령 줄 인터페이스 조금 시간을 보내고 싶다 시작하는 방법을 안내합니다 GCP에서 올바른 플랫폼을 선택하는 방법 최적화 된 이미지에 액세스하는 것

Google Compute Engine에서 시작하려면 인스턴스 생성, CPU 플랫폼 풀다운 메뉴로 이동 Intel Skylake 이상을 선택하십시오 귀하의 신청서가 최신 하드웨어 향상 기능을 활용할 수 있습니다 Skylake의 장점에 대해 이전에 이야기했습니다 이전 세대 CPU보다 그리고 가용성 측면에서, Skylake는 현재 17 개 GCP 지역 중 16 개 지역에서 사용할 수 있습니다 콘솔을 사용하지 않는 경우 Cloud Shell에서 min-cpu-platform 플래그를 사용할 수 있습니다

CPU를 선택하십시오 Skylake 가용성을 갖춘 16 개 존 중 하나에서, 인텔 스카이 레이크에 플래그를 설정할 수 있습니다 Skylake에서 실행되도록 VM을 만들 때 앞에서 설명한 것처럼 VM 이미지의 주요 전제 인텔 최적화 및 도구를 쉽게 만드는 것입니다 GCP 개발자가 사용할 수 있습니다

Intel에서 VM 이미지에 액세스하는 방법 중 하나 최적화 된 TensorFlow 또는 Intel 최적화 Python은 Google Cloud Marketplace를 사용합니다 Google Cloud Console 환경에서, 마켓 플레이스를 클릭하고 심층적 인 학습 VM 이미지를 찾으십시오 클릭 한 번으로 배포 할 수 있습니다 VM상의 이러한 이미지 GCE에서이 이미지에 액세스 할 수도 있습니다

설정하는 동안 더 많은 제어 기능을 찾고 있다면 VM, 최적화 된 OS 이미지 배포 부팅 디스크를 변경하고 하나를 선택하여 인텔 최적화 이미지 최적화를 최대한 활용하려면 최신 아키텍처에서 Intel Skylake로 CPU 플랫폼을 선택해야합니다 또는 나중에이 작업을 수행하는 동안 그리고 Google 콜 커맨드 라인 인터페이스를 사용하는 경우, 다음 명령을 사용하여 VM 이미지를 시작할 수 있습니다 라인 옵션 이미지 계열 변수를 Intel 고유의 이미지 중 하나로 설정하십시오

인스턴스를 작성할 때 유형을 지정하십시오 min-cpu-platform 변수를 설정할 수도 있습니다 최신 인텔 CPU, Skylake 이제 툴킷에 대해 이야기하고 싶습니다 그래서 우리는 도서관에 관해 이야기했습니다 우리는 소프트웨어 스택의 여러 레이어에 대해 이야기했습니다

그리고 지금까지 라이브러리와 프레임 워크에 중점을 두었습니다 그리고 우리 툴킷에 대해 조금 이야기하고 싶습니다 인텔 하드웨어를 개발하는 데 도움이되는 것 Google Cloud를 사용한 최신 프로젝트 Kubeflow 파이프 라인에있다 그리고 우리는 통합 작업을하고 있습니다

개발 툴킷의 일부를 Kubeflow 파이프 라인에 통합합니다 이전에 우리는 우리의 소프트웨어 툴킷에 대해 조금 이야기를 나누었습니다 서로 다른 인텔 하드웨어에 공통 API를 제공합니다 이 소프트웨어 툴킷은 OpenVino로 알려져 있습니다 열린 시각적 유추를 의미하는 및 신경망 최적화

OpenVino에는 세 가지 주요 구성 요소가 있습니다 첫 번째는 심층 학습 배포 키트 또는 DLDT입니다 두 번째는 OpenCV 및 미디어입니다 SDK는 전통적인 비전 및 비디오 처리에 사용됩니다 세 번째는 사전 훈련 된 모델 모음입니다

및 자습서 요약하면, OpenVino는 통합 프로그래밍 모델을 제공합니다 하드웨어 전반에 걸쳐 성능 및 메모리 최적화 사용자 정의 워크로드를 위해 확장 가능하며, 광범위한 운영 체제 지원을 제공하며, 단순한 out-of-the-box 경험을 위해 자체 완비되어 있으며, 커뮤니티가 기여할 수있는 오픈 소스입니다 향상시킬 수 있습니다 오늘 집중할 구성 요소 기본적으로 모델 최적화 프로그램을 제공하는 DLDT입니다 통합 API가있는 추론 엔진 다른 인텔 하드웨어를 통해

그래서 Intel과 Google은 파트너 관계를 맺고 있습니다 DLDT의 성능 및 사용 편의성 제공 Kubeflow에 DLDT 컨테이너를 추가하여 GCP 개발자에게 관로 데이터 과학자로서 엔드 투 엔드 솔루션을 만들고 있다고 가정 해보십시오 일부 의료 이미지를 기반으로합니다 여러 다른 컨테이너를 통해 작업을 수행 할 수 있습니다

데이터 처리, 데이터 변환, 데이터 검증 컨테이너는 데이터 읽기를 용이하게하며, 데이터를 예상 된 포맷으로 변환하는 단계, 사용 가능하고 적절히 라벨이 붙어있는 것으로 데이터를 검증하는 것 이 데이터는 강사 컨테이너로 전달됩니다 출력은 다음과 같은 모델 유효성 검사 컨테이너로 전달됩니다 모델을 배치하거나 게재 할 준비가되었는지 확인합니다 교육받은 모델은 최종 당사자가 제공하는 데 사용됩니다

OpenVino가이 흐름에 통합되는 방식 훈련 된 모델이 DLDT 모델 최적화 프로그램에 공급된다는 것입니다 모델 최적화 기는 최적화 된 IR을 생성합니다 그리고 나서 최적화 된 IR이 서빙 DLDT 컨테이너는 기본적으로 추론 엔진을 사용합니다 Intel 하드웨어에서 가능한 한 효율적으로 실행 백엔드 여기에는 Kubeflow 파이프 라인을 통합하는 몇 가지 예가 있습니다 OpenVino 컨테이너

여기에 제공된 링크에는 두 가지 예가 있습니다 그리고 우리는 당신이 앞서 가서이 예들을 시도하도록 초대합니다 이 컨테이너를 통합하는 흐름을 따라 가야합니다 Kubeflow 파이프 라인으로 OpenVino와 그 이점에 대해 더 많이 배울 수 있습니다

하단의 링크를 사용하십시오 또한, 제 동료들은 AI 파이프 라인 및 인텔 OpenVino 소개 웹 세미나 내가 격려하는 통합 너는 배우기 위해 지켜보아야한다 마무리하기 만하면됩니다 AI 개발자를위한 인텔 리소스에 대한 자세한 내용 인텔 AI 아카데미는 최고의 장소입니다 인텔 자산 및 도구에 대해 더 자세히 배우기 시작했습니다

AI 빌더스 솔루션 라이브러리는 훌륭한 원 스톱 매장입니다 인텔 AI 기술 기반 솔루션을 찾는 방법 다른 분야에서 인텔의 GCP 방문 페이지는 훌륭한 출발점입니다 GCP에서 활성화 된 인텔 기술에 대해 자세히 알아보십시오 그걸로 다시 한 번 감사드립니다

AI의 일부를 소개 할 기회 GCP의 기술 라이브 Q & A를 위해 계속 지켜봐주십시오 내 동료, Banu, 몇 가지 질문에 대답하는 데 도움이됩니다 우리는 1 분 안에 돌아올 것입니다 SHIDE SHAHIDI : 그래서 여기 나와 함께 Banu 있습니다 그리고 우리는 많은 질문에 답하려고 노력할 것입니다

우리가 할 수있는대로 관객으로부터 내가 이야기하는 동안 몇 가지 질문을 수집했습니다 Banu, 그래서 질문 여기에, "고객의 사례는 무엇입니까? AI에 Xeon을 사용합니까? " BANU NAGASUNDARAM : 정말 좋은 질문입니다 AI에는 많은 고객이 있습니다 두 기계 학습 모두에 제온 프로세서를 사용하는 사용자 그리고 깊은 학습 작업량

특히 인공 지능에 대한 깊은 학습에서, 두 가지 유형의 작업 부하가 있습니다 우리가 지원하는 추론과 훈련을 위해서 우리의 고객은 Xeon 확장형 프로세서, SkyLake CPU, 스트리밍 추론 및 배치 추론에 사용됩니다 최근 스트리밍 추론의 한 예 얘기 Taboola했다 웹을 제공하는 추천 엔진입니다

웹 서비스 응용 프로그램 용 또한 Xeon CPU를 사용하여 데이터를 가져옵니다 그것을 스트리밍하고 실시간 추론을한다 데이터에 또한 약 360 억 건의 권장 사항을 제공합니다

매월 10 억 명의 고유 사용자가 있습니다 이것이 스트리밍 추론의 한 예입니다 그리고 일괄 유추를 위해 우리는 GE Healthcare와 같은 고객은 이미지 인식 워크로드에 Xeon CPU를 사용합니다 그리고 그들의 업무량은 마약에 관한 것입니다 – 더 많은 CT 스캔 및 제약 관련 그리고 그들은 배치 추론을 위해 Xeon CPU를 사용합니다

데이터베이스가있는 경우, 수집 된 집합 데이터의 그리고 그들은 그것을 사용하여 큰 배치 크기로 추론을합니다 그리고 그들은 엄청난 양을 깨달았습니다 Xeon CPU를 사용하여 성능이 향상되었습니다 그런 다음 교육 워크로드도 제공합니다

우리는 제약 업계의 노바티스와 같은 회사를 보유하고 있습니다 기본적으로 높은 콘텐츠 심사를하고 있습니다 정말 큰 이미지 크기 벤치 마크 중 일부를 살펴보면 예를 들어 ResNet-50과 같이 사용하는 그들은 ImageNet 데이터베이스를 사용합니다 그리고 그것은 더 작은 이미지 세트입니다

그러나 실생활에서는 고객이 훨씬 더 큰 이미지 크기를 사용합니다 그리고 노바티스는 훈련에 대한 사례 중 하나입니다 그들은 시간의 개선을 달성했다 Xeon CPU를 사용하여 교육 및 처리량을 향상시킬 수 있습니다 그래서 그것들은 우리 고객의 몇 가지 예입니다

AI 용 Xeon SHAHH SHAHIDI : 나는 다음 질문의 종류가 암시한다고 생각한다 그뿐 아니라 다음 질문은 "Xeon에서도 교육을 실행할 수 있습니까?"입니다 그래서 우리는 추론에 대해 이야기 해 왔습니다 설정 방법 및 Xeon 및 GCP에서 사용하는 방법에 대해 설명합니다

교육을 진행중인 고객의 사례가 있습니까? 제온에요? 그것은 가능합니까? BANU NAGASUNDARAM : 맞아 네 그건 좋은 질문이야 따라서 제온 CPU는 다목적 CPU이며, 이는 다양한 작업 부하에 사용됩니다 그리고 깊은 학습은 하나의 부분 집합입니다

인텔에 매우 중요한 워크로드 중 우리의 고객 그 일환으로 Xeon CPU에 대한 교육을 실행할 수 있습니다 내가 암시 한 사례 중 하나는 노바티스 (Novartis)였다 그러나 내가 만질 수있는 몇 가지 다른 것들이 있습니다 예를 들어, HPC와 AI의 수렴에서, 우리는 고객을 위해 실행되는 작업 부하를 가지고 있습니다

엄청나게 큰 데이터베이스에 예제 중 하나는 – 최근에 우리는 Supercomputing 2018 컨퍼런스에서, 프랑스 연구 기관인 [INAUDIBLE] Xeon CPU를 사용하여 여러 CPU에서 교육을 확장 할 수있었습니다 128 노드, 확장 효율성 향상 필요한 정확성을 얻는 것입니다 그래서 이것은 어떻게, Xeon에서 교육을 실행할 수 있습니다 추가 하시겠습니까? SHAHIDI : 예

사실 사실 GCP에서, 우리는 제온 (Xeon)에 대한 교육을 받고있는 고객이 몇 명 있습니다 그들의 응용 프로그램은 시각 효과에서 건너갑니다 위성 이미지로 장바구니 실험실은 공개적으로 Xeon에 대한 교육을 받고 있다고 발표했습니다 실제로하고있는 몇 가지 다른 것들이 있습니다 GCP 환경에서 BANU NAGASUNDARAM : 좋습니다

네 내 마음에 온 또 다른 한 가지 예가 CERN이었습니다 그들은 대형 Hadron Collider를 사용합니다 그리고 그들은 수집하는 엄청난 양의 데이터를 가지고 있습니다 그리고 그들은 몬테카를로와 같은 고성능 컴퓨팅을 실행합니다

시뮬레이션을 할 수 있습니다 또한 분산 된 교육을 위해 Xeon CPU를 사용합니다 256 개 노드에 걸쳐 그리고 우리는 3D-GAN에 대한 한 예를 보여주었습니다 적대적인 네트워크가 생성되어 여러 Xeon 노드에서 효율을 높일 수 있습니다 SHAHIDI : 알았어요

승인 큰 그래서 보자 BANU NAGASUNDARAM : 다음 물어볼 수 있습니다 그래서 언제 "우리는 깊은 학습 향상에 접근 할 수 있습니까? GCP의 VNNI에? " SHIDE SHAHIDI : 좋습니다, 그래서 좋습니다

VNNI 지침 및 심화 학습 차세대 Intel Xeon CPU에서 사용할 수 있습니다 실제로 샘플을 고객에게 보내고 있습니다 올해 말에 GCP에서 사용할 수있을 때 실제로는 GCP 담당자를위한 질문 따라서 GCP 담당자와 연락하는 것이 좋습니다

언제 그들의 타임 라인을 알아 내기 위해 그들은 그들의 플랫폼에서 이것을 이용할 수있게 할 것입니다 그래서 나는 당신을 위해 하나를 가지고있다 사실, 마지막에 가자 먼저 그 질문에 대답하기를 바랍니다 그리고 나서 시간이 있다면, 우리는 이전 시간으로 돌아올 것입니다

그래서 "다른 토폴로지와 프레임 워크는 무엇인가? 인텔 하드웨어에 최적화되어 있습니까? " BANU NAGASUNDARAM : 그것은 좋은 것입니다 따라서 인텔 포트폴리오 슬라이드 다른 프레임 워크를 보여주었습니다 우리가 최적화 한 요약하면 TensorFlow는 주로 프레임 워크 최적화 그러나 그 외에도 MXnet도 사용합니다 Caffe, 너무

그런 다음 PyTorch와 PaddlePaddle 프레임 워크의 몇 가지 예입니다 우리가 최적화 할 수 있습니다 토폴로지 측면에서 우리는 다양한 토폴로지를 수행합니다 그리고 그들은 유스 케이스와 매우 관련이있다 우리 고객이 신청하고 있습니다

예를 들어 이미지 인식을 실행하고, 이것은 Resnet-50, Inception v3 예제와 같습니다 우리는 물체 감지를합니다 YOLO가 그 예입니다 우리는 이미지 분할을합니다 이미지의 특정 세그먼트를보고있다

그것은 Mask R-CNN과 같습니다 우리는 또한 신경 기계 인 언어 번역도합니다 번역 작업 부하 그리고 나서 마음에 떠오르는 다른 것들 중 일부 TTS (text-to-speech)입니다 WaveNet은 TTS (text-to-speech) 워크로드의 좋은 예이며, 심지어 권장 시스템 (예 : Wide & Deep 또는 신경 협동 필터링과 같습니다

기본적으로 토폴로지는 매우 다양합니다 이러한 다양한 프레임 워크에서 최적화 할 수 있습니다 SHAHIDI SHAHIDI : OK, 라이브러리 및 프리미티브뿐만 아니라 우리는 또한 프레임 워크를 가지고 있습니다 그리고 그것은 우리가 서로 다른 토폴로지로 작업하는 부분입니다 다른 작업 부하에서

아마 우리는 한 번 더 질문 할 시간이 있다고 생각합니다 "인텔 최적화 소프트웨어의 이점은 무엇입니까? 왜 내가 그것을 필요로합니까? " BANU NAGASUNDARAM : 좋은 질문입니다 [웃음] 나는 시작할 수 있고 그 다음에 그걸 추가 할 수 있습니다 SHIDE SHAHIDI : 물론입니다 BANU NAGASUNDARAM : 그래서 Shideh 오늘 너 얘기하고있다

우리가 할 수있는 다른 것들은 무엇입니까? 그러나 우리는 왜 그것을해야합니까? 예를 들어 Skylake와 같이 우리가 구축 한 하드웨어는 ADX-512 명령어가 있습니다 차세대 제온 CPU는 VNNI 지침이 있습니다 이 지침에서 성능을 얻으려면, 그 위에 개발 된 라이브러리가 필요합니다 이 지침을 사용하십시오 그리고 일단 당신이 그러한 라이브러리를 개발하게되면, 이러한 라이브러리를 호출하기위한 프레임 워크가 필요합니다

그래서 우리는 당신이 최신 버전이 필요하다고 말합니다 인텔 하드웨어에 최적화 된 소프트웨어 최상의 성능을 얻으려면 GCP를주고 싶니? SHACHH SHAHIDI : GCP와 거의 같은 것입니다 BANU NAGASUNDARAM : 좋습니다 승인 SHIDE SHAHIDI : 프레임 워크가있는 한 및 토폴로지를 사용할 수 있는지 확인하십시오

최신 버전을 사용하고 있는지 확인하십시오 하드웨어와 소프트웨어 중 가장 뛰어난 것입니다 시도 해봐 그리고 당신의 공연이 보일 것입니다 이점과 부스트

BANU NAGASUNDARAM : 맞아 SHAHH SHAHIDI : 그래서 생각, 우리는 닫을거야 다음 세션 소개를 위해 계속 지켜봐주십시오 인공 지능 허브, 모든 인공 지능을위한 원 스톱 카탈로그 고맙습니다

BANU NAGASUNDARAM : 감사합니다 [음악 재생]