Latest Developments in Translate & Natural Language AI (Cloud Next ’18)

[음악 재생] SUDHEERA VANGURI : 안녕하세요 저는 Sudheera Vanguri입니다

저는 제품 매니저입니다 AI AI는 클라우드 AI에 있습니다 당신을 환영하고 감사합니다 최근에 대해 이야기 할 시간을 가졌기 때문에 번역 및 자연어 AI의 발전 재미있는 사실 — AutoML을 거기에 넣을 수 없었습니다

어제의 발표 때문에 오늘 아침까지 이것이 우리 세션의 대부분을 소비 할 것입니다 에 왜 우리가 오늘 여기에 있습니까? 오늘의 일환으로 내가 다루어야 할 사항에 대한 빠른 의제 세션 첫 번째 부분에서는 Cloud Natural에 대해 이야기 할 것입니다

언어 및 클라우드 번역, 다이빙 더 깊어지고 AutoML 자연어에 대한 개요를 제공합니다 및 AutoML 번역 그 다음에는 두 가지 고객 사례 연구가 있습니다 AutoML Natural Language의 두 가지 고객 사용 사례 및 AutoML 번역 Qualtrics의 초청 연사가 있습니다

가장 큰 현지화 중 하나 인 Welocalize 미국의 공급 업체 그리고 세션이 끝날 무렵, 또한 유용한 자료를 제공 할 것입니다 마지막으로 AutoML 번역 및 AutoML에 대해 이야기 할 수 있습니다 자연 언어 우리는이 신제품에 대해 수개월을 보냈습니다

Cloud Translation 및 Cloud Natural의 새로운 기능 언어 잠깐 깊은 잠수를하십시오 클라우드 번역은 AI 및 API에 대한 첫 번째 진출 중 하나였습니다 이것은 2011 년부터 잘 사랑 된 API였습니다 우리는 수백 개의 언어를 지원합니다

아프리칸스어에서 줄 루어로, 그리고 조합을 사용하여, 우리는 수천 개의 언어 쌍 사이의 번역을 지원합니다 그리고 신경 기계 번역 작년에 발표 된 Google은이 분야의 선두 주자입니다 텍스트를 번역 할 수 있습니다 텍스트 언어가 무엇인지 모릅니다 입력 텍스트의 언어를 검출하는 기능 Cloud Translate API의 일부로 제공됩니다

그리고 네가 그걸 잘 알고있을거야 이제 우리가 출시 한 최신 제품을 통해, 우리는 모든 기업이 쉽게 해결할 수 있도록하고 싶습니다 그들의 문제는 인공 지능을 사용합니다 일반적으로 인공 지능의 문제 중 일부는 – 인공 지능은 어렵습니다 그것은 많은 기계 학습 전문 지식을 필요로합니다

복잡하고 시간이 많이 걸릴 수 있습니다 데이터 과학 전문 기술이 필요합니다 하이퍼 파라미터 튜닝을 수행합니다 기계 학습 전문 기술 어떤 정밀도인지 평가하고, 리콜 이다; 마지막으로 시간과 노력을 들여야합니다 이러한 모델을 유지 관리하고 해당 모델을 배포하며, 규모에 따라 업데이트 상태를 유지하십시오

Cloud AutoML을 사용하여 시민 데이터 과학자를 활성화하고자합니다 자신의 기계 학습 모델을 사용자 정의하고 빌드하는 방법 네 단계 만 거치면됩니다 그리고 당신의 훈련 데이터를 업로드하는 간단한 단계는 무엇입니까? 그것을 학습하여 기계 학습 모델을 작성하십시오 3 ~ 4 시간 안에 당신은 작업 기계 학습 모델을 사용자 정의 할 수 있습니다 귀하의 회사의 유스 케이스에 품질은 일부 제품보다 훨씬 좋을 것으로 기대됩니다

일반 API 또는 일반 번역 모델 또는 이전에 보았던 자연 언어 모델을 사용할 수 있습니다 그렇다면 AutoML 번역은 어떻게 작동합니까? 맞춤 도메인 사용을 가정 해 보겠습니다 당신은 기술 매뉴얼을 가지고 있거나, 아마도 스포츠 관련 유스 케이스 또는 석유 및 가스 문서 번역이 필요합니다 Google의 Cloud Translation API를 사용할 수 있습니다 그러나 당신이 고품질 훈련 자료가있는 경우에, 고품질 인간의 번역 언어 쌍 AutoML에 샘플 데이터를 제공 할 수 있는지, 우리가하는 일 – 10 개의 예제 또는 100 개의 예제로 번역 된 언어 쌍 중 AutoML Translate 모델을 교육 할 수 있습니다

그리고 전형적인 모델 훈련 시간 3 ~ 4 시간 정도 걸립니다 그래서 몇 시간 만에 실제로 작동 할 수있는 번역 된 모델을 얻으십시오 기술 매뉴얼이나 모든 유스 케이스에 잘 맞습니다 전문 용어가 많거나 산업별 특수 용어가 있습니다 정규 번역 API가이를 포착하지 못할 수도 있습니다

예제 사용 사례 중 일부로 안내 할 수 있습니다 도메인 번역이 정말로 중요하게됩니다 여기에 오류 메시지를 예로 사용하겠습니다 장치 드라이버가 작동하지 않으므로 운전수가 작동하지 않는 것입니다 자,이 문자열의 번역을 생성한다면, 또는이 문장을 제공하지 않고 translate API에 대한 모든 컨텍스트

골프 클럽 운전사가 작동하지 않을 수도 있습니다 다른 맥락에서, 그것은 운전자가 파업 중이라는 것을 의미 할 수도 있지만, 그리고 운전사는 작동하지 않습니다 마지막으로 우리가 실제로 지적하고자하는 유스 케이스 – 다른 맥락에서, 우리가 실제로 사용하는 맥락 우리의 기계 모델을 가리키고 싶습니다 기술적 인 맥락에서 디바이스 드라이버는, 소프트웨어 드라이버가 작동하지 않습니다 나는 두 가지 예와 더 많은 현실 세계를 지적 할 수있다

우리가 지역화 한 고객 중 한 명이 곧 무대에 올거야 그들의 유스 케이스에 대해 이야기하기 우리는 두 가지 기계 학습 모델을 교육했습니다 하나는 식당 리뷰 용이고 다른 하나는 교육용 사례였습니다 그래서 우리는 지역화되었고, 기계 번역 된 모델을 만들었고, 맞춤형 번역 모델, 영어에서 독일어 모델 레스토랑 리뷰 분류

그리고 칠판에 영어에서 스페인어 모델 교육 또는 법적 유스 케이스에 해당합니다 다음은 UI가 어떻게 생겼는지에 대한 간략한 소개입니다 보시다시피, 문장 쌍이 훈련 데이터로 업로드됩니다 모델이 훈련되었습니다 그래서 이것은 계속 굴러 갈 GIF입니다

잡기가 너무 힘들면 볼 수 있습니다 처음 쐈어 그래서 우리는 비교를 제공합니다 따라서 업로드 된 문장 쌍은 다음과 같습니다 훈련 데이터로 제공됩니다

BLEU 점수, 즉 정확도 수준 – BiLingual Language Evaluation Understudy, 모델의 유효성을 나타내는 데 사용됩니다 교육 결과입니다 그리고 당신이 볼 수있는 것처럼 Predict 단계로 가면, 그 식당 리뷰 야 "친절하고 친절한 서비스"는 동일합니다 그러나 "음료 가격은 들었다

" "음료 가격은 상류층입니다" 이제 "최고급"은 더 뉘앙스가없는 번역입니다 레스토랑 리뷰에 적용됩니다 Predict 단계에서 볼 수있는 또 다른 예가 있습니다 "우리는 그것을 강력히 권고했다" "우리는 이것을 추천 할 수있다

" 그래서 이것들은 관례가 갖는 뉘앙스의 일부입니다 기계 번역 된 모형은 붙잡을 수있을 것이다, 충분한 훈련 자료를 제공했다 또 다른 예를 들어 보겠습니다 스페인어에서 영어 모델이며, 칠판에 훈련되었습니다 다시 한 번 보시다시피 BLEU 점수를 볼 수 있습니다

그것은 예측 단계입니다 이는 교육용 사례였습니다 따라서 교육 데이터는 많은 교육 전문 용어에 해당하며, 예측 단계에서는 가능한 한 학년과 자격을 비교하십시오 따라서 한정자 – 사용자 정의 모델 대 Google 시스템 모델을 학습하면 한정어가 교육용 사례에 매우 구체적이며, 그러나 학년은 더 나은 번역입니다 그걸로, 나는 초대하고 싶다

Welocalize, Olga와 Alex, 누가 그랬어? 알파 고객 중 한 명 OLGA BEREGOVAYA : 안녕하세요 나는 올가 베레 고바 야입니다 저는 Welocalize에서 언어 서비스를 관리합니다 Welocalize에서 기계 번역 관리 내 책임 중 하나입니다

그리고 여기 알렉스 알렉시스 야니 슈 브 스키 : 저는 알렉스 야니 셰프 스키입니다 나는 기계 번역 수석 매니저 다 Welocalize의 NLP OLGA BEREGOVAYA : 좋습니다

그래서 계속하겠습니다 나는 리모콘을 잃어 버렸다 나는 그것이 단지 여기에 있었다고 맹세한다 [웃음] 그래서 우리는 계속해서 커스터마이징 주제를 다룰 것입니다 그리고 그것이 우리 업계에 얼마나 중요한지를 보여줍니다

아마 우리 회사에 대한 몇 마디 말입니다 우리는 4 번째로 큰 글로벌 콘텐츠 서비스 미국에서는 7 위, 세계에서는 7 위입니다 우리 회사에 대한 몇 가지 통계를 볼 수 있습니다 그리고 기계 번역을 사용하는 것은 우리 업계에서 필수적입니다 우리가 두 가지를 좇 았기 때문에

우리는 통역사 효율성, 우리는 원시 기계를 제공 할 수있게 된 후에 번역 서비스, 맞춤식 기계 번역 모든 고객을위한 서비스 여기에 우리가 봉사하는 산업이 있습니다 그리고 우리는 AutoML Translate 모델을 교육했습니다 이 모든 산업에서 우리는 예를 들어 이야기 할 것입니다 두 산업

우리가 이전에 말했듯이, 그래서 교육은 – 우리가 가진 모범을보십시오 중재자 FAQ가 자주 묻는 질문에서 전환되었습니다 사회자가 분명히, 그것은 훨씬 더 쉬운 콘텐츠입니다 Mashup은 고객 전용 제품입니다

용어 및 우리는 마감 수정 된 오역이있는 국가 제출물의 경우 이제 다음은 OpenTable에 대한 번역이 될 것입니다 이제 이건 우리가 잘 모르겠다 사후 편집 중이거나 그렇지 않습니다 포스트 편집을하려고합니다

그래서이 결정을 내리기 위해서 – 기본적으로 우리는 아직 우리가 포스트 편집이 아닌지 모른다 그러나 우리가 알고있는 것은 우리가 가장 원하는 것을 정확한 번역이 가능합니다 그래서 우리가 여기있는 것은 지역 및 국가 제품입니다 정확하거나 그렇지 않은가요? 우리는 실제로 supraregional 제품을 선호합니다 다음은 "이 서비스는 매우 즐겁고 좋았습니다

그리고 정중 한 " "매우 즐겁습니다"는 감정을 훨씬 더 잘 표현합니다 그리고 다음은 "우리는 이것을 추천 할 수 있습니다, 우리는 곧 다시 돌아올 것입니다 " "매우 좋습니다"에 비해, 그리고 다시, 당신은 훨씬 좋은 감정을 포착하십시오 "음료 가격이 인상되었습니다" "음료 가격은 고가였다

" 다시 말하지만 번역의 정확성은 여기에 있습니다 그리고 다음 두 문장은 정확하지 않습니다 "기꺼이 돌아갑니다"와 "기꺼이 다시" 그리고 "추천할만한 것"에 비해 "많이 추천합니다" 여기, 다시, 당신은 기본적으로 다루고 있습니다

실제 오역이 있습니다 알렉스 야니 쉬브 스키 : 알겠습니다 그래서 올가 실제로 매우 구체적인 문장에 관해서 말했습니다 내가 얘기하고 싶었던 것은 어떻게 우리는 실제로 이것을 프로그래밍 방식으로 더 구현할 것입니다 종종, 우리는 사치를 가지지 않기 때문에 개별 문장을 보는 것, 전체 프로그램을 예측해야합니다

그래서 우리가하는 일은 수많은 자동 측정 중 하나입니다 우리가 주로 사용하는 알고리즘 프로그램 예측 및 예측 시간 시장에 내놓고 할인은 PE 거리이라고, 불린다 편집 후 거리 그리고 여기 차트에서 보는 것 IT 도메인의 클라이언트를위한 3 개 언어입니다 그리고 당신은 당신이 가고있는 것이 가장 낮은 번호임을 알 수 있습니다 편집 후 거리 란 숫자를 의미합니다

기계에서 얻을 수있는 캐릭터 레벨의 변경 사항 당신이 생각하는대로 번역 출력 당신의 인간, 당신의 금 생산물 그래서 생각은 변화가 적다는 것입니다 번역가로서 더 생산적으로 만들어야합니다 당신은 더 빠릅니다 더 빠르면 빠를수록 번역 할 수 있습니다

그러므로 제품이 더 빨리 출시 될 수 있습니다 그것은 중요한 것 중 하나입니다 또한, 당신이 더 빠르며 생산적 일수록, 현지화 서비스에 제공 할 수있는 할인 혜택 우리와 같은 공급자는 우리가 차례로 고객에게 전달할 수 있습니다 그래서 당신이 찾고있는 것은 아래층입니다 숫자가 많을수록 좋습니다

정말로 고무적인 것은 무엇인가 여기 몇 가지 있습니다 번호 하나, 짙은 빨간색이므로 Google AutoML 번역이 가장 낮은 것입니다 번호, 그래서 승자와 세 거리의 PE 거리 발표 된 언어 그리고 여러분은 프랑스 인에게 그 숫자가 두 번째로 차이는 3 %입니다

러시아어의 경우에도 3 %입니다 더 격렬한 다른 예를 보게 될 것입니다 그래서 한 가지 테이크 아웃은 Google AutoML 번역이 이깁니다 또한 흥미로운 점은 2 위입니다 Google 클라우드 번역입니다

그래서 Google Cloud Translation은 이미 매우 훌륭합니다 Google AutoML 번역이 더 좋습니다 올가가 언급 한 어휘 선택이 있습니다 내가 지적하고 싶은 마지막 것 여기에 경쟁자가 6 명 있니? 러시아어에는 단지 4 명의 경쟁자가 있다는 것을보십시오 그것은 실제로 실수가 아닙니다

그게 목적이에요 그리고 그 이유는 두 경쟁자, 두 우리가 보았던 경쟁사의 처음에는 점수를 매길 수있는 언어조차 없었습니다 Google AutoML을 찾은 또 다른 이유 중 하나입니다 매우 강력한 번역 다른 경쟁자들이 사용하는 언어의 풍부한 적용 범위 단순히 전혀 가지지 마십시오 이제 다른 사례를 살펴 보겠습니다

따라서 이것은 또 다른 Fortune 1000 클라이언트의 IT 도메인입니다 그래서 우리가 자주하는 일은 우리가 보는 것입니다 매우 저렴하고 효율적으로 수행 할 수있는 자동 채점시, 인간 평가도 측정합니다 그래서 우리는 몇 가지 문장을 샘플로 취할 것입니다 우리는 인간을 보게 될 것입니다

1에서 5의 척도를 토대로 1에서 5까지 판결한다 최악의 경우, 5 명이 가장 좋습니다 여기 아이디어는 우리가보고 싶어하는 것입니다 이것이 패턴과 어느 정도 일치 하는가? 자동 득점으로 볼 수 있습니다 그리고 여기에서도 비슷한 상황이 나타납니다

그래서 우리가 찾고있는 것은 유용성입니다 1에서 5까지의 척도로 사용성은 문장의 정도를 의미합니다 이해할 만하고 행동 가능한가? 그리고 이것을위한 두 가지 유스 케이스가 있습니다 하나는 원시 머신을 원할 것입니다 올가 (Olga)가 오픈 테이블 (Open Table)을 언급하면서 말이다

그래서 원시 기계 번역으로 나옵니다 그게 전부 야 그것은 포스트 편집을 전혀하지 않을 것입니다 그래서 우리는 이것이 얼마나 좋은지 알아 내야합니다 아무도 그것을 만질 것이기 때문입니다

다른 시나리오는 포스트 편집입니다 그래서 이것을 인간 수준까지 편집 할 것입니다 다시 말하지만 초기 품질이 좋을수록 편집을 게시 할 필요가 적을수록 더 생산적입니다 우리는, 그리고 더 많은 할인 우리가 줄 수 있습니다 그래서 우리가 여기있는 것은 평가 된 백 문장을 보여줍니다

이 다양한 경쟁자들에서 1에서 5까지 총 점수입니다 그리고 모든 언어에 대해 전반적으로 볼 수있는 것 Google AutoML이 처음 출시 된 것입니다 OLGA BEREGOVAYA : 이제 ALEX YANISHEVSKY : 죄송합니다 -이 경우에는, 여기, 1 위는 1 위를 의미하며, 가장 많은 것을 얻었 음을 의미합니다 죄송합니다 그것은 1에서 5까지의 척도 였지만, 기본적으로 순위가 매겨졌습니다 Google AutoML 번역은 최고의, 여기 번호 6은 실제로 최악의 연기자입니다 혼란스러워서 미안해

그래서 여기서 언급하고자하는 것들 Google AutoML 번역이 도입 된 것을 보았습니다 모든 언어로 최고입니다 그리고 여기서 언어를 볼 수 있습니다 스페인어와 프랑스어와 같은 로맨스 언어, 문법적으로 비교적 쉽습니다 중간 계층 언어의 종류로, 문법적으로 더 복잡하게, 독일어와 러시아어; 그리고 마지막으로, 한국어와 같은 아시아 언어와 중국어 간체 특히 어렵고 어디에서 우리는 신경에서 가장 큰 개선을 보았습니다

그리고 또, 여기 다른 것은 6 개 언어 중 Google Cloud Translation이 그것은 2 번 2 번, 3 번 3 번 나타납니다 다시 한번 우리는 Google Cloud의이 그림을 밖으로 시작하는 것이 좋다 그러나 우리가 그것을 훈련 할 때, Google AutoML 번역은 명확하게 위에 나온다 그리고 이것은 실제로 실제로 아주 좋아요 이 6 개 언어에 대한 편집 후 거리가 있습니다

그래서 여기, 회색 바 – 다시 말하면, 편집 횟수가 적기 때문에 하위 분류가 더 좋습니다 네가해야할 일이야 그래서 모든 것을 위해 가장 낮은 회색 바, 다시 Google AutoML 번역입니다 그리고 당신이 볼 수 있습니다, 당신이 두 번째 장소를 볼 때, 종종 두 번째 장소는 녹색입니다 Google 클라우드 번역이며 다른 번역은 멀리, 멀리있다

그리고 당신은 그 차이가 회색과 녹색 사이의 차이는 이미 상당히 중요합니다 다시 한번, 우리는이 그림을보고 있습니다 우리가 AutoML 번역을 훈련 할 때 아주 좋은 품질의 그리고 수데라 (Sudheera)가 말했듯이, 우리는 기본적으로이 모델들을 다시 얻을 수 있습니다 3 시간에서 4 시간 동안 벤치마킹을 시작하고 롤링합니다 즉시 생산에 나설 수 있습니다

ALEX YANISHEVSKY : 그리고 아마도 나는 편집 거리에 대해 몇 마디 말하십시오 앞에서 말했듯이, OpenTable의 경우, 우리는 우리가 사후 편집을 할 것인지 여부를 모른다 또는 후 편집하지 않을 것입니다 예를 들어, 우리는 사실을 알고 있습니다 우리는 포스트 편집이 될거야, 편집 거리는 우리의 핵심 의사 결정 요소입니다

우리가 어떻게 우리 고객과 협상 할 것인지를 안다면 어떻게 협상 할 것인가? 우리의 번역가들과 그래서 기본적으로 편집 거리에 대한 정보를 알고 있습니다 우리가 기본적으로 될 방법입니다 – 그것이 우리 사업을 구조화하는 방식입니다 방정식의 양쪽에 대화 이것이 바로 우리에게 중요한 척도입니다 ALEX YANISHEVSKY : 대단히 감사합니다

[박수 갈채] SUDHEERA VANGURI : 고마워, 알렉스와 올가 계속 전진 해 드리겠습니다 Cloud Natural Language API를 사용한 다음 다이빙 가장 최근의 AutoML Natural Language 제품 제공 현재 GA에있는 Cloud National Language API 현재 4 가지 기능을 지원합니다 엔티티 추출 – 일부 핵심 단어를 추출하려는 경우 또는 텍스트 구절의 구; 감정 분석, 특정 기사가 어떻게 긍정적으로 또는 부정적으로 편향되어 있는지, 사용자 리뷰의 어떤 감정; 구문 분석 – 언어 적 세부 사항이나 부분을 배우고 싶다고 말합니다 특정 문자 메시지의 말하기 – 명사 란 무엇인가, 형용사는 무엇인가 등등

마지막으로 콘텐츠를 분류합니다 Google의 현재 콘텐츠 분류 API Cloud Natural Language API 내에서 사용 가능 700 개의 카테고리와 하위 카테고리를 지원하며, 이는 미리 정의 된 분류 체계를 기반으로합니다 이 택 소노 미,이 콘텐츠 분류 API 방대한 양의 Google 데이터에 대한 교육을 받았으며, 다양한 카테고리에 매우 적합합니다 그러나 우리가 가진 것이 우리의 고객이었습니다 이 카테고리를 사용자 정의하여 사용하도록 요청하십시오

사례 석유 및 가스 고객 또는 건강 관리 고객을 상상해보십시오 또는 확실히 다시 기술 데이터, 틈새 분류 또는 라벨 또는 카테고리가있는 곳 엔터프라이즈 사용 사례에 대한 맞춤식입니다 사용자 리뷰, 고객 피드백은 다음과 같이 분류 될 필요가 있습니다 말하자면, 비행 조사 경험이 있습니다

분위기와 서비스 또는 음식으로 분류 될 필요가 있으며, 등등 따라서이 카테고리는 매우 관련성이 높고 구체적 일 수 있습니다 특정 엔터프라이즈 사용 사례, 특정 도메인, 사용 사례가있을 수 있습니다 콘텐츠 분류 API에서 더 정확한 정확도를 얻을 수 있습니다 이것이 우리가 다이빙을 더 깊이하는 주요 요인 중 하나입니다

AutoML 자연어로 변환합니다 그리고 우리가 가지고있는 첫 번째 기능 AutoML 자연어의 일부로 사용 가능 사용자 지정 콘텐츠 분류입니다 이제 어떻게 작동합니까? AutoML 번역과 마찬가지로 고객 일정량의 교육 데이터가있는 AutoML 메일을 사용할 수 있습니다 라벨 당 최소 10 개의 사례가 필요합니다 달리기의 최소 요구 사항 모델 및 각 레이블에 대한 약 100 개의 예제가 있습니다

그것은 훈련 데이터의 양이 매우 적습니다 AutoML 자연 언어 콘텐츠를 교육하기 위해 제공해야합니다 분류 모델 이제이 분류자를 훈련 시키면 – 그리고 다시 이것은 약 4-5 시간 만 걸릴 것입니다 일정량의 교육 데이터에 대한 교육 및 호황, 구체적으로 작동하는 맞춤 분류 기준을 얻을 수 있습니다

귀하의 데이터에 귀하의 데이터는 Google과 공유되지 않습니다 또는 다른 모든 고객 모델 또는 데이터와 함께 사용할 수 있습니다 그리고 모델은 필요에 따라 확장을 시작할 수 있습니다 모델이 매우 인기가 있다고 가정합니다

엄청난 양의 요청을보기 시작하면, 고객의 요구에 맞게 확장 할 수있는 모델입니다 그리고 더 많은 양의 교육 데이터가있는 경우, 당신은 항상 당신의 모델을 재 훈련 할 수 있고, 분류 기준은 사용자의 요구에 맞게 조정됩니다 자신의 레이블과 범주 그렇다면 AutoML NL은 어떻게 사용할 수 있습니까? 세 가지 예가 있습니다 Stack Overflow 질문의 태그를 예측할 수 있습니다

예를 들어, 이는 매우 기술적 인 예이며 맞춤 콘텐츠 분류 자 또는 일반 분류 자 ​​API는 catch 할 수 없습니다 특정 뉴스 기사가 어떤 기사인지 예측할 수 있습니다 입니다 그리고 건강 관리 – 의사의 메모, 환자의 메모를 분석해야합니다 다시 말하지만, 기업 데이터의 90 %는 체계적이지 않습니다

보건 의료 용어에 대한 정보가 주어지면, 모델에 몇 가지 교육 데이터를 제공 할 수 있습니다 특정 질병에 증상을 표시하는 방법 AutoML Classifier가 예측을 시작할 수 있습니다 이 사용자 정의 유스 케이스를 기반으로합니다 뒤에, 우리는 무엇을합니까? 다시 한번 말하지만,이 경험을 통해 우리는 hyperparametric 튜닝, 우리는 단지 훈련 이외의 것에 대해서는 말하지 않았다 귀하의 데이터, Train을 클릭하고, 평가 지표를 살펴보십시오

모델이 좋으면 훌륭합니다 그런 다음 모델이 아닌 경우 더 많은 교육 데이터를 제공합니다 모델을 특정 유스 케이스로 조정하거나 조정할 수 있습니다 그런 다음 예측을 실행합니다 뒤에서 우리는 데이터 과학자를 모방합니다

데이터 과학자가 최선을 만들기 위해 무엇을 할 것인가? 당신의 유스 케이스를위한 모델 Google은 여러 파이프 라인, 여러 Google 모델, 특정 고객을위한 최고의 모델을 선보입니다 데이터 세트 그것은 고객으로부터 추상화되었습니다 어느 매개 변수를 조정할 필요가 있는지, 어떤 모델을 사용할지를 결정해야합니다

우리는 무대 뒤에서 모든 무거운 짐을 듭니다 최고의 정밀도를 제공하는 최고의 모델을 볼 수 있습니다 귀하의 유스 케이스를 상기하십시오 AutoML에 대한 고객의 많은 관심을 보았습니다 우리는 한동안 알파 상태 였고 우리는 많은 고객이 있었고 그 중 하나 잠깐 얘기 할거야

Qualtrics 하지만 우리는 메러디스를 특별히 보았습니다 자연어, 허스트, 싱가포르 항공 뉴스 분야에는 많은 고객이 있습니다 중요한 사용을 발견 한 다양한 기타 도메인 AutoML 자연어 내의 사례, 그리고 번역에서도 – 우리는 Welocalize 및 다른 많은 고객을 참조하십시오

그것으로, 나는 세부 사항의 일부에 들어가기를 좋아할 것이다 Qualtrics에서 이야기 할 수 있습니다 그들은 AutoML 자연 언어를 사용했습니다 설문 조사 응답을 최적화하기 위해 나는 그들이 어떻게했는지를 설명하기 위해 밀린 드가 좋아합니다 MILIND KOPIKARE : 고맙습니다, 수 데라

안녕하세요, 여러분 내 이름은 밀린 드입니다 나는 Qualtrics Surveys의 제품 책임자입니다 우리 설문 조사, 주력 제품 그리고 내가 할 일은 문제에 대해 이야기 할 것입니다

조사 연구 산업이 직면하고있는, 우리는 해결책에 대해 이야기하고, 우리는 그 솔루션을 어떻게 구현했는지 살펴 봅니다 또한 멋진 데모를 보여 드리겠습니다 그래서, 당신이 해결하려고하는 문제는 무엇입니까? 그래서 Qualtrics에서는 매년 200 명 이상을 발송합니다 백만 이상의 설문 ​​조사 수십억 개의 설문 조사 응답이 있습니다

그리고 그 문제는 – 이것은 설문 조사 업계 전반에 걸쳐 있습니다 실제로, 당신은 더 나은 숫자를 여기에서 볼 것입니다 그러나 조사의 85 % 이상이 완료되지 않았습니다 그리고 당신이 그 모든 것과 관련 될 수 있다고 확신합니다 설문 조사를 좋아하는 사람은 누구입니까? 그게 왜 그런지 이유는 – 더 자주는 아니지만, 질문 사람들이 설문 조사에서 묻는 것은 명백히 잘못입니다

그들은 관련 질문이 아니며, 올바르게 말을하지 않고, 종종 잘못된 데이터가 있음을 의미합니다 우선, 사람들이 설문 조사를 완료하고 유명한 말이지, 맞지? "쓰레기통, 쓰레기통" 그래서 잘못된 질문을하면 잘못된 대답을하려고합니다 그리고 그것은 큰 문제입니다 잘못된 데이터로 인해 비즈니스가 잘못 될 수 있습니다

결정, 설문 조사 비용이 든다 업계는 매년 40 억 달러의 손실을보고 있습니다 더 중요한 것은 잘못된 비즈니스 결정입니다 어구를 인용하기 위해, 그것은 "배를 가라 앉히는"것을 의미합니다 많은 사업체에서 자, 이것에 대한 해결책은 무엇입니까? 솔루션은 꽤 간단합니다

더 나은 설문 조사를 만드십시오 올바른 질문을하는지 확인하십시오 설문 조사를 설계하는 경우 당신이 묻는 질문은 매우 관련이 있습니다 Qualtrics에서 우리는 그것을 "예측 적 질문"이라고 부릅니다 나는 당신에게 그것의 데모를 보여줄 것입니다

설문 조사 담당자 인 경우 당신이 매력적인 경험을하고 있는지 확인하십시오 수데라 (Sudheera)는 비행 후 조사에 대해 언급했다고 생각합니다 비행기에서 내리는 경우 당신이 설문 조사를하고, 당신이 그렇게 말하면, 나는 화가났다 비행기가 더러워졌다 1에서 5까지의 척도로 질문하지 마십시오

너 얼마나 행복해? 너 분명히 화가 나있어 더 관련성 높은 질문을하는 것이 좋습니다 그래서 손을 빠르게 보여줍니다 얼마나 많은 사람들이, 지난 1 년 동안, 비행을하는 데 나쁜 시간을 보냈습니까? 거의 우리 모두 우리 모두는 가난한 비행 경험을 가진 이야기를 가지고 있습니다

언젠가는 그건 너는 아마 모를거야 그러나 많은 비행 회사들이 있습니다

우리의 고객들– 그들은 진지하게 받아 들인다 그것에 대해 뭔가하고 싶다 그들은 일하는 사람들의 군대를 가지고있다 고객 서비스에 종사하면서 이러한 문제를 해결합니다 하지만 문제는

그들은 모든 올바른 일을하고 있습니다 그들은 피드백을 얻으려고하지만, 그렇지 않습니다 올바른 질문을합니다

그래서 그들은 대기 상태에있는 군대를 가지고 있습니다 이러한 문제를 해결하기 위해 당신이 비행기에서 나올 때 당신이 겪는 문제는 무엇입니까? 네가 방금 가져간 비행편에 있었어 그래서 제가 할 일은 간단한 데모를 보여 드리겠습니다 여기서 우리는 정기 항공편 조사를했다 그것은 매우 익숙 할 것입니다

너 모두는 – 당신이 좋아하는 비행기에서, 당신은 내렸고, 당신은 설문 조사를 받았고, 너는 질문에 대답했다 우리는 당신에게 무엇의 예를 보여줄 것인가? 우리가 소개를 시작할 때 일어난다 AI, AutoML을 Qualtrics 비행 조사에 사용하기 시작할 때 그래서 이것이 비디오이고, 나는 그냥 가서 연주한다 오, 기다려

죄송합니다 기다려 [비디오 재생] – 방금 비행기에서 내렸고, 우리는 당신에게 설문 조사를 요청합니다 질문, 비행기는 어땠어? 그리고 비행이 사건이 없었다고합시다 너는 말할 것도 없다

너는 단지 말한다 괜찮 았어 그리고이 예에서, 어떤 일이 일어날 것인가? 우리는 당신이 어떤 특별한 의도도 갖고 있지 않다는 것을 알고 있습니다 특정 주제가 없습니다 당신이 얘기하고 싶어하는 것, 그래서 우리는 단지 거기에서 조사를 끝내라

그러나, 내가 무엇인가를 말할 때와 대조적으로 비행은 어땠어? 내가 말하면 – 정말 화가 났고 어쩌면 내가 그들이 내 가방을 잃었 기 때문에 화가났다 그래서 나는 당신이 내 가방을 잃었다 고 말할 것입니다 이제이 경우 우리는 당신이 행복하지 않다는 것을 알고 있습니다 둘째, AutoML API 덕분에 특히 행복하지 않은 것이 무엇인지 알아야합니다 그래서 우리는 그 사람이 행복하지 않다는 것을 인정합니다

이것은 ML API에서 비롯된 것입니다 실시간으로 정서를 이해할 수 있고, 하지만 더 중요한 것은 우리는 또한 특정 주제가 무엇인지 이해할 수있다 고객이 염두에두고있는 것입니다 그리고 우리는보다 지적이고보다 문맥적인 질문을합니다 특정 주제를 중심으로 이 경우 수하물에 관한 것입니다

그래서 우리는 그들에게 더 구체적인 질문을합니다 좋습니다 수하물에 대해 더 자세히 말해줘 여기에서 볼 수 있듯이 문맥 상 고객과 함께, 훨씬 더 인간적인 느낌, 훨씬 더 대화적인 느낌, 이로 인해 참여도가 높아졌습니다 고객 및 설문 조사와 관련하여 더 높은 완성도 속도와 높은 데이터 품질

[끝내기] 밀린 코 피케 (MILIND KOPIKARE) : 좋습니다 그렇습니다 잠깐만 기다려 봐 그냥 다음 슬라이드로 이동하려고합니다 [옆면 대화] MILIND KOPIKARE : 탭을 보았습니다

확실하지 않습니다 거기에 도착하는 방법 아마 도망 가고 싶어하고 너는 탭으로 간다 오 됐어

[소리내어 말하기] 관객 : 그래 밀린 코피 카레 : 좋습니다 우리는이 경험에 대한 설문 조사를해야합니다 [웃음] 이 슬라이드로 돌아갈 수 있을까요? 네 괜찮아

몇 개의 슬라이드로 돌아가십시오 그래서 실제로, 그것은 좋은 segue입니다 그래서 이것은 우리가 가능하게 할 수있는 경험이었습니다 보시다시피, 훨씬 더 매력적이었습니다 우리는 훨씬 더 많은 것을 알고있었습니다

우리가 물어 본 질문은 훨씬 더 적절했습니다 후드 아래를 살펴 봅시다 우리가 어떻게 만들었는지에 대해서 그래서 저는 수 데라 (Sudheera)가 기술 우리가 한 일은 우리가이 응답 중 몇 가지를 취한 것입니다 우리 고객의 – 당신도 알다시피, 사람들이 피드백을 줄 때 비행– 우리는 그들을 라벨링하기 시작했습니다

우리는 그들을 염두에두고 특정 목적으로 분류했다 그래서이 회사는 비행 청결도를 연구하는 팀을 두었습니다 그래서 누군가가 비행이 지저분하다고 말하면 또는 항공편이 깨끗하지 않았 으면 청결 문제로 누군가가 비행기가 가격이 너무 비쌌다는 이야기를 들었다 또는 비행이 unaffordable이었던 등등

우리는 가격 책정 문제로 그것을 분류했다, 고객이 가지고있는 팀이 있기 때문에 누가 가격 책정을한다 그래서 첫째로, 우리는 많은 응답에 라벨을 붙입니다 그 후, 우리는 다양한 응답에 대해 모델을 훈련시킵니다 그리고 그것은 꽤 좋은 일을했습니다 그것은 꽤 높은 정밀도와 리콜을 가졌습니다

그리고 우리는 또한 무엇을 예측했는지 얼마나 좋은가? 문제는 무엇입니까? 누군가 응답을 입력합니다 그래서이 경우에 이것은 누군가가 말한 반응입니다, 너는 나에게 가장 작은 것조차 지불하라고했다 비행 중 한 지점에서 무료 글쎄, AutoML은 꽤 잘 했어 이것은 음산한 문제입니다

따라서 실제 설문 조사에서는 이것은 가격 책정 부서로 전달 될 것이라고 비행 회사에서 그리고 이제 이것이 끝나면 Qualtrics를 사용했습니다 좋은 설문 조사를 만드는 데 도움이됩니다 예를 들어, 우리는이 제품 Expert Review를 가지고 있습니다 그것이하는 일은 예측할 수있을 것입니다

설문 조사를 작성하는 경우 올바른 질문이 무엇입니까? 묻고 있어야하며, 그 질문을하는 법을 안내합니다 따라서 AutoML의 결과를 사용하여 사람들을 안내하고, 설문 조사 창조주, 물어볼 올바른 질문이 무엇이냐고 묻습니다 우리는 또한 논리를 가질 수있는 기능을 가지고 있습니다 우리가 말했지, 알았어,이 고객이 말을 시작하면 – 우선, 그가 불행하다면, 특정 질문을하십시오 그가 행복하다면 다른 질문을하십시오

그들이 말하는 경우,이 경우, 서비스, 그런 다음 서비스 개선 방법에 관한 질문을하십시오 그래서 우리는 설문 조사의 논리가 슈퍼 맥락이었다 그리고 그것의 순수한 그물은 민주당 원이었다 당신은 방금 비행기와 같은 조사에서, 그것은 당신이 정기적으로하는 것과는 아주 다른 경험입니다 경험 상황에 훨씬 더 민감하고 설문 조사가 짧으며, 훨씬 더 요점

마지막 예를 들고 마무리하겠습니다 이번에는 비디오가 제대로 나오기를 바랍니다 그럼이 비디오를 재생 해 봅시다 그래서 이것은 예입니다 – 내가 비디오를 재생하기 전에 – 전자 상거래 사이트의 따라서 우리는 또한 많은 전자 상거래 회사를 보유하고 있습니다 전자 상거래가 어떻게 될지 알고 있습니까? 우리는 모두 거기에있었습니다

우리는 모두 전자 상거래 사이트로 이동합니다 우리는 다 가서 가게하지만 우리는 바로 거기 사지 않습니다 우리는 찾아보고, 우리는 시간을 들이고, 중요한 다른 사람에게 물어볼지도 모른다 결국 우리는 돌아가서 우리는 하나를 결정한다 구매할 특정 제품

그리고 전자 상거래 회사가하려는 일 어떻게하면 그 경험을 더 잘 할 수 있을까요? 그들의 고객을 위해? 그렇다면 그들이 어떻게 제품을 보여줄 수 있는지, 선택, 맞죠? 그들은 어떻게 체크 아웃 경험을 확실히 할 수 있습니까? 매우 매끄러운가? 그래서 그들은 피드백을 얻고 싶고 우리는 그 피드백을 얻습니다 그러나 우리가 어떻게 거기에 있음을 보도록하겠습니다 네가 언제 올바른 질문을 할 수 있니? 피드백을 수집하려고합니다 예를 들어, 누군가가 말한다면, 제품의 올바른 선택을 찾을 수 없었습니다 그것에 대한 피드백을 요청합시다

어떤 질문을하지 않겠습니까? 그들이하는 일에 전혀 무관하다 에 대한 피드백을 얻으려고 노력합니다 그래서이 예에서 – 이것은 Qualtrics에서 실시 할 설문 조사입니다 여기에서 그들은 묻습니다 매장 내 경험은 어땠습니까? 그리고 그들이 행복하지 않은 것처럼 보입니다

우리는 왜 당신이 행복하지 않은지 그들에게 물었습니다 그리고 그들은 말했다 "서비스는 위대했다 그러나 체크 아웃은 가난한 경험이었다 " 이제는 AutoML 주제 덕분에, 우리는 훨씬 더 지적한 질문을한다 우리가 그들에게 물어 보죠

좋습니다 체크 아웃에 대해 더 많이 말해주세요 서비스가 아닌 제품 선택 – 우리는 곧장 그 지점으로 가서 물어 봅니다 특히 그 문제에 관해서 설문 조사 결과가 좋았습니다

그리고 그물 그물, 그것은 훨씬 더 매력적인 경험, 결정을 내리는 데 도움이되는 답변을 얻을 수 있습니다 이것이 우리가 AutoML과 Qualtrics를 사용하는 방법입니다 매력적인 설문 조사를 만들 수 있습니다 고맙습니다 [박수 갈채] SUDHEERA VANGURI : 고마워요, 밀린 드

그건 헷갈 린다 [웃음] 왜 그런지 상상할 수 있습니다 그래서 우리는 AutoML 자연 언어가 Qualtrics 보다 지능적인 설문 조사를 구축하고, 둘 다 좋은 질문을한다 설문 조사의 피드백을 통합하는 방법 이러한 설문 조사를 분석하고 피드백 루프를 진행하십시오 그리고 그것은 선순환을 만듭니다

데이터 중심의 의사 결정이 필요합니다 AutoML 자연어도 사용되었습니다 뉴스 도메인에서 많은 고객을 돕고 있습니다 예를 들어 허스트 신문 내가 어떻게 당신에게 작은 예제를 말해 줄까? Hearst는 AutoML Natural Language를 사용하여 빌드했습니다

자신의 맞춤 분류 기준 뉴스 조직은 일반적으로 임시 콘텐츠의 대규모 저장소, 상록수가 포함되어 있습니다 상록 내용으로, 나는 기사를 의미한다 그것은 고객에게 반복해서 재 등장 할 수 있습니다 이 제품들은 더 오래 보관할 수 있으며, 추천 엔진에 넣을 수 있습니다

그들은 개인화하고 증가시키는 데 사용할 수 있습니다 이러한 웹 사이트의 참여 따라서 Hearst는 맞춤 분류자를 만들고, 임시 콘텐츠와 상록 콘텐츠가 다시 비교됩니다 이 두 레이블로 뉴스 기사에 태그를 지정하려면, 정규 분류기에는 이러한 레이블이 없습니다 당신이 앞서 가서 이것의 위에 건설 할 첫 번째 장소

이것은 수동 모델 구축 프로세스가 많이 필요할 것입니다 그래서 며칠 내로, AutoML NL의 경우, Hearst 일정량의 교육 데이터를로드 할 수 있었고, 수동으로 선택하고 태그를 추가 한 특정 기사 제공 편집자가 임시 콘텐츠로 대 편집 상록수 콘텐츠 그리고 그들이 갖고있는 Custom Classifier Model로, 자연 언어는 일반적으로 약 4-5 시간이 걸리며, 우리의 내부 테스트를 기반으로합니다 그래서 4 시간에서 5 시간의 훈련 후에, Custom Classifier Model은 정확하고 정확하게 예측할 수있었습니다 90 년대에는 기사가 일시적 이었는지 여부 또는 그것이 항상 녹색인지 여부 이제 허스트는 그것을 사용할 수 있고 생산에이 모델을 배치 할 준비가 됨 이 모델 위에 추천 엔진을 만들기 시작합니다

또한 AutoML NL을 사용하여 최적화하려고합니다 AutoML NL Custom Classifier로 구축 한 광고 시스템을 개선하기위한 모델입니다 이것이 바로 AutoML 자연 언어의 힘입니다 맞춤 분류 기준을 작성하는 간단한 과정 막대한 비용 절감 효과, 물리적 공정 자동화, 이전에는 불가능했던 유스 케이스를 가능하게합니다 빨리 요약하면, 이 세션에서 AutoML Natural AutoML뿐만 아니라 언어 번역, 고정밀 사용자 정의 및 사용하기 쉬운 기계 학습 모델을 제공합니다

이것이 바로 핵심 가치 제안입니다 우리는 AutoML NL과 AutoML을 요약하고자합니다 제품 번역 추가 질문이있는 경우, 이 세션이 끝난 직후 Q & A를 해드립니다 우린 밖에있을거야

몇 장의 티셔츠도 있어요 나는 멀리주고 싶다 오늘 고맙습니다 여기에 더 많은 리소스가 있습니다 클라우드 번역, 방문 페이지, 문서가 있습니다

또한 Getting Started 튜토리얼, 및 빠른 시작을 사용할 수 있습니다 고맙습니다 [박수 갈채] [음악 재생]