Kartik Hosanagar: "AI Governance and Risk Management" | Talks at Google

[음악 재생] 카팁 호사나가르 : 여기에와 주셔서 감사합니다 이곳에 와서 이야기하는 것이 대단히 기쁩니다

크리스가 언급했듯이, 나는 교수 다 와튼 학교에서 나는 최근에 출판 된 책의 저자이며, "기계 정보에 대한 인간의 가이드"라고합니다 나는 언제나 계약 상 의무가있다 나는 인공 지능이나 기술과 관련이있는 무엇이라도 원격으로 이야기한다

우리 책 커버 자켓의 스크린 샷을 보여줘야 해 사람들이 미묘하게 복사본을 가져 오는 것에 영향을줍니다 책 읽는 중 그래서이 책은 기계에 관한 결정이며 특히, 기계 학습에 대한 기회와 도전 그리고 개인, 어떻게 기업, 규제 기관 자동화 된 결정을 관리하는 것에 대해 생각할 수도 있습니다 오늘은 주로 이야기 할 것입니다

그것에 대해 제가 생각하는 거버넌스 프레임 워크입니다 그리고 특히, 저는 시작할 것입니다 기계의 역할에 대해 조금 이야기함으로써 우리 삶의 결정 그 중 많은 부분이 직관적입니다 나는 그것을 빨리 공유 할 것이다

그런 다음 기계 결정의 위험에 빠지게 될 것입니다 그리고 그것을 통치 이제이 책을 연구하는 과정에서, 나는 많은 사람들을 인터뷰했다 그리고 정말로 흥미있는 사람들 중 한 명 내가 인터뷰 한 것은 22 세의 중국 선전이었습니다 그녀의 이름은 Yuan Zhang이었다

그리고 그녀는 생명 공학 전문직에 있습니다 그리고 내가 실제로 발견 한 것들 중 하나는 그녀의 일상적인 습관에 관해서는 일상적인 대화였습니다 그녀는 Xiaobing이라는 소셜 미디어 유명인과 함께했습니다 이제 Xiaobing은 소셜 미디어의 유명 인사입니다 그녀는 4 천만 명의 추종자가있는 10 대 소녀입니다

그리고 뉴스 보도가 믿어 져야한다면, 이 추종자의 4 분의 1 이상 어느 시점에 Xiaobing에게 "당신을 사랑해"라고 말했습니다 자아 빙 (Xiaobing)에 대해 정말로 흥미로운 점은, 40 대 소셜 미디어 연예인 임에도 불구하고 추종자가 백만 명에 달하는 그녀는 실제로 그녀의 추종자들 중 한 사람과 매일 대화를 나누고 있습니다 물론, 배우는 것은 놀라운 일이 아닙니다 샤오빙은 실제로 인간이 아니며, 하지만 Xiaobing은 생성 된 채팅 봇입니다 10 대 소녀의 인물로 Microsoft에서 그것은 중국에서 대단히 성공적이었습니다

자아 빙 (Xiaobing)의 성공에 힘 입어, Microsoft는 비슷한 chatbot을 시작할 수 있는지 질문했습니다 미국에서, 나는 우리 모두 또는 우리 대부분을 생각한다 들었습니다 그리고 그 chatbot은 Microsoft Tay였습니다 그리고 Tay는 2016 년에 출시되었습니다

그리고 몇 분 안에 시작할 수 있습니다 테일러는 인종 차별 주의자, 성 차별 주의자, 파시스트 밥솥으로 변했다 그 모든 종류의 공격적인 것들에 이르기까지, 페미니스트들 히틀러가 지옥에 타야한다 권리 및 많은 다른 것들 사실, 그 해 말에, "MIT Technology Review" 마이크로 소프트 테일러 (Microsoft Tay)를 최악의 기술로 평가했다

그리고 내가 Xiaobing과 Microsoft Tay에 대해 읽었을 때, 나는 도울 수 없지만 궁금해 어떻게 된거야? 매우 유사한 접근법을 사용하는 두 개의 채팅 로봇 똑같은 회사가 가질 수있는 그러한 엄청나게 다른 결과? 그리고 그것이 제가이 책을 쓰는 관점에서 시작하게 한 것입니다 또는 아이디어를 탐구하기 시작합니다 그리고 그 과정을 시작한 이래로 자동화 또는 자동화의 예를 더 많이 보았습니다 지난 2 년, 3 년 동안 의사 결정이 잘못되었습니다

예를 들어, 작년 말에는 로이터 통신의 이야기가있었습니다 이력서 스크리닝 알고리즘에 대해 아마존이 생각났다 Amazon의 문제는 매우 직관적이며 직관적입니다 물론 구글도 관련이있다 아마존은 일 년에 10 만 명이 넘는 사람들을 고용했습니다

아마도 이력서가 수백만 개일 것입니다 그리고 당신은 큰 팀조차 가질 수 없습니다 그 많은 이력서를 통과 할 수있는 신병 모집 자의 인터뷰에 초대 할 사람을 알아 내십시오 그래서 그들은 프로세스를 자동화하려고했습니다 초대 할 사람과 후보자를 결정할 수 있습니다

그리고 그들 자신의 내부 조사 나중에이 시스템에 성별 편견이 있음이 드러났습니다 그리고 나서, 뉴스 보도에 관한 한, 그들은 사용을 중단했다 그리고 다시 한 가지 예입니다 다른 많은 것들이 있습니다 몇 년 전 ProPublica의 이야기가있었습니다

법정에서 사용되는 알고리즘에 관한 정보 판사와 가석방 담당관에게 양형을 통보하고, 보석금 및 가석방 결정 그래서이 알고리즘은 피고의 프로파일을 볼 것입니다 그런 다음 기록 데이터를 기반으로 다양한 위험 점수 – 예를 들어, 이 사람이 다시 도망 갈 가능성을 예측하십시오 그리고 그 정보는 심사 위원에 의해 사용될 것입니다 선고 결정, 가석방 담당관의 결정 가석방 결정 등

그리고 ProPublica의 분석에 따르면 그 알고리즘 경주 편견이 있었다 특히, 잘못 예측할 가능성이 두 배나 높았습니다 흑인 피고인들의 미래 범죄 백인 피고인보다 그리고이 기사는 많은 예제를 제공했으며, 그 중 하나는 슬라이드에 바로 있습니다 그리고 당신에게는 개인, 남성이 있습니다

누가 무장 강도 2 건을 저질렀 는가? 그는 위험도 점수가 매우 낮았습니다 아프리카 계 미국인 인이 여인에게 청소년 경범죄가 적 었으며 위험 점수가 높았습니다 그녀의 프로필에는 아무 것도 없었지만 그리고 이것들은 단지 몇 가지 예일뿐입니다 더 많은 예제가있었습니다 나는 Google에있어 너무 많은 Google 예제를 선택하지 않았습니다 너희들은 더 많이 안다

그러나 말하자면, 자동 완성은 잘못되었다 또는 이미지 태그 지정이 잘못되었습니다 그래서 그러한 종류의 예제도 있습니다 대규모로 학습하는이 기계를 보는 모든 회사 잘못한 것들의 예가있을 것이다 한 방향으로 또는 다른 방향으로

우리가 이런 종류의 문제를 볼 때 의문 하나의 접근 방식은 무엇입니까? 기계의 충격을 최소화하기 위해 사용 잘못된 결정, 특히 우리가 사용할 때 높은 지분에 대한 결정을 내리는 기계 환경의 종류, 말하자면, 신용 승인, 대출 승인 또는 모집 등등? 그리고 그것이 제가 이야기하고자하는 것입니다 하지만이 주제의 알고리즘을 처음 접하는 것으로 시작하겠습니다 우리 인생에서 많은 결정을 내리고 있습니다 이것은 동기 부여가 필요한 환경이 아닙니다 이봐, 내기가 더 높아질 수는 없어

알고리즘은 많은 결정을 내리고 있습니다 그래서 내가 처음에 말하려고하는 것 아마도 당신이 이미 알고있는 것을 확인하려고 할 것입니다 그러나 아마, 그것은 숫자를 더합니다 너에게 상당히 직관적 인 것 얼마나 많은 결정을 내렸는가? 알고리즘으로 구동됩니다 빨리 덮어 버리면 이를 위해 거버넌스 프레임 워크로 뛰어 들어라

그리고 물론, 무엇보다도, 여기 Google에 올 때, 나는 이것에 대한 당신의 관점 그래서 나는 내 발표를 짧게 지킬거야 당신의 견해와 의견을 얻기를 바랍니다 그리고 질문도 따라서 우리를위한 결정을 내리는 알고리즘의 관점에서, 나는 우리 모두가 우리 자신이 좋아하는 예제를 가지고있을 것이라고 생각한다

그러나 확실히, 우리 모두가 관련 될 수 있고 하나는 그동안 잠시 있었어 쇼핑하러 가자 그리고 아마존 닷컴에 가면 메시지를 볼 수 있습니다 이것을 본 사람들은 결국 그 제품을 구입했습니다 또는 이것을 구입 한 사람들도 다른 제품을 구입했습니다

그리고 질문은 얼마나 많은 결정을 내리는지에 있습니다 그리고 우리 중 대부분은 우리 선택에 미묘한 영향을 미친다는 것을 알고 있습니다 다양한 방법으로 한 연구는 3 분의 1 이상 아마존에서 결정의 원산지 알고리즘 권장 사항에서 이제 이러한 권장 사항은 선택의 수에 영향을 미친다 만들다, 우리가 만드는 구매의 수, 그러나 그것은 또한 선택의 종류, 종류에 영향을 미친다

우리가 소비하는 제품도 사실, 제 연구에서, 저는 이해에 매우 관심이있다 자동화 된 권장 사항 변경 방법 우리가 소비하는 제품의 혼합, 우리가 소비하는 미디어의 혼합, 등등 한 연구에서 우리는 상위 5 개 온라인 소매 업체와 파트너 관계를 맺었습니다 미국에서 실험을했습니다 50 만 명의 사용자가 쇼핑 경험이있어 알고리즘 권장 사항이 없었으며, 그리고 그것은 통제 집단이었고, 또 다른 10 만 명의 사용자들 협업 필터가 있는데, 이는 본질적으로 같은 추천, 이것도 구입 한 사람들 이 다른 제품을 샀다

그래서 우리는이 시스템이 어떻게 종류를 변화 시켰는지 살펴 보았습니다 사람들이 소비하는 제품 그리고 특히, 우리는 어떻게 보았는가에 관심이있었습니다 그것은 판매의 다양성을 변화시킵니다 제품의 다양성을 어떻게 변화 시키나요? 사람들이 전체적으로 소비한다는 사실을 알고 있습니까? 그리고 이것은 그것의 묘사입니다

그리고 특히, 내가 여기에서 플로팅 한 것은 무엇인가? 로렌츠 곡선으로 알려져 있습니다 시장의 그래픽 표현이다 다른 제품의 점유율 Lorenz 곡선은 종종 소득 불평등을 계획하는 데 사용됩니다 부의 불평등을 살펴보십시오

그리고 여기서 우리는 판매 불평등을보고 있습니다 그리고 x 축은 근본적으로 제품을 가지고 있습니다 가장 인기있는 제품이 가장 적은 제품 그리고 가장 인기있는 제품은 오른쪽에 있습니다 그리고이 그래프의 y- 축은 누적 시장 점유율을 가지고 있습니다 제품의

즉,이 그래프가 말하는 것입니다 만약 검정색 곡선을 보게된다면 그것은 Lorenz입니다 우리의 컨트롤 그룹에 대한 곡선, 우리 그룹을 의미 어떤 권고도받지 못했다 그 제품의 하단 40 %입니다 매출의 약 5 %를 차지했습니다 마찬가지로 제품의 하단 80 %를 보면, 그들은 매출의 약 37 %를 차지했습니다

그래서 우리는 80-20 규칙을 제외하고들은 것입니다 80-37입니다 그것이 여기에 있습니다 이제 검정 곡선은 로렌츠 곡선입니다 권장 사항에 노출되지 않은 사용자의 경우 점선으로 된 빨간 곡선은 로렌츠 곡선입니다

권장 사항에 노출 된 사용자의 경우 그리고 주목할 것은, 권장 사항에 노출되어 있으며, 제품의 하단 40 % 구매의 약 1 %를 차지했습니다 그리고 제품의 하단 80 %는 27 %의 시장 점유율을 보였습니다 요컨대,이 추천 시스템을 시작한 후, 틈새 시장 제품의 시장 점유율 실제로 감소하고 인기있는 제품의 시장 점유율 실제로 증가했다 그리고 이것은 놀랍습니다 왜냐하면 약속 알고리즘 권장 사항 검색 비용을 줄이고, 이러한 틈새 시장을 발견하는 데 도움이됩니다

그리고 그것은 일어나지 않았습니다 그리고 사실,이 사실을 이해하는 한 가지 방법이 있습니다 제품의 절대 판매를 살펴 보는 것입니다 나는 여기서 시장 점유율을 꾸몄다 이는 제품의 상대적 판매량입니다

우리가 제품의 절대 판매량을 보면, 우리가 찾은 것 제품의 모든 종류의 절대 판매, 틈새 제품이나 블록버스터 등 모든 것이 올라갔습니다 그러나 인기있는 제품의 판매 벽감 제품의 판매보다 더 많이 올라갔습니다 따라서 상대적인 기준에 따라 "부자가 더 부유 해졌다"는 종류의 효과가있었습니다 무슨 일이 일어 났는지 조금은 그렇다 지난 30 년, 40 년 동안 수입이 있다고 가정 해 봅시다

40 년 전을 소득으로 보았을 때, 모든 그룹의 소득 – 가장 가난한 그룹, 가장 부유 한 그룹 – 모두가 올라갔습니다 그러나 상대적으로 부자 가난한 자보다 부유 한 길을 가졌습니다 그래서 소득 불평등은 실제로 증가했다 그리고 우리는 비슷한 효과를 발견합니다 그리고 이것은 여기에 사용 된 알고리즘 가장 인기있는 디자인 중 하나입니다

협업 필터입니다 이것을 구입 한 사람들도 이것을 구입했습니다 따라서 추천 할 제품을 위해, 그것은 다른 사람들에 의해 구매되어야합니다 그래서 거기에 편향된 인기가 있습니다 대조적으로, 또 다른 디자인은 콘텐츠 기반 권장 사항으로 알려진 당신은 인기를 보지 않습니다

당신은 제품의 실제 속성을보고, 다른 제품을 찾으십시오 속성 측면에서 유사하다 그리고 그 디자인에는 이런 종류의 대중성 편향이 없습니다 그리고 하이브리드 디자인이 있습니다 예를 들어, Spotify는 하이브리드 디자인을 사용합니다

공동 작업 필터를 사용하는 곳에서 콘텐츠 속성을 사용하여 음악을 추천합니다 따라서 음악을 보여주는 것과 다른 사람들은 소비하고 또한 물건을 발견하는 것을 돕고 있습니다 그것은 당신이 선호하지 않는 것들에 가깝습니다 하지만 디자인과는 별도로 우리 연구 결과에 따르면 사람들이 사들인 제품의 혼합을 바꾸고, 그들이 소비하는 미디어의 혼합 등이 포함됩니다 물론 이것은 전자 상거래의 한 예입니다

다른 설정으로 가져갈 수 있습니다 미디어를 보면, 예를 들어, 데이터 과학자 Netflix에서 이것을 측정 한 논문이 나왔습니다 시청 시간의 80 % Netflix에서 스트리밍되는 것은 어느 시점에서 발생합니다 알고리즘 권장 사항을 통해 그래서 우리를 조종하는 알고리즘 적 권고 사항입니다 쇼에 들어간 다음 우리는 쇼를 많이 소비합니다

예를 들면 마찬가지로, 다른 연구에 따르면 70 % 사람들이 YouTube에 머무르는 시간 알고리즘 권장 사항에 따라 결정됩니다 다시 말하지만, 나는이 특별한 것에 너무 많이 들어 가지 않을 것입니다 여기 계신다면, 아마도 나중에 오프라인에서 채팅 할 때이 측정 항목에 대해 자세히 설명해주세요 그러나 최종선 – 그들은 우리의 선택의 제비를 몰고있다, 소비하는 제품, 소비하는 미디어, 우리의 사회적 네트워크조차도 Facebook 또는 LinkedIn에 추가 한 친구, 그러나 우리의 개인적인 삶, 물리적 세계, 소셜 네트워크

예를 들어 Matchcom 또는 Tinder와 같은 데이트를 보는 경우, 주도되는 대부분의 경기 알고리즘 권장 사항에 따르면, 이것은 당신이 데이트해야 할 사람입니다, 또는 이것은 당신이 결혼해야하는 사람입니다 또한 알고리즘이 선택에 영향을 미치기도합니다 심지어 그것을 깨닫지도 않고 흥미로운 한 가지 예가 연구 조사에서 나온 것입니다

그것은 페이스 북에서 행해졌 다 그래서 2012 년에 페이스 북은 사용자들과 함께 실험을 실시했다 그들이 사람들의 투표 결정에 영향을 줄 수 있는지 알아보기 뉴스 피드를 변경하여 특히이 연구는 다음과 같이 설계되었습니다 다수의 사용자 – 컨트롤 그룹 – 일반, 일반, 오래된 Facebook을 가졌습니다 경험, 뉴스 피드 알고리즘은 이전과 동일하게 유지됩니다

그러나 다른 사용자 집합, 처리 된 사용자, 그들의 뉴스 피드 알고리즘이 한 가지 간단한 방법으로 수정되었습니다 더 연약한 것보다는 단단한 뉴스 이야기를 추천 할 것 같았습니다 또는 더 재미있는 뉴스 내용 예를 들어, 그 시스템은 재미있는 고양이 비디오를 추천 할 가능성이있다 경신 뉴스를 추천 할 가능성이 높습니다

2012 년 이라크에서의 전쟁일지도 모릅니다 그리고 그것은 이야기의 종류일지도 모릅니다 그것은 추천했을 것입니다 그리고 나서 그들은 스스로보고 한 유권자 투표율을 관찰했습니다 따라서 선거를 중심으로 페이스 북에는 I Voted 버튼이 있으며, 사람들이 투표 한 것을 나타 내기 위해 클릭 할 수 있습니다

그리고 그들은 스스로보고 한 투표가 대조군의 경우 약 64 %였다 그러나 뉴스 피드 알고리즘이 더 많은 뉴스 기사를 추천하기 위해 수정 된 것, 67 %까지 올라갔습니다 이제 3 % 포인트는별로 들리지 않을 수도 있습니다 그러나 우리는 이미 선거가 단지 3 %보다 훨씬 작은 비율의 영향을받습니다 그리고 분명히이 시스템들은 사람들이 할 수있는 중요한 정치적 결정

그것은 사람들의 영향뿐만 아니라 선출 된 대표자가 어떻게 우리에게 봉사 하는지를 그래서 미국의 여러 곳에서 학생들의 결정 어떤 학교가 알고리즘으로 만들어 졌는가 앞에서 언급했듯이, 법정에서, 알고리즘은 사람의 가능성에 대한 추천을합니다 양형을 인도하는 범죄를 범하고, 보석금 및 가석방 결정 그들은 더 많은 결정을 내릴 것입니다 자율 차량이든 의학이든간에 당신은 정밀 의학쪽으로 밀고 있어요, 그 아이디어는 치료가 DNA 프로파일을 기반으로 각 개인에게 맞춤화되었습니다

그리고 그 유전자 데이터는 인간에게 너무 거대합니다 과정 그리고 다시 한번, 그것은 자동 의사 결정이 될 것입니다 따라서 요점은 간단히 말해서 기계 많은 결정을 내리고 있습니다 스테이크가 높습니다

그리고 만약 그들이 실패한다면, 그것은 법정에서 경주 편견이든, 또는 대출 승인이나 채용 결정에 편향된 경우, 또는 다른 많은 예들과 같이 말뚝은 꽤 높습니다 그래서 거버넌스 구조가 있어야합니다 이러한 종류의 위험을 관리합니다 그래서 그것에 대해 이야기 해 봅시다 그리고 특히 두 가지 질문 우리가 이것을 관찰 할 때 일어나는 일은, 이런 종류의 행동을 주도하는 것은 무엇입니까? 둘째, 회사는 어떻게해야할까요? 그리고 정부는 그것에 대해 무엇을해야할까요? 그것에 대해 사용자, 개인이 무엇을해야합니까? 처음부터 시작합시다

왜 이런 일이 생길까요? 다시 말하지만, 여러분이 잘 아는 청중입니다 왜 이런 일이 일어나는 지 알 것입니다 그것은 데이터에 있습니다 그리고 이러한 편향이나 문제는 데이터에서 선택됩니다 하지만 도움이되는 한 가지 비유 내가 그것을, 특히 비 기술자들에게 설명 할 때, 알고리즘을 비교하거나 대조하는 것입니다

행동과 인간의 행동 그래서 인간 행동과 함께, 심리학자들 인간의 행동을 자연에 부여하고 양성합니다 자연은 아주 간단하게 우리의 유전 암호입니다 우리가 부모에게서 물려받은 것 양육자는 환경입니다

알고리즘을 보면 매우 유사합니다 그들은 자연이 있습니다 프로그래머가 코드를 입력하는 알고리즘의 논리, 또는 알고리즘이 따르는 규칙, 유전 암호 알고리즘에 해당합니다 그리고 양육은 그들이 배운 데이터입니다 그리고 함께 알고리즘 작동을 유도합니다

그리고 당신이 자연을보고 양육한다면, 친구가 한 번 말한 것이 있습니다 자연이나 육성 – 어느 쪽이든, 부모는 책임이 있습니다 나는 여기에 자연이나 양육을한다고 생각합니다 – 어느쪽으로 든, 데이터 과학자는 탓할 것이다 그리고 나는 어느 쪽이든, 당신은 같은 사람을 탓할 수 있다고 생각합니다 그러나 다른 이유로

그러나 흥미로운 점은 우리가 세계에서 프로그래머가 모든 규칙을 세계에 입력 한 곳 알고리즘이 취하는 많은 동작 데이터에서 배운다, 우리는 세계로 나아 간다 예측 가능성이 떨어지고 새로운 종류의 위험이 발생합니다 비즈니스 청중과 이야기 할 때, 특히 CEO 및 이사회, 은행에 대해 생각하는 경우 대출 승인 결정 및 신용 승인을하는 결정, 많은 위험이 관련되어 있습니다 이런 종류의 결정으로 – 사회적 위험이 테스트없이 결정을 내림 데이터의 편향 또는 최종 결정에 대해, 그것이 신용 점수인지 모집인지, 회사에 대한 평판 위험 알고리즘은 편파적이거나 해킹에 취약하다 다른 사람들에 의한 – 다른 사람들에 의한 적의 공격 – 소송 위험 및 규제 위험까지 포함합니다

우리가 아는 바와 같이, 많은 규제 당국이이를보고 있습니다 그리고 위험은 회사가 사전 조치를 취하지 않으면, 그때 당신은 무거운 규제가옵니다 실제로 혁신을 저지합니다 많은 사람들이 GDPR이 기업에 지나치게 번거로울 것이라고 불평하고 있습니다 준수하고, 창출 된 가치 컴플라이언스 비용에 비례하지 않습니다

그리고 어떤 수준에서는, 무거운 규제 많은 개인 정보를 침해 한 결과입니다 그리고 만약 회사들이 조심하지 않으면, 다시 한 번, 무거운 규제를 볼 수 있습니다 그럼 질문은 물론입니다 좋습니다 어떻게 기업이이를 능동적으로 관리합니까? 그리고이 책에서 나는 무엇을 제안 했는가? 나는 알고리듬 적 권리 장서를 부른다

나는 몇 가지 기본적인 권리 사용자들에 대해 이야기 해왔다 있어야 해? 그리고 회사는 무엇을 순서대로해야 하는가? 이러한 문제를 파악할 수 있도록 또는 그들이 일어날 확률을 줄이십시오? 그래서 저는 그 주요 기둥에 대해 이야기하고 싶습니다 내 권리 장전 그리고 나는 크게 세 가지 주요한 것들에 대해 이야기 할 것이다 중요성

그래서 저는이 사용자 컨트롤에 대한 아이디어로 시작하고 싶습니다 그리고 이것은 단순히 거기에있는 아이디어입니다 사용자의 피드백 메커니즘이어야 함 알고리즘에 그리고 알고리즘을 디자인 할 때 많은 시간을 필요로합니다 특히 자율 알고리즘과 의사 결정을 할 때, 우리는 디자인 접근법에 대해 갈 것입니다

우리는 사용자가 이상적으로 이것을 생각하고 모든 것을 자동화하자 사용자는보다 수동적 인 방식으로 사용할 수 있습니다 그리고 그것이 이것이 문제의 근원이라고 생각합니다 그리고 사용자가 어떻게 사용자를 제공하는지 실제로 생각해야합니다 영향을주기위한 어떤 수준의 통제 알고리즘 '동작도 포함합니다

그리고 물론, 내가 당신에게 통제권을 주어야한다고 말하면, 말하기는 쉬운 일이지만, 매우 복잡한 일입니다 실제로 예를 들어 2015 년에 Facebook은 사용자가 자신의 뉴스 피드를보다 잘 제어 할 수 있도록합니다 그래서 Facebook은 사람들이 할 수있는 믹서 스타일의 컨트롤을 발표했습니다 실제로 몇 가지 슬라이드 만하면됩니다

DJ 슬라이드처럼 몇 가지 컨트롤을 슬라이드 해보세요 이런 말을 더 많이 해줘 이런 종류의 사람들로부터 게시물을 줄이십시오 그 종류의 게시물을 더주세요

사람이 많거나 사진이 많고 콘텐츠가 적습니다 그래서 그들은 많은 기능을 공개했습니다 그리고 그들은 그것들을 세트 사이에 굴려 넣었습니다 이 기능을 테스트 할 사용자의 이제 데이터가 다시 돌아와 분석되었습니다 사용자 행동에 어떤 영향을 주 었는지, 그들은 액세스 권한이있는 모든 사용자 대부분이 컨트롤에, 그들은이 통제를하는 것이 매우 행복했습니다

사용자 만족도가 매우 높았습니다 그러나 참여도 데이터를 살펴본 결과, 이 사용자들은 다음과 같은 것을 좋아했습니다 적은 수의 게시물을 클릭하십시오 그들은 페이스 북에서도 더 적은 시간을 보냈다 그리고 흥미롭게도, 일어난 일은, 사람들은 자신이 통제 할 수 있다고 느끼고 있었다

그들은 만족했다 그러나 그들이이 다이얼을 움직이는 방법 사람들에게 덜 매력적이었던 뉴스 피드를 제작하고있었습니다 그들은 페이스 북에서 더 적은 시간을 보내고있었습니다 그리고 결국, 페이스 북은 단계적으로 단계적으로 일부 기능을 제거하고 일부 기능을 전원으로 사용 고급 기능 만 사용할 수 있습니다 여러 페이지의 설정 등을 거쳐야합니다

그리고별로 많이 사용되지 않습니다 그리고 그때 그때 무슨 일이 일어 났습니까 사실 많은 다른 설정에서 충분한 증거가 있습니다 즉, 사용자에게 제어 권한을 부여하면 실제 실적 내려 간다 실제로 Match

com의 다른 예가 있습니다 그들이 실제로 사람들에게 물었던 곳, OK, 너 누구하고 데이트하니? 그리고 사람들은 이렇게 말할 것입니다 다음과 같은 관심사와 누가 어쩌면이 종교를 가지고 있고, 누가 그것을하고 싶어하는지, 누가이 일을하고 싶은지 등등 그리고 그들은, 좋아, 우리는 당신의 선호도를 가지고 있다고 말했다 우리는 그것을 바탕으로 시도하고 일치시킬 것입니다

Matchcom에서 발견 된 것은 일치율 그들이 무시한 것보다 사용자의 의견을 청취 할 때 더 낮았습니다 사용자는 데이터를보고 그냥 보았습니다 누구의 프로필은 숨어있는 사람들입니다 그런 다음이를 바탕으로 일치를 제안합니다

그래서 결국 그들은 그것을 잊고 결정했습니다 사람들에게 그들이 원하는 것을 묻는 것은 의미가 없습니다 따라서 사용자에게 제어 권한을 부여 할 때, 그것은 약간의 성능을 상하게하는 것으로 보인다 하지만 여기서 좋은 소식이 있다고 생각합니다 당신이 둘의 균형을 어떻게 잡았는지

Wharton의 동료 중 일부가 수행 한 연구가있었습니다 그리고 그들은하려고했는데, 사용자의 영향은 무엇인가? 알고리즘의 신뢰에 대한 통제? 그리고 그들이 한 일은 연구를 실행 한 것이 었습니다 참가자들은 참가자들을 네 그룹으로 나눴다 모든 그룹에게는 고등학생에 대한 데이터가 제공되었습니다 그리고 학생들에게이 학생들이 얼마나 훌륭한 성적을 낼지 예측했습니다

표준화 된 테스트에서 할 수 있습니다 그래서 그들은 사회 경제적 데이터와 같은 데이터를 가지고있었습니다 이 사람들이 고급 배치를 택했는지 여부 수업 및 기타 시험, 친구들의 수 그런 종류의 데이터가 대학에 남았습니다 그리고 그들은 데이터를보고 예측할 예정이었습니다 이 사람의 점수는 얼마입니까? 그들은 또한 알고리즘 컨설팅 옵션을 가졌습니다

이전 데이터에 액세스 할 수있는 그리고 그것은 그것의 자신의 견적을 줄 것입니다 그들은이 사용자들을 네 그룹으로 나눴습니다 첫 번째 그룹은 알고리즘을 조정할 능력이 없었습니다 그들은 그들이 가고 있는지 여부를 결정해야했습니다 알고리즘을 사용할지 여부

그리고 그들이 알고리즘을 사용할 것이라고 말하면, 뭐든간에 그 알고리즘의 추정치, 그것은 구워진 것입니다 그래서 그들은 통제 할 수 없었습니다 그것은 완전히 자율적입니다 그리고 그들은 입양 여부에 관계없이 결정을 내려야합니다 두 번째와 세 번째 그룹은 최소한의 통제력을 가졌다

알고리즘을 통해 – 거의 제어 할 수 없습니다 그래서 그 그룹 중 하나가 알고리즘의 추정치를 취할 수 있습니다 득점을 플러스 또는 마이너스 10 포인트로 변경하십시오 다른 그룹은 알고리즘의 추정치를 취할 수 있습니다 몇 가지 사례가있었습니다

알고리즘을 뒤엎고이 특별한 경우에, 나는 내 번호를 넣고 무시할거야 알고리즘이 말하는 것 그리고 마지막 그룹은 완전한 자유를 가졌다 그들이 원하는대로 할 수 있습니다 그리고 그들은 점수가 주어졌습니다

그들이 원하는대로 할 수 있습니다 흥미롭게도, 그들이 발견 한 것 그 신뢰가 그 그룹에서 가장 낮은 것이 었습니다 알고리즘에 대한 제어권이 없다 그들은 입양 여부를 결정해야했습니다 그리고 그들은 알고리즘을 제어 할 수 없습니다

그래서이 사람들이 원하는 가능성 알고리즘을 채택하는 것은 낮다 알고리즘에 대한 신뢰가 낮습니다 사람들에게 돈을 주면 신뢰가 극적으로 향상되었습니다 최소한의 통제 예를 들어 점수는 알고리즘에서 가져옵니다

다이얼은 실제로 여백에서 조금 움직일 수 있습니다 여기저기서 또는 드문 경우 당신은 알고리즘을 우회하는 것이 허락되었습니다 두 경우 모두 신뢰가 극적으로 향상되었습니다 자, 무엇이 더 재미 있었는지 나중에 테스트했을 때, 그들은 사용자에게 제공 한 제어 수준은 중요하지 않습니다 그들이 사용자들에게 많은 통제권을 주었다면, 신뢰는 그들에게 거의 통제를주지 않는 것과 같았습니다

그리고 그것은 정말로 문제였습니다 사람들에게 통제력을 주어야한다 그들은 공연을 해칠거야 알고리즘이나 시스템의 그들이 관찰 한 것은 그들은 사람들이 원하는대로 무엇이든 할 수있게 해주었습니다 그러나 그들이 말했을 때, 여기에 알고리즘이 있습니다, 하지만 다이얼 조금 줄께

이걸 조금 조정하면 신뢰가 올라 갔고 성능도 꽤 높게 유지되었습니다 그래서이 흥미로운 트레이드 오프를 보여줍니다 나는 달콤한 장소가 있다고 생각한다 이 그래프에서 파란색으로 나는 신뢰합니다 사람들에게 돈을 줄 때 신뢰가 극적으로 향상됩니다

약간의 통제 그러나 그들에게 많은 통제권을 부여하는 것은 실제로는 아닙니다 신뢰 측면에서 그렇게하십시오 그러나 성과는 지속적이고 지속적으로 악화되고 있습니다 그래서이 작은 통제 사용자 신뢰 유형 문제 해결에 도움 성능을 해치지 않습니다

그리고 사실 틀림없이 많은 설정이 있습니다 사용자에게 약간의 제어 권한 부여 실제로 실적을 도울 수 있습니다 특히 너는 능력을 상실 할 때 알고리즘이 뭔가 잘못됐다고 생각할 때 그 중 흥미로운 한 가지 예가 페이스 북이 가짜 뉴스 문제를 본다면 2016 년에 많은 사람들이 가짜 뉴스 기사를 보았습니다 그들의 뉴스 피드에

그러나 단순히 피드백 메커니즘이 없었습니다 사용자로부터 알고리즘까지 그래서 알고리즘을 알리는 방법이 없었습니다 어떤 이야기는 가짜라는 것 그리고 물론, 문제 후, 페이스 북 지금 두 번의 클릭으로, 우리는 게시물이 불쾌하다고, 게시물이 가짜 뉴스라고 말하면서, 게시물은 폭력적인 콘텐츠입니다

그리고 그것은 실제로 매우 흥미롭고 중요한 것입니다 추가 및 알고리즘 도움이됩니다 예를 들어, 뉴질랜드의 테러 공격에서, 많은 초점이 사실에 달려 있었다 그 페이스 북의 알고리즘은 테러 공격의 생방송 비디오가 게시 된 것을 감지합니다 그러나 사람들은 많은 사용자들이 콘텐츠에 불쾌감을 표시 할 수있었습니다

많은 사람들이 콘텐츠를 불쾌하거나 폭력적으로 표시했습니다 그것은 그 자체를 바로 잡을 수있다 그리고 비디오가 실제로 잡혔습니다 동영상 종료 12 분 이내에 그 때 그것은 바로 제거되었습니다 그리고 틀림없이, 그것은 늦었습니다

하지만 최소한 피드백 메커니즘이 있습니다 나중에 더 빨리 잡힐 것입니다 그래서이 사용자 컨트롤의 성격이 다를 수 있다고 생각합니다 그것은 페이 스북이 사람들에게주는 것과 같을 것입니다 알고리즘에 피드백을주는 기능 단순히 알고리즘에 알리면 이것이 잘못된 결정이라고 생각하거나 생각합니다

이것은 문제가되는 게시물입니다 사용자가 말할 수있는 AdChoices와 같을 수 있습니다 앞으로도 이와 같은 광고를 다시 게재하지 마십시오 아니면 자율 차량 일 수도 있습니다 사용자가 말할 수있는 오버라이드 (override) 기능처럼, 음, 자율적 인 건 알지만, 나를 대신 할 길

그래서 저는 통제의 개념이 디자인으로 구워졌다 꽤 중요한 것입니다 그리고 종종 제품 디자인이 많이 있다고 생각합니다 자율적 인 일에 집중하기 여기에는 사용자 제어가 없습니다 두 번째 부분은 투명성입니다

이제 투명성은 사람들이 기계 편향과 문제에 관해 이야기 할 때 많은 것을 얻습니다 기계 결정 등등 하지만 투명성 또한 꽤 흥미롭고 미묘한 차이입니다 이야기 특히 규제 당국을 볼 때, 투명성에 관해 이야기 할 때, 그들은 학술 문헌에서 알려진 것에 대해 이야기합니다

기술적 투명성으로서, 이는 소스 코드가 공개되어야합니다 그리고 그 방법으로 제안 된 많은 경우가 있습니다 문제를 해결합니다 예를 들어, 2010 년 5 월, 미국 주식 시장에 플래시 사고가 발생했습니다 그래서 일어난 일은 많은 주식의 주가 상당히 극적으로 떨어지기 시작했다

34 분 만에 1 조 달러의 시장 가치 쓸어 버렸다 실제로 많은 유명 기업 Accenture와 같은 회사는 페니를 거래했다 그리고 규제 당국이 들어 섰다 시장을 폐쇄하고 모든 거래를 막았습니다 일어나는 것에서

그들은 많은 거래를 뒤집었다 결국 시장이 회복되었습니다 그러나 이것은 정말로 규제 당국의 관점에서, 1 조 달러가 닦일 수있는 방법은 어떨까요? 30 분 만에? 그리고 그들은 그것을 조사하기 시작했습니다 그리고 그 분석은 여러 가지 가능한 이유를 검토했습니다 그리고 보고서의 큰 범인 중 하나 고주파 거래 알고리즘이 끝났어

한 번의 큰 판매가 일어난 것을 보았습니다 인과 관계 개념이 없어도 이상한 일이 일어나고 있습니다 그리고 하나의 알고리즘이 팔리기 시작했습니다 그리고 하나의 알고리즘이 팔립니다 또 다른 알고리즘은 판매를 관찰하고 판매를 시작합니다

그리고 그들은 광란에 빠져서 이것을 많이 팔았습니다 그리고 규제 당국, CFTC, 상품 및 선물 거래위원회, 이걸 걱정 했어 그리고 그들은 그 (것)들을 허용 한 결정을 찬성했다 법무부가 접근 할 수 있도록 소환장없이조차도 모든 소스 코드에 이러한 거래 알고리즘 중 그리고 분명히 업계는이 일로 인해 화가 나서 놀라움을 금치 못했습니다 이 독점적 인 알고리즘을 만들고 있기 때문에 그 사람들이 단지 언제든지 소스 코드를 살펴보십시오 그래서 업계는 항의했습니다

결국 CFTC는이 규정을 철회하고 변경했습니다 또 다른 예는 2017 년입니다 뉴욕 시의회 의원 제임스 바카 (James Vacca) 그는 자동화 된 결정을 규제하는 법안을 제안했다 정부에 의해 그리고 구체적으로, 그를 귀찮게 한 것은 무엇입니까? 많은 결정이 내려 졌다는 것이 었습니다

도시가 어떤 경찰관을 배정했는지 선거구, 학교에 배정 된 학생, 아무도 설명 할 수 없다 아무도 왜이 사람이 거기로 이사 왔는지 말할 수 없었습니다 그것은 마치 소프트웨어와 마찬가지로, 그게 무슨 일이야 그래서 그는 법안을 제안했다 시에서 사용하는 모든 소프트웨어 자동 결정, 소스 코드 작성 이용 가능해야한다

그리고 다시, 모든 벤더들은 항의하기 시작했고 말했다 이봐,이 일은 할 수 없어 그리고 결국, 그들은 물러 섰고 그들은 다른 규정이나 법안을 통과 시켰습니다 이 법안은 실제로 비 청구서 다 결국, 우리는 준비 할 태스크 포스를 세울 것입니다

무슨 일을 해야할지 그러나 요점은 그들이 투명성을 바라 보는 것입니다 모두가 투명성에 대해 이야기합니다 그리고 그들은 뒤로 물러 난다 기술적 투명성에는 명백한 문제가 있기 때문입니다

회사는 독점 소프트웨어를 만들고, 그리고 나서 그것을 사용할 수있게해야합니다 귀하의 지적 재산권을 침해합니다 또한 알고리즘을 해킹에 취약하게 만듭니다 또는 게임 예를 들어 Google이 검색 순위 알고리즘을 공개하도록 강요 당했고, 다음 모든 검은 모자 서구 기업과 웹 사이트 분명히 그것을 게임하고 더 높은 순위를하려고합니다

명확하게 기술적 투명성은 문제가됩니다 그러면 문제는 무엇입니까? 그리고 또 다시, 그것은 실제로 제어 결과와 비슷합니다 그 극단으로 갈 필요가 없습니다 사실, 당신은 가치가별로 없습니다 10 년 전과 마찬가지로 오늘날의 기술적 투명성으로부터 10 년 전, 소스 코드를 보면, 알고리즘이 어떻게 동작하는지 볼 수 있습니다

오늘날, 일부 고급 기능의 소스 코드를 보면 알고리즘은 1,500 줄의 코드가 될 수 있습니다 왜이 알고리즘이 필요한지 알려주지 않습니다 그것이하는 것처럼 행동한다 소스 코드를 묻는 것조차 없습니다 보았던 연구가있었습니다

신뢰에 대한 투명성의 영향 그래서 이것은 BSD 학생이 수행했습니다 Rene Kizilcec의 스탠포드에서 그리고 그는 투명성에 미치는 영향을 조사했습니다 알고리즘을 신뢰하십시오

그리고 구체적인 설정은 MOOC 과정의 채점이었습니다 따라서이 코스는 온라인 코스입니다 수천 명의 학생들이있다 그리고 숙제와 제출물을 채점해야합니다 학생들의 그리고 당신은 50,000 또는 20,000의 숙제를 채점하기 위해 조교를 고용 할 수 없습니다

제출 그래서 그들 중 많은 사람들이 동료 평가를하고 있습니다 각 숙제는 3 ~ 4 명의 동료에 의해 등급이 매겨집니다 그리고 나서 그들은 그 성적들을 평균 낸다 그런 다음 평균 등급을 계산하십시오

그러나 물론, 그것은 평균 등급을 만든다 임의의 기회에 취약합니다 그것은 당신의 숙제가 3 ~ 4 명인 것에 달려 있습니다 에 배정 받았다 그들이 한 일은 알고리즘을 만들었습니다

성적에 따라 사람들의 성적을 재조정합니다 사람들의 경향 그래서 그들은 보았고 말할 것입니다,이 사람 그들이 등급 매기기에 엄격한 것처럼 보입니다 우리는 거기에서 조정할 것이다 그 사람은 관대 한 것처럼 보입니다

우리는 그것들을 다른 방향으로 조정할 것입니다 등등 그래서 그들은 알고리즘을 만들었습니다 그리고 학생들은 학생들이 이 알고리즘을 수락하십시오 그래서 다시 여기에서 학생들의 세 그룹을 만들었습니다

한 그룹의 학생들은 최종 학년과 아무것도 얻지 못했습니다 그밖에 그리고 예상대로, 그 시스템에 대한 신뢰 당신이 가진 모든 것이 있기 때문에 다소 낮았습니다 그것이 어떻게 조정되었는지에 대해 말하지 않고 최종 학년이었습니다 왜 그것이 조정되었는지, 등등

두 번째 그룹에는 한 단락의 설명이 있습니다 그것은 아주 간단하게, 조정되었습니다, 이러한 요소를 살펴 보는 통계 모델이 있습니다 그리고 그것은 다음과 같은 방식으로 조절됩니다 매우 높은 수준의 설명 그들이 이러한 설명을 제공하면 신뢰가 훨씬 커졌습니다

나는 신뢰 구간에 숫자를 보여주지 않았다 하지만 내가 말하는 모든 것을 가정 해주세요 통계적으로 유의하다 다음으로, 그들은 더 많은 정보를 주었다 그것은 단지 한 단락의 설명을 줄뿐만 아니라, 그것은 모든 개인 학년 할당 됨

그것은 조정 공식을 줬다 그리고 그것이 어떻게 수정되었는지 자세히 설명했습니다 그리고 나서 그들은 그 집단에 대한 신뢰를 관찰했습니다 그리고 흥미롭게도 사실은 신뢰합니다 다음과 같은 수준으로 떨어졌습니다

정보 없음 실제로, 그것은 약간 더 낮았지만 약간 더 낮았습니다 통계적으로 유의미한 재미있는 것은 사람들에게주는 것입니다 많은 정보가 정말로 신뢰로 도움이되지 못했습니다

아주 높은 수준이었습니다 그리고 그것은 사용자가 필요한 모든 것입니다 그들의 신뢰를 얻으려고 그리고 사용자에 관한 한, 우리는 매우 높은 수준에 대해 이야기하지 않습니다 모델 투명성 또는 설명 결정에 관한 그러나 그 결정을 내리는 것은 훨씬 더 높은 수준입니다

그건 그렇고, 나는 모든 것을 언급하는 것을 잊었다 신뢰에 대한 기대는 사람들에 대한 것이라고 위반되었다 그래서 이들은 예상했던 것보다 적은 것을 가진 사람들입니다 그 (것)들을 위해 동일 또는 더 많은 것을 얻은 사람들은, 그들이 얼마나 투명하게되었는지는 중요하지 않았습니다 그것은 당신이 기대하는 것입니다

그래서 이것이 우리로 하여금 믿을 수있게 만들면, 좋습니다 기술적 투명성이 필요하다 신중하게 조정 된 레벨이 필요합니다 투명성 그게 무슨 뜻 이죠? 나는 나를 위해, 먼저 사용자에게 알리는 것을 의미한다고 생각한다

알고리즘이 결정을 내렸다 그래서 사용자에게 알고리즘이 관련되어 있다는 것을 알아야합니다 사실 Google이 Google Duplex 데모를했을 때, 헤이, 다른 사람이 거기 있다는 것을 몰라요 그들이 말하는 채팅 봇 그리고 구글은 다음과 같이 말했다

우리는 사람들이 알고 있는지 확인합니다 하지만 우리가하지 못하는 설정이 많이 있습니다 알고리즘이 어디에서 만들어 졌는지 알아라 말하자면, 외로운 결정과 그런 것들 그래서 알고리즘이 관련되어 있습니까? 알고리즘은 어떤 종류의 데이터에 액세스합니까? 예를 들어, 당신이 직업을 신청한다면, 단지 간단한 정보 직장에 나와있는 것 이상 신청서 또는 귀하의 신청서, 우리는 다른 것들도 보았습니다

우리가 뭘 더 보았 니? 우리는 소셜 미디어 데이터를 조사했습니다 그래서 어떤 데이터가 있는지에 관한 정보 사용되는 변수, 고려되는 변수, 이 변수들이 얼마나 중요한지와 얼마나 많이 그들이 중요하니? 물론, 깊은 ​​학습 같은 것들로는 더 어려워집니다 알고리즘 또는 임의의 포리스트 또는 이러한 알고리즘 프로그래머가 정말로 정확히 모든 변수에 대한 가중치가 무엇인지 말하십시오 그러나 최근 연구에서 가능하다 해석 가능한 기계 학습에 중점을 둡니다

해석의 두 가지 아이디어에 많은 강조점이 있습니다 하나는 전역 해석 가능성이라고하는 것입니다 합계 수준에서 말할 수있는 능력입니다 인구 수준에서,이 깊은 학습 모델 대출 승인시 교육에 가장 집중하는 경향이있다 결정

두 번째로 중요한 변수는, 소득입니다 세 번째로 중요한 변수는 참조를 말하자 그러나 그것은 집합적인 수준에서 그 가중치들을 명확하게 해줍니다 다른 하나는 지역 해석 능력이며, 이 특별한 결정에 대해 말할 수있는 능력입니다 가장 중요한 다섯 가지가 이것들이었습니다

그리고 이것은 상대적 가중치입니다 그리고 그것은 오늘날의 환경에서 매우 달성 가능하다고 생각합니다 기법 그리고 그 투명성 수준은 사용자에게 충분합니다 내가 언급했듯이, 매우 높은 수준의 투명성 실제로 사용자를 돕는 것 이상으로 많은 상처를줍니다

그래서 마지막으로, 방금 말한 것은 사용자에 관한 것입니다 전문가가되면 어떻게 될지 물어볼 수 있습니다 시스템을 평가하고 있습니다 그들은이 세 가지 또는 네 가지 질문 이상을 원합니다 내가 방금 제기 한 변수, 사용 된 변수 그리고 무게는 무엇입니까? 그들은 조금 더 많은 정보를 원합니다

그리고 그것은 저를 세 번째 기둥으로 가져옵니다 이것은 감사의 아이디어입니다 기업은 감사 절차를 마련해야한다고 생각합니다 기계 결정, 특히 하이 스테이크 스 설정에서 어떤 모델이 높은 이해 관계 결정을 내리고 있는지 확인하십시오

그 다음에는 감사 프로세스를 마련해야합니다 그리고 그 감사 과정은 많은 것을 볼 것입니다 예를 들어, 입력과 관련하여, 그것은 모델을 훈련시키는 데 사용되는 데이터입니다 데이터 품질을 평가하고 데이터 품질을 평가할 것입니다 의사 결정을 내릴 때 이것이 소셜 미디어 데이터를 기반으로한다고 말하면, 그래서 품질은 낮을 가능성이 있습니다

그 데이터에 대한 강조점은 이 다른 데이터보다 낮습니다 그것은 편견에 대한 데이터를 테스트 할 것이다 모델 그 자체, 감사는 대체 모델을보십시오 그것은 몇 가지 기본적인 통계 테스트를 할 것입니다 물론, overfitting에 대한 모델 검증, 인과 관계에 대한 테스트도 가능합니다

그것은 스트레스 같은 것들을 찾을 것입니다 시뮬레이트 된 데이터에 대해 모델을 테스트합니다 그래서 다른 데이터를 생성하고 평가하십시오 모양이 보이는 데이터에서 모델이 수행하는 작업 훈련 데이터 세트와 정말로 다릅니다 모델과 산출물을 감사하십시오

예를 들어 결정에 대한 설명이 있습니까? 지구 수준에서, 지역 차원에서? 입력에서 outliers가 어디에 있는지, 입력의 종류에 따라 아웃 라이어가 산출됩니까? 이 모든 것은 모델 감사에 사용됩니다 그리고이 책 연구의 일환으로, 책을 많이 게시했기 때문에 책을 게시합니다 나는 여러 회사들과 의견을 나눴다 ML 모델 감사 거의 아무도 그것을하지 않습니다 그리고 저는 스테이크가 높을 때, 그것은 정말 놀랍습니다

사실, 나는 그것을 더욱 놀라운 것으로 생각합니다 모든 회사는 모두를위한 품질 보증 프로세스를 가지고 있습니다 그들의 정규 엔지니어링이지만, 거의 아무 회사도 데이터 과학을위한 QA 프로세스가 있습니다 그리고 당신은 개발자를 봅니다 독립적 인 테스트 엔지니어가 있습니다

누가 시스템을 테스트하고 있는지 그러나 대부분의 환경에서 데이터 과학자입니다 모델을 개발 한 사람, 모델을 평가하는 사람, 스트레스 모델을 테스트 한 다음 엔지니어와 협력하여 배포합니다 모델 따라서 독립적 인 품질 관리 프로세스가 필요하지 않습니다

데이터 과학 분야의 대부분의 기업에서 그래서 나는 모든 회사가해야 할 것처럼 느낀다 세 가지 방어선이있다 첫 번째는 물론 모든 회사가 이미 does는 모델을 테스트하는 모델 개발자입니다 교차 유효성 검사 및 모델링과 같은 모든 작업을 수행합니다 설명

그렇다면 실제로 독립적 인 품질 보증 담당자가 있습니다 모델 테스트 스트레스 내가 생각하기에 나는 이것을 가져온다 ML 모델 테스트는 정보 보안과 비슷합니다 너는보기에 해커의 심적 상태가 거의 필요하다

이 모델을 깨는 방법, 모든 다른 방법들 그것을 깰 수있는 간단한 방법으로 그것을 깰 여부, 편향과 상관 관계, 또는 보안 종류의 방법, 적의 공격을 의미합니다 그래서 두 번째 방어선, 나는 느낍니다 데이터 과학 QA 프로세스입니다 실제로 모델을 평가합니다 그리고 세 번째 것은 당신이 무언가를 가지고있는 곳입니다

모든 모델에 대한 감사와는 달리, 그러나 정말로 높은 지분을 만들고있는 몇 개의 모델을 위해 결정, 외부 감사인이있는 곳 또는 감사원의 역할을 가진 사람 알고리즘을 실제로 감사하는 회사에서 그래서 이것들은 내가 공유하기를 원하는 것들입니다 물론, 나는 당신의 견해를 얻고 싶습니다 그래서 여기서 멈추고 질문이나 의견을 들려 드리겠습니다 [박수 갈채] 관객 : 안녕하세요 당신의 이야기에 대해 정말 고마워요

나는 모델들과 일하지 않는다 나는 그것의 그 측면에 관해 당신에게 묻지 않을 것이다 그러나 투명성과 처음 두 당신이 말하는 것들, 나는 시야에 대해 궁금합니다 어떻게 그걸 가지고 놀 수 있죠? 어쩌면 당신은 누군가 정보를 보여줄 수 있습니다 하지만 그들은 당신이 페이스 북으로 말했듯이, 이러한 컨트롤을 얻으려면 여러 폼을 클릭하십시오

아마 우리가 왜 우리에 대한 정보를 사람들에게 보여줄지도 모르지 특정 콘텐츠를 보여줍니다 그러나 당신은 거기에 도착하기 위해 몇 가지를 클릭해야합니다 검색 결과 페이지에 명시 적으로 명시되어 있지는 않지만, 예를 들면 그런 종류의 도전을 어떻게 생각하세요? 카티크 호사 나가 : 그래, 그래서, 우리가 투명성에 관해 말할 때 데이터가 있습니다

모델이 있습니다 그러면 추론이 있습니다 그것은 가중치 같은 것이고 중요한 것은 중요한 것입니다 인터페이스가 있습니다 그리고 나는 네 명 모두가 대화에 똑같이 중요하다고 생각합니다

투명성 그래서 오늘 들어 가지 않은 것들 중 하나 그러나이 책에서 언급 된 것은 투명성이다 인터페이스를 포함하여 각 측정 기준을 따라 그리고 네, 많은 회사가 있다고 생각합니다 준수를 위해 물건을 다룰 것입니다 그러나 그것은 어딘가에 숨겨져 있습니다

물론 투명성과 제어력 모두 뒤에 숨어 있으면 영향이 매우 제한됩니다 그래서 저는 인터페이스의 투명성을 생각합니다 매우 중요합니다 그리고 나는 UI 관점에서 볼 때, 그건 좋은 질문입니다 나는 그 해답을 모른다

사람들을 위해 쉽게 만들 수있는 방법은 무엇입니까? 내가 말했을 때도 – 사용자에게 제어권을 주면, 많은 연구 결과는 성능이 떨어지는 것을 보여줍니다 그렇다면이 컨트롤을 사용자를 위해 어떻게 디자인합니까? 그래서 그들은 실제로 유용한 것들을 할 수 있습니다 그들은 스스로를 해치지 않습니까? 관객 : [INAUDIBLE] ,,해야한다 기본적으로 외부에서 규제되는 것이 있습니까? [부적절하다고 생각하십니까? [INAUDIBLE] 대 다른 사람 [INAUDIBLE]과 비교하면 얼마나됩니까 ?? 카틱 호사나가 : 예 나는 규제되는 사용자 인터페이스에 대해 걱정합니다

그러나 확실히, 당신은 강력한 사건을 만들 수 있습니다 규제가 매우 높은 수준이 될 수 있습니다 로 떨어지는 것들을 사용자에게 전달해야합니다 그러나 많은 규정이 있는데, 특히 그것은 프라이버시에 관한 것이고, 그런 종류의 것들에 대해서 이야기합니다 관객 : 접근성에 대한 비슷한 규정이 있지만, 예를 들면

카티크 호사나가르 : 정확하게, 정확합니다 네, 좋은 사례가 있다고 생각합니다 인터페이스 자체를 규제하기 위해 만들어야합니다 그러나 실제로 걱정하지 않는 한 진정으로 이것을하고 싶다 아직도 물건을 만드는 동안 항상 따르는 방법 사용자가 쉽게 액세스 할 수 없습니다

그러나 나는 동의한다 나는 인터페이스가 정말로 중요한 구성 요소라고 생각한다 이의 누구든지 내 사용자로부터 좋은 아이디어가 있는지 알 수 없습니다 그 문제를 해결하기위한 디자인을 경험하십시오

나는 모른다 프라이버시 측면에서도 나는별로 매력적이지 못하다 그렇게하는 방법 관객 : 정말 재미있는 이야기 와줘서 고마워

내 주요 질문은 프레임 워크에 있습니다 처음 두 요소의 아이디어처럼 들립니다 투명성과 통제력 – 결과에 반드시 영향을주지는 않습니다 그들은 결과에 대한 당신의 인식에 영향을 미친다 재범 예를 생각해 보면, 방금 두 가지 일이 있다면 당신은 근본적으로 결과에 더 많은 신뢰를 가질 것입니다

그러나 그것은 여전히 ​​당신을 나쁜 결과로 이끌 것입니다 그래서 저는 여러분이 본질적으로 풀뿌리 변화가되거나 어떻게 든 될 것이다 실제 모델에 영향을 줄 플래그를 올리십시오 결과를 바꾸려면? 두 모델이 모델 자체에 어떤 영향을 미치는지 궁금합니다 KARTIK HOSANAGAR : 예, 좋은 질문이라고 생각합니다

특히 내가 보여 주었을 때 생각해 신뢰에 관한 연구, 꽤 쉽습니다 그것이 어떻게 신뢰에 영향을 주는지 확인하십시오 그러나 그것이 당신을 발견하거나 예방하는 데 어떻게 도움이되는지는 분명하지 않습니다 그 문제들

나는 당신의 질문에 잠시 대답 할 것입니다 하지만 저는 신뢰가 가장 중요한 부분이라고 생각합니다 단순히 이러한 실패를 볼 때, 당신은이 시스템들에 반발하는 경향이 있습니다 그리고 그 결과는 사람들입니다 알고리즘을 자신의 손해에 사용하지 마십시오

실제로 알고리즘은 평균적으로 그들보다 훨씬 잘하고 있으며 아마, 예를 들어 평균적으로 인간보다 편견이 적습니다 그러나 다시 돌아와 실제로 예방이나 발견에 도움이된다면, 나는 그렇게 믿는다 그래서 나는 페이스 북과 테러 공격에 대해 언급했다 사람들이 신고했기 때문에 탐지가 일어났습니다 그들에게 통제권과보고 할 수있는 능력이 있었기 때문에

그래서 저는 제비 뽑기가 있다고 믿습니다 사용자가 문제를 보는 예제 그들은 그것을보고 할 방법이 없습니다 또는 그들은 문제를 보지 못합니다 투명성이 없다 예를 들어 GDPR은 개인 정보 보호 규정입니다

EU에서는 거기에 하나의 절이 있습니다 이는 모델 결정에서 설명하는 것이 옳습니다 그리고 설명을 자동화한다면 그리고 당신은 사용자에게 설명을한다 그 또는 그녀는 그 결과로 그들의 대출 신청서에 거부 당함 그들의 주소 또는 그들의 우편 번호, 그렇다면 그것은 아마도 그들에게 길 일 것입니다

무언가가 잘못되었다는 것을 인정한다 호소하고 나서 고쳐야합니다 그래서 저는 투명성이 통제와 결합 된 것이라고 생각합니다 사용자가 참여할 수있는 방법이기도합니다 검출 과정의 하지만 나는 그걸로 충분하다고 생각하지 않는다

그래서 내가 중요성이 커지고 있다고 말했다 나는 마지막으로 감사를했다 그리고 나에게 여기에서 가장 중요한 조각은, 탐지 및 예방의 관점에서 감사가 이루어집니다 처음 두 가지는 주로 신뢰에서 중요하지만, 이차적으로, 관점에서 사용자가 탐지 과정에 참여하게하는 것 예방 관객 : 여기 질문

응, 얘기 해줘서 고마워 알고리즘 조정 테스트에 대한 질문이 있습니다 따라서 어느 정도의 신뢰를 얻은 결과 투명성은 높아지지만 신뢰도는 떨어지며, 그것은 저에게 연구를 떠올리게했습니다, 제 생각에는, 그것은 복사 기계가있는 도서관에서 행해졌습니다 그리고 연구자들은 왜 그들이 줄을 서기 위해 움직일 필요가 있었다 그리고 만약 그들이 전혀 변명이 없다면, 사람들은 행복하게 그들을 들여 보낼 것입니다

그러나 그들이 방금 움직이기를 시도한다면, 그들은 그들을 들여 보내지 않을 것입니다 실제로 얼마나 많은 부분이 실제 이유인지, 그리고 얼마만큼이나, 사람들은 어떤 설명을 해 주어서 기쁘십니까? 그리고 더 많은 정보를 가지고 신뢰를 떨어 뜨리고, 그 중 하나입니다, A, 그들은 그렇지 않기 때문에 그들은 두려워합니다 무슨 일이 일어나는지 이해하거나, B 실제로 문제를 볼 수 있습니까? 카티크 호사 나가 : 예, 예 그리고 나는 그 연구의 연구원들이 의인화 된 이유에 연결했다 그리고 나는 그것의 단순한 심리학을 생각한다

아주 간단하게 당신이 말한 것입니다, 그것은 당신이 설명을 얻지 못한다면, 그러나 당신은 그 결과에 행복합니다 너는 그 설명을 신경 쓰지 않는다 그러나 결과에 만족하지 않으면 설명이 없다 너는 분명히 그것에 화가났다 그러나 동시에, 당신이하지 않으면 설명을 이해하면 도움이되지 않습니다

그리고 모든 상세한 설명이있을 때, 어떤 설명도하지 않는 것만 큼 좋았습니다 왜냐하면 사람들은 그것을 이해할 수 없었기 때문입니다 하지만 실제로 중간 수준의 투명성을 가지면 당신이 설명을 읽었을 때, 그것은 거의 설명이 아닙니다 그것이 영어 설명이라는 의미에서 그것은 수학적 설명이 아닙니다

통계적 모델이 있다는 것을 의미합니다 TAs의 채점 경향을 살펴 봅니다 얼마나 관대한지에 따라 위 또는 아래로 조정합니다 또는 그들이 얼마나 엄격한 지 무게가 정확히 무엇인지는 말하지 않습니다 또는 정확하게 조정 된 방법은 사람에게 충분합니다

직관적으로 사람들에게 의미가 있습니다 그러나 당신이 말하는 순간, 여기 공식이 있습니다, 그때 내 공식은 달라질 것입니다 이 공식은 아닙니다 그래서 저는 그런 종류의 일을 생각합니다 저기서 놀고있어, 그래서 나는 사용자들을 위해 생각한다

다시 말하면, 높은 수준의 설명만으로도 충분합니다 그러나 당신은 당신이했던 것처럼, 알고리즘과 관련이없는 설정으로 그리고 다른 어떤 것보다 심리가 더 중요하다고 생각합니다 청중 : 소프트웨어 시스템의 행동 알고리즘에 대한 비난을 자주 받는다 그러나 알고리즘이 우리가하는 것을 빌드 슬래시 훈련 이런 종류의 관료 주의적 회피를 어떻게 다루어야 하는가? 책임감? 카티크 호사 나가 : 그래,이 책임 문제라고 생각해

꽤 흥미로운 것입니다 그리고 어떤 종류의 질문을 던지기 만하면됩니다 지난 주, 나는 방금 포럼을 듣고 있었다 [알아들을 수 없는] 손님 한 명이 말했다 그 이유는 알고리즘에는 이러한 편향이 있습니다

이 기술 회사가 프로그래머를 고용한다는 것입니다 프로그래머에게는 다양성이 없습니다 그리고이 프로그래머는 이러한 편견을 프로그래밍하고 있습니다 그것을 깨닫지 못한 채로 그리고 저 성명이 충격적 인 것을 알았습니다 그리고 사람들이 편견을 프로그래밍하고 있다는이 개념은 또는 프로그래머가 실제로 여기에 뭔가를하고있다

이상해 그러나 그것은 데이터에서 비롯된 것입니다 그리고 때때로 알고리즘을 비난하는 사람들이 있습니다 알 고안 편견이 있다고 말하면서 그리고 때때로 프로그래머를 비난하는 사람들이 있습니다

마치 프로그래밍되어있는 것처럼 말하는 것입니다 그리고 그것은 큰 문제라고 생각합니다 그리고 규제 당국에게도, 그들은이 이슈를 이해하지 못합니다 그리고 제가 예를 들어 말했을 때, 그들은 소스 코드와 그 종류의 것들을 공개했다 그것은 분명히 그들이 아니라는 것을 보여줍니다

무엇이 그것을 몰고 있는지, 어디에서 오는 것인지, 등등 그래서 분명히 교육이 큰 부분을 차지합니다 그리고이 모든 두려움이 언론에도 전파됩니다 이러한 문제를 만드는 이러한 이야기 그들이하는 것보다 훨씬 더 나쁜 것 거의 모든 연구에서 평균적으로 이러한 알고리즘은 인간보다 편향되어있다

인간의 의사 결정보다 문제가 적습니다 인간의 의사 결정에 초점을 맞춘 모든 연구 인간의 의사 결정이 이루어지는 모든 방법을 보여줍니다 모든 종류의 편견에 걸리기 쉽다 나는 우리가 집중하고 걱정해야만하는 유일한 감각이라고 생각한다 나를위한 이러한 편견에 대해 두 가지가 있습니다

첫 번째는 기계 결정이 인간의 방식으로 확장된다는 것입니다 결정은하지 않는다 따라서 나쁜 또는 편향된 판사가 50 만 명의 생명에 영향을 줄 수 있습니다 그러나 법원에서 전국적으로 사용되는 알고리즘 수백만의 삶에 영향을 줄 수 있습니다 그 규모가 우리가 걱정해야 할 이유입니다

그리고 다른 점은 기계 편향을 수정하는 것이 더 쉽다는 것입니다 인간 편견을 고치는 것보다 따라서 해결하기 쉽기 때문에 우리가 해결할 수도 있습니다 하지만 교육 문제가 있다고 생각합니다 그리고 그것을 일으키는 원인이 무엇인지에 대한 개념 그리고 나서 모든 두려움이 혼란스러워, 내 생각 엔, 내가 두려워하는 거대한 문제는 과잉 규제를 야기 할 수있다

그리고 저는 그것에 대해 걱정합니다 그래서 저의 책 투어에서 회사에갑니다 계속해서 말하자면, 모든 회사 규제 당국이 오기 전에 사전에 조치를 취해야합니다 왜냐하면 당신은 뭔가 잘못 될 때까지 기다릴 필요가 없기 때문입니다 당신은 사전에 뭔가를하고 규제 당국은 그것에서 벗어나 있습니다

그러나 뭔가 잘못되면, 그들은 들어와 미친 규제를 때린다 그것을 이해하지 않고 그리고 그것은 큰 문제입니다 관객 : 음, 다시 한번 감사드립니다 여기 있으니

정말 고맙습니다 이제 시간이 없어 하지만 박수 갈채는 또 다른 방법은 없을까요? 카티크 호사 나가 : 좋습니다 승인 [박수 갈채]