Self-Driving) – 가장 위험한 소프트웨어 [Tesla] Tesla 완전 자율주행(Full

Dawn Project는 운전자들이 이른바 완전 자율주행차로 찍은 몇 시간 분량의 유튜브 동영상을 분석했습니다.

약 8분마다 완전 자율주행(Full Self-Driving, FSD)이 치명적인 주행 오류를 발생시키며 캘리포니아 DMV의 주행성능 평가에 따르면 다음과 같은 주요 오류가 발생했습니다.:

·피한 경우 물체와 접촉·교통표지판 또는 신호를 무시하는 행위·안전요원 또는 안전차량에 대한 불복종·다른 사람들이 회피행동을 취하도록 하는 위험한 움직임

평균적으로 도심주행 약 36분마다 FSD소프트웨어의 안전결함으로 인해 조향, 제동, 구동에 이상이 생겨 운전자가 이를 제어하지 못할 경우 사고를 일으킬 가능성이 높습니다.

제게는 매 8분마다 심각한 안전 오작동(또는 심각한 오작동)이 발생하는 다른 판매품은 생각할 수 없습니다. 어떤 것이 8분마다 고장나는 것을 살까요? 헤어드라이어는 아닌 것 같아요 난로, 냉장고, 조명 스위치, TV, 스프레드시트, 인터넷 브라우저, DVR, 헤드폰, 비행기, 히터, 에어컨, 포크.

FSD는 마치 자살 충동을 느낀 10대처럼 운전해요. Tesla가 미친 짓 하는 것을 방지할 정도의 신속한 대응이 없으면 36분 이내에 도시 주행 중 Tesla를 망가뜨릴 것입니다. 유튜브 동영상은 FSD 차량이 거대한 콘크리트 기둥을 들이받으려다 일방통행로로 잘못된 길로 들어서자 도로에 세워진 차량을 들이받으려다 버스 차선을 달리다 미친 듯이 차선 사이를 왔다갔다하며 횡단보도로 보행자를 향해 돌진하는 모습을 담습니다.

거의 모든 유튜브 영상을 좋은 날씨에서 낮에 만들었어요. 이상적인 조건에서 FSD는 굉장한 운전자입니다. 켜져 있지 않은 2차선의 도로에서 폭우가 내리는 밤에는 어떻게 성능을 발휘할 것 같습니까? 마주 오는 차량의 헤드 라이트가 도로의 물에 반사되는 도로 표시가 보이지 않습니다. 카메라 렌즈에 부착된 물이 마주 오는 헤드라이트를 굴절시켜 도로의 오른쪽 끝을 보이지 않게 하는 광란의 퀼트를 만듭니다. 여러분이 볼 수 있는 것은 시속 80마일에 가까운 속도로 여러분에게 바로 다가오는 왜곡된 헤드라이트 불협화음 뿐입니다. FSD 뭐 할 거예요?

FSD의 경험을 시뮬레이션하기 위해서는 9살짜리 아이를 무릎에 앉히고, 그들이 당신, 그들, 다른 승객 또는 대중을 위험에 빠뜨릴 때 대기하고 있는 동안 그들이 당신의 차를 운전하도록 하십시오. 9살짜리 아이에게 이런 식으로 운전시키는 건 어때요? 이들이 신경망(Neural Network, NN)을 적절히 훈련하기 위해서는 많은 실제 경험이 필요하지 않을까요?” 운전자가 피곤하거나 화가 나거나 술에 취해 있다면 운전자는 이들이 누군가를 죽이기 전에 각각의 실수를 바로잡을 중요한 필요성을 해칠 수도 있습니다. 9세의 운전 실력을 갖춘 완전자가 운전할 수 있도록 인정하는 것의 이점을 보기 위해서는 유사한 정신 장애를 가진 정신 상태가 필요합니다. 만약 경찰이 당신이 9살짜리 아이에게 당신의 차를 운전하게 한다면 당신은 아마 체포될 것입니다. 만약 누군가가 죽으면, 당신은 감옥에 가게 될 것입니다. FSD는 현 상태로 도로를 달려서는 안 되기 때문에 규제당국이 책임지고 행동하고 개입할 필요가 있습니다.

유튜브 영상 봐주세요 FSD가 얼마나 자주 탑승자와 일반 대중을 절박한 위험에 빠뜨리는지를 타임스탬프로 확인해 보세요. 경찰이 있었으면 운전자에게 딱지를 떼었을 교통 규칙을 얼마나 많이 범했는지 세어 보세요. 운전면허를 따기 위한 운전면허시험에서 떨어지는 실수를 얼마나 자주 저지르는지 지켜보세요.

이 영상은, Tesla나 주식투자가, 석유 기업의 대리인에 의해서 만들어진 것이 아닙니다. 대부분의 영상은 모든 인간의 운전자가 쉽게 실행할 수 있다고 예상되는 운전을 성공적으로 마칠 때마다 극찬하는 FSD팬에 의해서 만들어졌습니다. 그리고 그들은 모든 어설픈 실수는 용서합니다. 그들은 당신이 배변 훈련을 받는 유아에게 하는 것과 같은 것을 말합니다. FSD의 유튜브 팬들은 성숙도에 대한 기대가 매우 낮아요.

The Dawn Project Tesla가 F SD에 얼마나 근접해 있습니까?유튜브 동영상은 지속적인 인간 교정이 없으면 이상적인 기상 조건에서 현재 방식의 FSD는 도시 주행 중 약 36분마다 사고를 낸다는 것을 보여줍니다. 올해 미국 교통국 통계에 따르면, 미국에서는 3,261,772백만 주행 마일 중 675만 6000건의 충돌이 발생했습니다. 이는 충돌 기간 동안 평균 483,000마일을 운전한다는 것을 의미합니다. 평균 시속 30마일의 속도로 사람의 운전자에 의한 사고 사이에는 평균 16000시간이 있습니다. 이것은, 자동 운전 FSD에 의한 사고 간격의 2만 4000배나 긴 것입니다.

개발한 지 8년이 지나도 FSD는 95%가 완료된 것이 아닙니다. 그것은 90%, 심지어 50%도 완성되어 있지 않아요. 2배, 10배, 100배, 1000배, 심지어 10,000배까지 믿을 수 있는 것만으로는 부족합니다.

FSD가 우리 도로에서 자율주행을 허용하기 위해서는 현재 신뢰도의 최소 24,000배까지 신뢰성을 개선해야 합니다.

FSD를 24000배나 신뢰할 수 있게 하려면 얼마나 들까요? 요즘 유튜브 동영상을 비교해 보면 9개월 전 동영상을 보면 신뢰도 향상 추이를 가늠할 수 있습니다. 그리고 사고 발생 시간의 간격은 13분에서 29분입니다. 오래된 영상이 많지 않기 때문에, 데이터 신뢰성이 저하합니다. 하지만 우리가 가지고 있는 데이터를 보면 FSD가 지난 9개월 동안 심각한 운전 오류와 사고 발생 사이의 시간을 약 두 배로 늘렸을 거라고 생각합니다. 그거 되게 좋아요. 다만 이런 속도로 발전하고 기하급수적으로 발전하더라도 자율주행 신뢰도가 평균적인 인간 운전자 수준(모든 10대, 알코올 중독자 포함)에 도달하려면 10년 이상 걸릴 것이다. 10년 넘게 기다린 끝에 2032년 전 세계 모든 자동차에서 FSD가 가능해지면 매년 100만 명 안팎의 사람만 사망하게 됩니다. 그럼 소송이 얼마나 발생할까요?

FSD 옹호자들은 분개하며 “베타야, 바보야!”(“IT IS BETA, YOU IDIOT!”)라고 외칩니다. 뭐라고 불러도 상관없어요. 한 보고서에 따르면 현실은 일반 시민들이 수천대의 감시를 하고 있다고 합니다. 12,000달러, 120마일의 속도, 2톤의 살인기계가 아마도 여태까지 경험했던 것 중 가장 신뢰성 낮은 소프트웨어로 운전하고 있다고 합니다.

어느 속도에서도 안전하지 않은 Ralph Nader가 쓴 “Unsafe at Any Speed”는 Chevrolet Corvair가 극단적인 상황에서 제어 시스템에 안전 결함이 있다는 보고로 1966년 베스트셀러가 되었습니다. FSD의 안전 결함은 극한 상황뿐만 아니라 모든 상황에 영향을 미쳐 Corvair의 어떤 문제보다 훨씬 심각합니다. 우리는 정상 운행 시 약 8분마다 사람들의 생명을 위험에 빠뜨리는 중대한 운전 오류를 발생시키는 제품을 도로에 배치하는 것을 허용해서는 안 됩니다. 차를 그렇지 않은 경우보다 훨씬 더 위험한 것으로 만드는 제품은 무엇일까요?

Full Self-Driving (Beta) 2021년 4월 10일에 공개되어 Tesla는 “최악의 시간에 잘못된 행동을 할 수도 있다(It may do the wrong thing at the worst time.)”고 경고하고 있습니다. 최악의 시간에 잘못된 행동을 할 수도 있는 안전에 중요한 제품을 어떻게 허가하면 될까요? 그게 불량품에 대한 정의 아닌가요? FSD는 우리 도로에서 즉시 제거되어야 합니다.

인터럽트 1월 16일 New York Times에 전면에 아래와 같은 광고가 등장했습니다.

New York Times에 관해서 흥 맛 있는 분이라면 관련 뉴스를 들은 적이 있죠. 그냥 간단하게 요약하면, Tesla는 세상에서 가장 위험한 소프트웨어가 내장되어 있으므로 도로를 돌아다니고는 안 된다는 것입니다. 그리고 도전적 보상금을 제시하고 있습니다.

Dawn Project는 8분 간격에 치명적인 오작동을 일으키는 Fortune500대 기업 이외의 상용 제품명을 제시하는 사람이$10,000을 제공합니다. 신청 후 전체 이용 약관을 보려면 여기를 클릭하세요.

이 광고는 Dan O’Dowd는 Green Hills Software, CEO인 광고의 주체인 The Dawn Project라는 단체의 설립자가 게시한 것입니다.

Tesla의 자동 운전 기술에 대한 비판은 옹호자에 비해서 별로 주목되지 않았습니다. 일반 사용자에게 기능의 사용이 그다지 중요하지 않아요. 다만 자신이 원하는 수준의 동작을 한다면 그리 문제 삼지 않겠습니다. 특히 그것이 다른 사람보다 앞선 기술이라고 생각하는 기술일수록 그렇습니다. 전술한 것처럼 나름대로 관대한 폭도 넓다고 말할 수 있습니다.

비판하는 측이 가장 많이 언급하는 것은 Tesla의 기능이 완전히 자율 주행에서는 없는데도 불구하고 FullSelf-Driving라는 이름으로 혼란을 주고 있다는 것입니다. 이런 잘못된 이름은 사람들이 기능에 대한 잘못된 사용을 이끌고 있다는 것입니다. 또 Tesla는 자신들의 기술 향상을 위해서 베타 버젼이라는 명목으로 제품을 판매하면서 일반 유저를 시험 대상(Dummies)로 하고 있다는 것입니다. 즉, 사람들은 자신들이 10,000달러라는 거금을 주고 산 물건을 그 성능 향상을 위한 대상이 되고 있다는 것입니다. 더 이상의 문제는 그렇게 구입한 것이 잘못 동작할 경우 사람들에게 큰 피해를 줄 수 있다는 것입니다.

앞서 소개한 글은 지금까지 공개된 FSD 관련 유튜브 동영상을 분석해 8분에 한 번씩 문제가 발생하고 있다고 설명하고 있습니다. 물론 이런 분석이 꼭 과학적이라고 할 수는 없겠죠. 그러나 사실 과학적 분석을 위한 자료는 기업의 비밀사항이기 때문에 외부에서 완벽하게 분석하기가 쉽지 않습니다. 그럼에도 불구하고, 실제로 실현된 기능 영상으로 확인할 수 있는 것으로, 다른 Tesla 차량에서도 발생할 가능성은 있다고 할 수 있습니다. 미 규제당국은 최근 이 같은 문제 해결의 일환으로 자동차회사들에 자동화 보고서를 의무적으로 제출하도록 했습니다.

The Dawn Project는 나름대로 분석한 자료들을 정리해서 공개하곤 했습니다.

분석자료: Tesla FSD Safety Analysis

분석을 위한 참고자료 : Tesla FSD NYT Ad Fact Check

한편, Tesla 투자가가 질문한 이번 이슈에 대해서, Tesla의 Elon Musk는 아래와 같은 반응을 보였습니다.실제 Tesla 구매자의 FSD 선택 비율은 그리 높지 않다고 합니다. Tesla는 최근 FSD의 가격을 12,000달러까지 다시 올렸습니다. 사람들에게 불만을 많이 받고 있어서 그 판매량은 더 줄어들지 않을까 싶어요. Tesla는 아주 오랫동안 개발을 해왔습니다. 처음부터 자율주행기술 자체에 대해 지나치게 낙관적으로 판단한 결과가 아닌가 싶습니다.(물론 충분히 효과를 발휘한 마케팅이긴 했습니다.) 이미 엘론뮤직도 자율주행 기술 개발이 그리 쉽지는 않다고 했습니다.

이미 규제당국의 조사가 시작되었으며 이에 대비하여 Tesla는 사람들에게 기능사용 시 운전자의 책임을 강조하는 표현을 늘리고 있습니다. 더욱더 규제가 엄격해지는 분위기가 계속 되는 것이 아닐까 생각합니다. 특히 Tesla에 관한 언급은 늘어나고 있습니다.

덧붙여서 1 월 18 일에 캘리포니아 검찰청은 2019 년에 2 명이 사망한 사고로 오토매틱 시트를 사용한 Tesla 운전자를 과실치사 혐의로 기소했습니다. 미국 최초의 ADAS 사용 운전자에 대한 기소라고 알려져 있습니다.

PS: 검색에서 원하는 내용을 찾을 수 없다면 태그 또는 검색을 하면 더 많은 자료를 찾을 수 있습니다. 자율주행자동차 기반 미래 모빌리티 관련 자세한 문의나 강의는 [email protected]으로 연락주시기 바랍니다.

Over the Vehicle !!!

참고 자료 The Dawn Project has analyzed many hours of YouTube videos taken by drivers of their experiences with so – called Full Self – Driving cars.dawnproject.com

error: Content is protected !!