備受爭(zhēng)議的醫(yī)療應(yīng)用制造商巴比倫健康公司(Babylon Health)批評(píng)了這位醫(yī)生，該醫(yī)生首先對(duì)其AI聊天機(jī)器人的安全性提出了擔(dān)憂。
巴比倫健康公司的聊天機(jī)器人可在公司的GP at Hand應(yīng)用程序中使用，這是由衛(wèi)生部長(zhǎng)Matt Hancock倡導(dǎo)的數(shù)字醫(yī)療解決方案，該解決方案自去年以來也已集成到Samsung Health中。
聊天機(jī)器人的目的是通過自動(dòng)進(jìn)行分診過程來確定某人是否可以在家中進(jìn)行治療，應(yīng)在線預(yù)約或親自預(yù)約GP或直接去醫(yī)院，從而減輕GP和A&E部門的負(fù)擔(dān)。
Twitter用戶以Murphy博士的化名在2018年首次與我們聯(lián)系，聲稱巴比倫健康的聊天機(jī)器人正在提供不安全的建議。Murphy博士最近以David Watkins博士的身份揭曉，并在英國皇家醫(yī)學(xué)會(huì)的“ 2020年AI和數(shù)字健康的最新發(fā)展”活動(dòng)中公開發(fā)表了他的發(fā)現(xiàn)，此外還出現(xiàn)在BBC新聞之夜的報(bào)道中。
墨菲醫(yī)生露出了面具?，F(xiàn)在是他的立場(chǎng)聲明。他的驅(qū)動(dòng)力–患者安全。不能與那爭(zhēng)論!@ DrMurphy11 #RSMDigiHealth @RoySocMed pic.twitter.com/hOC7kzlNz3
-clive flashman(@cflashman)2020年2月24日
在過去的幾年中，Watkins博士提供了許多聊天機(jī)器人提供危險(xiǎn)建議的示例。在一個(gè)示例中，建議一名肥胖的48歲重度吸煙者患者出現(xiàn)胸痛，他建議“在接下來的幾個(gè)小時(shí)內(nèi)”進(jìn)行咨詢。任何有常識(shí)的人都會(huì)告訴您立即撥打緊急電話。
這又是一個(gè)疏忽#Triage從@babylonhealth #GPatHand #AI #Chatbot應(yīng)用程序?
48歲的肥胖男性/每天吸煙30天，男性突然出現(xiàn)中樞性胸痛和出汗…。
我說打999，巴比倫應(yīng)用程序說看到您的GP… pic.twitter.com/VcOqs9JOhP
-Murphy博士(又名David Watkins)(@ DrMurphy11)，2018年3月22日
此特定問題已得到糾正，但是Watkins博士多年來強(qiáng)調(diào)了許多其他示例，這些示例非常清楚地表明存在嚴(yán)重的安全問題。
在周一的新聞稿(PDF)中，巴比倫健康中心將沃特金斯博士稱為“巨魔”，他“瞄準(zhǔn)了我們員工，合作伙伴，客戶，監(jiān)管者和新聞工作者的成員，并在推特上發(fā)布了關(guān)于我們的誹謗性內(nèi)容”。
根據(jù)該新聞稿，沃特金斯博士對(duì)聊天機(jī)器人進(jìn)行了2400次測(cè)試，以抹黑該服務(wù)，同時(shí)提高“他認(rèn)為涉及的測(cè)試結(jié)果少于100個(gè)”。
據(jù)巴比倫自己的“高級(jí)臨床醫(yī)師小組”稱，巴比倫健康聲稱，只有20例沃特金斯醫(yī)生發(fā)現(xiàn)了真正的錯(cuò)誤，而其他人則是“錯(cuò)誤陳述”或“錯(cuò)誤”。
沃特金斯博士在接受TechCrunch采訪時(shí)稱，巴比倫的說法“完全是胡說八道”，并質(zhì)疑該創(chuàng)業(yè)公司從何處獲得其數(shù)據(jù)，因?yàn)?ldquo;肯定沒有2,400項(xiàng)完成的分流評(píng)估”。
沃特金斯博士估計(jì)他已經(jīng)進(jìn)行了800到900次全面分類，其中一些是重復(fù)測(cè)試，以查看巴比倫衛(wèi)生局是否已解決他先前強(qiáng)調(diào)的問題。
醫(yī)生承認(rèn)，Babylon Health的聊天機(jī)器人已得到改善，并且出現(xiàn)問題的幾率約為三分之一。在2018年，沃特金斯博士首次與我們和其他機(jī)構(gòu)聯(lián)系時(shí)，他說這個(gè)比率是“一對(duì)一”的。
盡管這是一個(gè)帳戶，但另一個(gè)證據(jù)卻表明，Babylon Health的聊天機(jī)器人已多次發(fā)出危險(xiǎn)建議。Watkins博士花了許多時(shí)間向巴比倫健康局強(qiáng)調(diào)這些問題，以提高患者的安全性。
巴比倫衛(wèi)生保健公司不但不歡迎他與沃特金斯醫(yī)生共同努力改善服務(wù)質(zhì)量，而是決定繼續(xù)發(fā)動(dòng)進(jìn)攻，“試圖抹黑引起患者安全擔(dān)憂的人”。
巴比倫在新聞稿中指責(zé)沃特金斯發(fā)布了“超過6,000次”誤導(dǎo)性攻擊，但沒有提供具體位置。沃特金斯博士主要使用Twitter發(fā)布他的發(fā)現(xiàn)。截至撰寫本文時(shí)，他的帳戶共發(fā)布了3925次推文，而不僅僅是關(guān)于巴比倫的服務(wù)。
這并不是巴比倫衛(wèi)生組織的數(shù)據(jù)第一次受到質(zhì)疑。早在2018年6月，Babylon Health舉行了一項(xiàng)活動(dòng)，在MRCGP考試中吹噓其AI擊敗見習(xí)GP來測(cè)試他們?cè)\斷醫(yī)療問題的能力。平均及格率為72%。“巴比倫健康是怎么做的?” 巴比倫衛(wèi)生局局長(zhǎng)Mobasher Butt博士在活動(dòng)中說。“它占了82%。”
考慮到聊天機(jī)器人已經(jīng)給出了一些微不足道的危險(xiǎn)建議，尤其是在當(dāng)時(shí)，很難想象它擊敗學(xué)員GP的說法是正確的。有趣的是，此后該活動(dòng)的視頻已從Babylon Health的YouTube帳戶中刪除，并且該公司從其網(wǎng)站的“新聞中的巴比倫”部分中刪除了所有涉及該新聞的鏈接。
當(dāng)被問到為什么刪除內(nèi)容時(shí)，巴比倫健康在一份聲明中說：“作為一家快節(jié)奏，充滿活力的健康科技公司，巴比倫正在不斷用有關(guān)我們產(chǎn)品和服務(wù)的新信息刷新網(wǎng)站。因此，通常會(huì)刪除較舊的內(nèi)容，以便為新內(nèi)容讓路。”
像巴比倫健康公司(Babylon Health)提供的AI解決方案將有助于減少對(duì)醫(yī)療服務(wù)的需求，并確保人們隨時(shí)隨地獲得正確的信息和護(hù)理。但是，患者安全必須首先考慮。
由于存在潛在的致命或改變生命的后果的風(fēng)險(xiǎn)，醫(yī)療保健中的錯(cuò)誤很少被原諒。科技界通常的“快速行動(dòng)并打破事物”的思想在這里不能適用。
人們普遍認(rèn)為，新技術(shù)很少會(huì)出現(xiàn)問題，但是人們希望看到正在盡最大的努力來限制和解決這些問題。巴比倫衛(wèi)生保健公司不歡迎那些指出嚴(yán)重問題之前指出其服務(wù)問題的人，而寧愿將其錯(cuò)誤歸咎于其他所有人。