一张像片差点放手一个父亲, 科技公司别再打着善意的旗子积恶

发布日期:2022-08-29 00:13    点击次数:74

一张像片差点放手一个父亲, 科技公司别再打着善意的旗子积恶

上着班聊着天, Mark 倏得就被侦查找上门了。

因为他的手机被发现存一张手机里含有儿童性器官的像片,于是 Mark 被怀疑是一个针对儿童下手的性犯罪者。而况警方发现,这张像片尽然来自 Mark 的男儿……

一个变态的恋童癖形象大略也曾开动在你脑海里构建起来。

先别急着盛怒,事情很快出现了回转。原来这张像片是 Mark 男儿生病后,为了让医师了解病情而拍摄的,而况 Mark 也从未公斥地布过这张像片。

那么警方是何如得知的呢,是 Google 的 AI 系统检测到了 Mark Android 手机里的像片,并判定他为犯罪嫌疑人,转而向警方举报,并禁用了他的 Google 账号。

在美国,Google 全家桶的提升进程大略格外于微信,也就是说 Google 这一番操作,平直让 Mark 从线上到线下全办法社死。

更为可怕的是,和 Mark 同样被平台检测到极度趁机举报的人,远不啻一个。

孩子线上问诊的像片,让他被认定为监犯

Mark 的孩子在学习走路时患上了腹股沟炎症。由于疫情严重,那时大部分人都在居家梗阻,Mark 只可遴荐线上问诊,提供孩子腹股沟的像片,试图帮医师更好地做出会诊,医师也凭据描述的病情、展现的像片开出了处方。

但就是这些像片出了问题,Android 手机里的像片自动同步到了云表,Google 系统将这些像片识别为了儿童性恣虐本色 CSAM(Child Sexual Abuse Material)。

在被识别后,Mark 的集合使用瘫痪了一半,因为他被封了。Gmail,用户用来登录其它平台的账户邮箱;Google Fi,用户的出动造谣运营商,打电话上网都用得上;Google Photos,再也无法走访,内部有你家人的像片回忆……这些通通被封了。因为 Google 认为你涉嫌儿童性犯罪,是以封了你的账户趁机「替你」报了警——平台封号后向国度失散与被克扣儿童中心(NCMEC)提交了一份请问,这份请问激勉了警方的有观看。

10 个月后,这位父亲收到了旧金山警局的见知,他们凭据 Google 提供的像片请问对他进行了全办法的有观看。

为了更好有观看潜在的儿童性犯罪嫌疑人,警方还向 Google 发出了搜查令,条款提供 Mark 统共账户信息,视频、像片、位置数据、互联网搜索请问等本色。对 Mark 来说,这真的是无妄之灾,如果侦查有观看扯旗放炮一些,恐怕连责任都没法做了。

好在仔细有观看后,警方说明了这位父亲并不存在职何针对儿童的性犯错误动。

这位父亲很皎皎,但 Google 很固执。即即是提供了经过警方证实的无罪请问,也无法让他顺利向 Google 陈诉找回账户。他也曾留在我方账户中的像片信息都已被完好锁定,无法再看到。能看到的惟有 Google 的辅导——

你的账户因含有严重违背 Google 战略且可能非法的无益本色而被禁用。

苦求解封是没灵验的,你只可换邮箱、换电话,在数字全国重新开动。《纽约时报》报道了这么两个平庸用户,他们都为孩子网上问诊拍摄了儿童性器官关系的像片,从而被判定违章封号,直到今天都无法找回我方的账号。

他们致使不是特例。2021 年,Google 向 NCMEC 的 CyberTipLine(举报儿童性侵形状)请问了 621583 起案件。NCMEC 则向当地礼貌部门公告了 4260 名潜在受害者,请求警方协助有观看,在这些孩子受到进一步伤害时拯救他们。

听上去是一个时间实时制止犯罪、细心犯罪的好故事,但当这个名单里包含和 Mark 孩子同样仅仅问诊的未成年时,热门资讯就是「收拢一千,也错抓一个」的悲痛故事了。

在统共时间侦查界限中,唯有儿童性犯罪例外

仅仅天然有错抓,Google 显豁也不策动改。不仅不明封经过警方认证的皎皎用户账户,也不策动罢手这个会有颓势的审查机制。

Google 发言人 Christa Muldoon 就示意:「咱们衔命美国法律界说什么是 CSAM,并使用哈希匹配时间和人工智能的组合来识别它,再从咱们的平台上删除它。咱们的儿童安全巨匠团队会审查符号本色准确性,还会接洽儿科医师确保咱们能够识别用户可能寻求医疗提出的情况。」

问题在于,Google 的审核团队并莫得医学专科配景,在审查每个案例时也不一建都会接洽专科的儿科医师。是以错判在这个历程中不错说是难以幸免的,独一能够裁汰这种错判影响力的惟有专科机构的判定和礼貌机构的二次审查。

但关于被误判的人来说,这真的是无妄之灾。因为这种误判,你的首要账号被锁了;因为这个判断,你被侦查有观看了;因为这些错判,身边人看你可能也会戴上有色眼镜。

电子前沿基金会 EFF 的时间形状主任 Jon Callas 对媒体示意 Google 的做法是有侵入性的。「这恰是咱们都记忆的恶梦——他们要扫描咱们的家庭相册,然后咱们就会遭受忙绿。」

但这不是 Google 才会遭受的问题,因为简直统共科技巨头在关乎 CSAM 本色时都有极度积极的活动。Amazon 和 Facebook 和 Google 同样有人工智能+人工的审核机制,发现存嫌疑的用户业余酌情删除或禁用 URL、图像、聊天功能,严重的封禁帐户。2021 年,亚马逊也向 NCMEC 提交了 33848 份 CSAM 请问。至于秘密问题,在这个时间打击犯罪的故事里似乎被忽略了。

在捍卫用户秘密的故事中,苹果拒却「协助解锁」的故事最让人印象真切。

那时美国福利机构内发生了一齐严重的恐怖紧迫枪击案,凶犯在隐迹途中被击毙。警方在有观看中发现凶犯与中东「伊斯兰国」顶点组织通过手机的加密通讯进行掂量,仅仅由于手机设有密码,法院也只可条款 iPhone 分娩商苹果公司协助政府解锁。

但苹果公开告示拒却遵行这道号召,意义是为了保护用户秘密:「如果政府动用《统共令状法案》让解锁 iPhone 变得更容易,它就有才调侵入任何人的斥地并取得其数据,政府就不错延长这种滋扰秘密的做法。」

但即即是在义正严辞拒却过解锁用户 iPhone 的苹果在儿童性犯罪界限也不是莫得动摇过。和 Google 同样,苹果也想过使用一种新用具扫描用户的 iCloud 像片,它会匹配 NCMEC已有的图像数据库,如果发现了鼓胀多的相似图像就会顶住给操作员进行搜检,继而见知 NCMEC。

苹果那时还决策推出一项新的 iMessage 功能,旨在「当(孩子)经受或发送色情照少顷,辅导孩子和他们的父母」。13 岁以下的儿童经受或发送图像会向父母发出申饬,而统共儿童用户在行将经受、发送被怀疑的色情图少顷也会收到申饬见知。

这个变化趋势没过多久就被叫停了,因为反对的声浪确切太大。EFF 认为这个新变化可能「为你的私人生涯掀开后门……统共 iCloud 像片用户的秘密减少,而不是改善。」就连斯诺登也示意「不管本意有多好,今天不错扫描儿童色情本色,未来就不错扫描任何东西。」

苹果最终摈弃了图像扫描部分的功能,但依旧保留了在家庭分享决策中包含儿童帐户的可选功能。家长不错遴荐性为孩子开启分析图片是否有败露图像的功能,如若监测到败露图像还会进行朦拢处理。

就连苹果也想要在我方家具中加入 CSAM 识别功能,很大一部分原因是这属于红线——不论是关于平庸用户、礼貌机构,亦或是平台,它们对这件事的容忍度都极低。

这同期也意味着当你真的需要科技公司时间配合的时分,遴荐儿童性犯罪案件先进行谐和会获取较多的民众因循。

英国在线安全法案的更新就策动法子「用户对用户工作」提供商必须勉力向国度犯罪局请问任何分享的儿童性克扣和性恣虐本色。这项立法修正案明确法子,企业应斥地能够搜检信息(包括端到端加密通话)的软件,以主动发现儿童性犯罪材料并向当局请问——不然将濒临制裁。

仅仅 Google 的故事则告诉咱们,哪怕这个功能到手运行也有「错杀」的风险,而每一次误伤关于皎皎的用户都会形成伤害。时间只怕能够贬责统共的问题,咱们闇练的人工智能、算法在面对辣手的社会问题时依旧过于「单纯」,很难依靠单一的时间去发现潜在或也曾发生的犯罪。

时间的介入致使可能给蓝本沉重的环境带来新的问题,并不是初志是好的就一定会有好的效果。毕竟有时分,通往地狱的路路过常由善意铺就。





Powered by 夜色资讯 @2013-2022 RSS地图 HTML地图