· 用户代表:从长赢的深度用户中随机遴选,代表普通人的视角。
· 内部成员则包括陈墨(首席技术官)、苏晚晴(首席运营官)以及各核心产品线的负责人。
委员会的第一次正式会议,气氛就有些凝重。议题正是审议“情感交互AI”的“情绪感知与主动关怀”功能。
项目组负责人兴致勃勃地演示着功能:“我们的算法通过对海量面部数据和语音数据的深度学习,能够以超过85%的准确率识别七种基本情绪和数十种复合情绪。当系统检测到用户持续处于负面情绪时,会主动启动关怀模式,比如播放舒缓音乐、提供正念呼吸引导,或者建议联系朋友……”
“请等一下。”那位心理学权威,一位头发花白、眼神锐利的女教授,打断了演示,“张经理,你如何定义‘持续处于负面情绪’?阈值是多少?依据是什么?有没有考虑过文化差异?一个亚洲人内敛的悲伤,和一个拉丁美洲人外放的悲伤,能被同一套算法准确识别吗?”
“这……”项目负责人一时语塞。
首席伦理官接着发问:“更重要的是,AI的‘主动干预’,是否构成了对用户心理空间的未经邀请的入侵?它有没有可能打断用户正常的情绪消化过程?如果干预不当,比如在用户需要独处时不断播放音乐,会不会适得其反?我们是否有取得用户对于这种深度情绪干预的‘明确知情同意’,而不是隐藏在冗长的用户协议里?”
法律顾问也补充道:“从法律角度看,情绪数据属于极度敏感的个人信息。欧盟的GDPR和新加坡即将出台的AI治理框架,对此类数据的收集和处理有极其严格的规定。我们目前的流程,可能存在合规风险。”
这章没有结束,请点击下一页继续阅读!
用户代表则提出了更朴素的问题:“我觉得有时候心情不好,就想自己呆着。如果这时候AI不停地来‘关怀’我,我会觉得很烦,甚至害怕。它是不是知道我太多事情了?”
会议室内,争论非常激烈。产品团队认为专家们过于保守,扼杀创新;而外部专家则坚持,在涉及人性的领域,技术必须谦卑,底线必须守住。
程长赢全程倾听,很少发言。直到争论稍歇,他才缓缓开口:“各位,我们今天坐在这里,不是为了阻止技术进步,而是为了确保它走在正确的道路上,是为了让技术真正服务于人,而不是异化人、控制人。”
他看向产品团队:“我们的初衷是好的,是想为用户带来温暖。但好的初衷,也需要正确的方法和严格的边界来保障。”他又看向专家们:“感谢各位的尖锐提问,这正是我们成立这个委员会的价值所在。”
最终,在程长赢的推动下,委员会对此功能做出了多项限制性决议:
1. 明确知情同意:用户必须单独、明确地勾选同意,授权AI进行情绪识别和主动关怀,且可随时一键关闭。
2. 干预阈值与方式调整:提高干预触发阈值,并设计多层级、非侵入式的干预方式(如首次仅为温和的文字提示)。