一方面，监管部门需尽快建立健全人工智能研发与应用相关法律法规和标准体系，加强对科技企业、媒体平台等的监管。另一方面，提供深度合成服务的企业要严格落实信息安全管理主体责任，建立健全算法机制审核、科技伦理审查、反电信网络诈骗等管理制度，加强合成内容的审查与管理，对智能对话、合成人声、人脸生成、沉浸式拟真场景等生成内容进行显著标识，避免公众混淆或误认

(资料图片仅供参考)

近日，AI行业发展过程中的诸多乱象，引发了市场广泛关注，网络安全问题再次站在聚光灯下，多家产业链上市公司也积极回应网络安全相关布局情况。

AI行业乱象频发

“AI孙燕姿”的热度尚未完全消散，“AI换脸”明星直播便再次成为社交平台上的焦点话题。点开直播间，就可以看到换脸杨幂、迪丽热巴等女明星在直播带货。这让消费者在感叹科技进步的同时，也对AI发展态势及相关安全问题表示担忧。

“现在有很多公司可以直接提供相关明星的算法模型，价格低廉，在3万元至4万元之间，购买之后就可以直接假冒明星进行直播带货。现在AI行业发展乱象很多，到了必须加强监管和治理的时候了。”一位不愿具名的行业人士对记者表示。

近日就有福州市某科技公司法人代表郭先生10分钟内被骗430万元的事件发生。据了解，骗子先攻陷了郭先生的好友微信，进而通过智能AI换脸和拟声技术对郭先生进行诈骗。

深度科技研究院院长张孝荣在接受记者采访时表示：“当前的AI换脸和AI拟声涉及到‘深度伪造’，是AI技术的衍生应用。这种应用一般通过使用‘生成式对抗网络’的机器学习模型，将图片或视频合并叠加到源图片或视频上，借助神经网络技术进行大样本学习，将个人的声音、面部表情及身体动作拼接合成虚假内容。”

张孝荣还表示，目前还有一种新的发展趋势，即AI训练生成虚拟人接入ChatGPT这样的NLP大模型，再结合语音高仿技术，复刻与真实人物互动的效果，如此一来，就会让线上的“李逵”和“李鬼”更加真假难辨。

面对当前AI行业的发展乱象，网络安全治理已迫在眉睫。天使投资人、资深人工智能专家郭涛在接受记者采访时表示：“一方面，监管部门需尽快建立健全人工智能研发与应用相关法律法规和标准体系，加强对科技企业、媒体平台等的监管。另一方面，提供深度合成服务的企业要严格落实信息安全管理主体责任，建立健全算法机制审核、科技伦理审查、反电信网络诈骗等管理制度，加强合成内容的审查与管理，对智能对话、合成人声、人脸生成、沉浸式拟真场景等生成内容进行显著标识，避免公众混淆或误认。”

网络安全受关注

AI乱象所带来的网络安全问题引发关注，多家产业链上市公司也在积极回应相关业务布局情况。

“AI行业发展过程中负面事件频发，本质上还是因为AIGC是新生事物，对AIGC的应用场景缺乏必要的监管措施和检测手段。以AI欺诈为例，如果各类应用在识别到传输的内容是AI生成的时候，能够对内容接收者进行充分提醒，那么犯罪分子实施欺诈的难度将大大增加。但目前并没有类似的监管条例，也缺乏足够有效、低成本的检测技术。”启明星辰工作人员告诉《证券日报》记者，公司专注于网络安全领域，在AI安全方面主要聚焦三个场景：一是利用AI技术赋能安全检测和运营业务，例如威胁检测、大数据分析、威胁情报、智能化安全运营等；二是应用AI过程中的数据安全和隐私保护问题，例如多方安全计算、联邦学习等；三是AI模型自身的安全问题，包括AI模型鲁棒性、数据投毒攻击等。

永信至诚工作人员在接受记者采访时表示，针对利用人工智能实施的新型电信诈骗，永信至诚旗下“i春秋”品牌基于多年的网络安全一线经验积累，可面向不同用户场景，通过场景化、高仿真、可视化的互动体验系统提升用户的安全意识水平。以AI换脸诈骗为例，用户可通过“i春秋”的AI换脸体验系统了解AI换脸的原理及存在的安全隐患，从而提高安全意识，减少AI换脸诈骗案件的发生。

信安世纪也十分重视网络安全问题，谈及在这方面的布局情况，信安世纪方面对记者表示：“密码技术在对抗身份仿冒、数据伪造方面具有天然的优势，目前信安世纪正积极将人工智能技术与密码技术融合，以提供更友好、更安全的用户体验。”

方正证券表示，AI将带来网络安全产业逻辑的重大改变。从攻击侧来看，大模型、GPT、生成式AI技术将大幅降低黑客攻击的门槛，显著加剧了整体威胁态势，进而带来各类安全软硬件需求以及政企安全预算的提升；从监管侧来看，在类ChatGPT的生成语言工具得到广泛应用之后，监管侧对于内容的监管和审查将成为重中之重，内容安全、数据安全、流量可视等安全监管侧的需求将得到显著提升。（记者 许林艳）