Meta 宣布推出基于大语言模型的新 AI 工具,专门识别看似无害实则将用户导向非法儿童性虐待材料(CSAM)的“路标式”广告。2026 年上半年,其系统自动拦截了 3320 万条违规内容,97% 以上在用户举报前被检出。此外,WhatsApp 同步上线针对青少年账户的家长控制功能,允许限制频道使用及群组添加权限。
内容审核
Content Moderation
对平台上的用户生成内容进行审查以符合社区准则的过程
收录情报动态
OpenAI 近期封禁了一批疑似源自中国的账户,这些账户利用 AI 批量生成关于美国科技政策、关税及贸易限制的评论与漫画。此举揭示了生成式 AI 在政治舆论操纵中的潜在风险,以及平台方对滥用行为的最新治理动作。
OpenAI 公开其针对暴力威胁、大规模枪击等极端场景的安全治理机制,重点阐述模型如何区分虚构/历史讨论与真实危害意图。公司强调在隐私保护与执法协作间寻求平衡,并引入心理学家及法律专家优化风险识别流程。
OpenAI 推出基于提示词的青少年安全政策,供开发者在 gpt-oss-safeguard 模型中使用。该方案旨在通过标准化 Prompt 工程手段,帮助 AI 系统自动识别并缓解针对未成年人的特定风险。
Google 推出 Gemini 3.1 Flash-Lite 预览版,专为大规模高频工作负载设计。该模型定价为每百万输入 token 0.25 美元、输出 1.50 美元,宣称在成本效率与速度上优于前代 2.5 Flash,适用于翻译、内容审核及 UI 生成等场景。
OpenAI 封禁了一个与中方执法人员相关的账户,该账户被指控利用 AI 规划影响力行动、骚扰及网络作战。此举凸显了生成式 AI 在恶意社会工程与信息战中的潜在滥用风险。
OpenAI 封禁了与俄罗斯“Stop News”影响力行动相关的账户,该组织利用 AI 生成针对非洲和英国的虚假宣传内容。此举揭示了生成式 AI 在跨国信息操纵中的滥用风险及平台治理的必要性。
OpenAI 近期封禁了多个使用其模型进行恶意软件开发、调试及钓鱼攻击的韩语账户。此举旨在遏制利用大语言模型辅助网络犯罪的工作流,包括凭证窃取等高危行为。
OpenAI 宣布在推出 Sora 2 视频模型及社交应用时,将安全性作为核心基础。官方强调已构建具体保护措施以应对前沿视频生成带来的新型社会风险。目前公开信息主要聚焦于治理理念与原则声明,尚未披露具体的技术实现细节或量化指标。
OpenAI 公布针对儿童性剥削与虐待(CSAM/CSEM)的预防、检测及阻断策略,明确禁止利用其模型生成此类非法内容。该声明涵盖从部署前保护到生产环境监控的全流程,并公开支持纽约州相关立法以确立负责任报告的法律保护框架。