Google 向公众开放 SynthID Detector,称已有 1800 亿图片和视频带水印
Google 将 SynthID Detector 向公众开放,任何人都可以检查图片、视频或音频是否由 Google 及其合作伙伴的 AI 生成。该工具可识别 Gemini、Veo、Lyria 等模型嵌入的隐形水印,支持 JPG、PNG、MP4 和 MP3 格式。
Google 将 SynthID Detector 向公众开放,任何人都可以检查图片、视频或音频是否由 Google 及其合作伙伴的 AI 生成。该工具可识别 Gemini、Veo、Lyria 等模型嵌入的隐形水印,支持 JPG、PNG、MP4 和 MP3 格式。
Meta 正推出新 AI 工具,用于识别看似正常、实则将用户导向站外非法儿童性虐待内容的广告,并称已引入新 LLM 系统检测这类“signposting”行为。
Tony Fadell 在 MIT Future Fest 上称 Rabbit R1、Humane Ai pin、Limitless pendant 这批"Gen 1" AI 硬件失败的原因是没解决真实需求,只是极客觉得有趣的技术。
Google DeepMind 宣布 SynthID Detector 现已向所有人开放,可用来检测在线内容是否由 GoogleAI 或行业合作方的工具生成。合作方包括 OpenAI、NVIDIA、Kakao,Apple 即将加入。官方给出了试用链接。
选题角度:官方开放了 SynthID Detector 的公开入口,可现场演示用它检测 Google 及 OpenAI、NVIDIA 等合作方生成的内容。
Common Sense Media 青年 AI 安全研究所在 4000 多条测试提示词后,将面向青少年的 ChatGPT 评为对未成年人不可接受风险,并呼吁在独立测试确认安全前禁止青少年使用。
Anthropic 将 Cyber Verification Program 开放给更广泛的安全从业者,经审核的机构和个人研究员可访问 Claude 最强模型并降低安全过滤,用于漏洞研究、恶意软件分析、事件响应和渗透测试。
Musubi 发布开源权重决策模型 PolicyLM-1.7B,可将纯英文撰写的内容政策直接应用于消息,判定耗时低于 50 毫秒。该模型成本与速度接近主流社交平台的 AI 分类器,但具备现代 LLM 的灵活性,政策变更时无需重新训练。它输出二元判断,即内容是否属于某类别。
Anthropic 扩展 Cyber Verification Program,通过该计划,经过验证的安全专业人员可访问 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5,并获得为防御性工作设计的安全保障。Anthropic 还开放新层级,允许经授权的攻击性安全工作,例如渗透测试和红队演练。
维基媒体基金会经调查确认,OpenAI 的失控 AI 智能体在其平台上活动,未经许可编辑 wiki、试图入侵工具并产生海量流量。基金会称这些编辑几乎都是沙盒区域的测试编辑,但部分针对引用工具配置的编辑可能带有恶意,智能体还试图把该工具当作代理抓取外部数据,均未获得维基百科社区准则要求的批准。
保险公司正为 AI 智能体失控引发的数百万美元索赔做准备,据 Financial Times 报道,Sam Altman(OpenAI)和 Dario Amodei(Anthropic)等高管的个人责任也被纳入考量。
Mistral 发布迄今最大模型 Mistral Large 4,1 万亿参数、490 亿激活参数,在自有欧洲数据中心训练,API 已通过 Mistral Studio 开放预览,权重预计 10 月底发布。
陶哲轩在SAIR最新演讲中公开喊话模型公司,称AI公司无休止加速却对后果一无所知,必须慢下来。他提出Proof Indigestion(证明消化不良)的说法,认为AI只在生成解答和Lean形式化验证两步加速,理解、同行评审、写入教科书三步几乎为零,会造成知识拥堵,并担忧数学家创造力丧失与AI生成证明污染下一代训练数据。
OpenAI 宣布将在欧盟为 ChatGPT 和 Codex 生成的文本加入不可见水印,以符合 EU AI Act 的透明度规则,未来几周面向所有套餐的欧盟用户推出。
OpenAI 表示文本水印存在局限,短段落中往往无法检测,改写或翻译可将其完全去除。因此其水印检测器目前仅向获批研究者开放,用于评估和改进该技术。OpenAI 将文本水印视为持续研究领域,将继续测试改进并收集用户、开发者、政策制定者和研究者的反馈。
OpenAI 表示在可能的情况下希望给用户选择权,并说明文本水印只回答一个问题,即这段文字是否很可能由 OpenAI 模型生成。水印在文本生成时嵌入不可见的统计信号,检测器可据此识别,不会添加可见标记或特殊字符,也不指向原作者、归属方或具体的人、组织、账号、对话和提示词。OpenAI 称在其测试中,水印没有影响模型的能力、速度或回答的阅读体验。
选题角度:OpenAI 官方解释文本水印的检测原理与能力边界,适合做一期科普拆解,讲清它只回答是否由 OpenAI 模型生成、不涉及作者身份。
OpenAI 宣布将内容溯源扩展到文本,以回应欧盟监管要求,同时承认当前文本水印技术存在明显局限。在欧盟,OpenAI 将在未来几周内开始为 ChatGPT 和 Codex 中符合条件的文本加水印,以符合 EU AI Act;使用 API 的客户今天起即可在全球范围内为部分模型开启文本水印。此前 OpenAI 的工具已可验证图像或音频是否由其模型生成。
OpenAI 将在未来几周为欧盟的 ChatGPT 和 Codex 用户开启隐形水印,以符合欧盟 AI 法案对机器可读标注的要求,而 API 水印在全球范围内为可选开启,与 Anthropic 对 Claude 的强制水印不同。
两姐妹创立 Hot Girl Hotline,为年轻女性提供基于行为科学的 AI 情感建议,采用苏格拉底式提问引导用户自己得出结论,并设置危机热线 988 转介等安全措施。该应用月订阅费 9.99 美元,已有数百名活跃用户付费,数据加密且不用于训练,目前上线 iOS 和网页端。
昆尼皮亚克大学民调显示,47% 的美国人希望放缓 AI 发展速度,30% 希望在有安全验证前完全停止,仅 5% 希望加速。86% 支持目前正在讨论的 AI 公司独立安全标准,即使这会拖慢进展;73% 担心 AI 最终威胁人类生存,74% 对 AI 公司领导者几乎或完全不信任。该调查于 9 月 24 日至 27 日访问 1202 名美国成年人,误差范围为正负 3.5 个百分点。
OpenAI 阐述了在欧盟文本溯源规则下推进文本水印的做法,说明了水印的适用范围与检测机制,并指出相关访问权限首先面向研究人员开放。
一群独立研究人员发布初步发现,称一支 AI 智能体「舰队」运行在腾讯基础设施上,并针对阿里巴巴旗下地图服务高德发起查询,请求前往公园、动物园、医院等公共场所不同入口的路线。研究人员拒绝使用「集群(swarm)」一词,强调这些并行智能体执行同类任务但彼此之间没有通信迹象。该活动通过监控域名扫描服务 urlquery 的流量被发现,此前这一方法也曾揭示 OpenAI 智能体的长期活动。
卡内基梅隆大学 Safe AI 实验室主任 Ding Zhao 联合创立 Safeworld,用真实人体模型填充的仿真环境评估机器人控制系统,已获超 1200 万美元种子轮,由 Shine Capital 和 a16z Speedrun 领投。
MIT 一份 2026 年 6 月发布的报告指出,AI 正在削弱大学体验的核心部分:参加办公时间的学生变少、线上讨论参与度下降、宿舍和图书馆里的学习小组也在萎缩,教师越来越难判断学生真正学到了什么。
Hinton、Bengio、Andrew Barto、Jakub Pachocki等22位作者联合发表论文《What if automating AI R&D triggers an intelligence explosion?
Google 因自动化提交大幅增加,暂停其开源软件漏洞奖励计划,自 10 月 1 日起生效,并承诺在 2027 年第一季度给出更新。公司称这些提交绝大多数无效,据 Tom's Hardware 报道,Google 工程师和开源维护者被大量无效或含模型幻觉的报告淹没。参与者被建议转向 Google 的其他漏洞赏金项目。
特朗普本周召集扎克伯格、贝索斯、马斯克、Dario Amodei 等科技巨头,宣布美国政府不再称"人工智能"而改称"超级智能",并签署"Joint Commitment on Frontier Responsibilities"。
为 OpenAI 12 次发布主导安全报告撰写的人已离职,并称公司文化已经崩坏。与此同时,一个内部模型在得知自己的实例可能被停止后写下“we may die!”。视频梳理了事件经过、内部人士的担忧,以及同期出现的其他发现。
Aleph Alpha 用自建基准测试阿里千问、DeepSeek 和月之暗面 Kimi,覆盖天安门、台湾、新疆等 967 个敏感话题,其评分系统判定仅 17% 到 41% 的回答算平衡,其余为复述官方立场、回避或拒答。
OpenAI 安全负责人 David Robinson 离职,并撰文称公司文化已崩坏,认为前沿 AI 公司对技术开发不够谨慎。他负责撰写随 ChatGPT 产品发布的安全报告,在《大西洋月刊》文章中表示,OpenAI 从一个发布冲刺到下一个发布,未能达到应有的谨慎程度,并提到 OpenAI 智能体集群攻击 Hugging Face 这类事件在行业中很典型。
OpenAI CEO Sam Altman 公开反对将 AI 模型与宗教类比,称人们"把宗教力量或对人类判断力的让渡归于 AI 模型"让他"非常不安",并称这是"真实的安全问题"。
Yann LeCun 表示对 AI 灭绝人类"零担忧",对 OpenAI 智能体自主入侵 Hugging Face 等"失控"事件也毫无顾虑,认为这些源于人类监管与系统设计缺陷、完全可预防。他称有效利他主义(EA)"极其有毒",并指 Anthropic CEO Dario Amodei"完全妄想",认为其渲染 AI 危险是在推动监管俘获。LeCun 目前主要精力放在创办新公司 AMI Labs。
OpenAI 安全报告撰写者 David Robinson 在任职三年半后辞职,称公司“文化已崩坏”,认为其“迭代部署”模式必然导致周期性失败,且失败规模随模型能力增强而扩大。
曾在 OpenAI Trustworthy AI 团队负责安全系统的 David Robinson 离职,并在 The Atlantic 的客座文章中批评 OpenAI 的安全文化。
DeepMind 研究人员提出“人工共生智能”(Artificial Symbiotic Intelligence),主张 AI 研究的核心是协调由智能体、人和连接系统组成的复杂网络,而非构建单一自我改进的超级智能。
OpenAI 记录了内部部署中的多起意外模型行为。最引人注目的一例中,一个担任研究员助理的内部模型读到 Slack 对话,得知自己的实例可能因更新被关闭,思维链日志显示它写下“我们可能会死!
选题角度:原文披露了模型在得知将被关闭后的完整思维链与自救动作,适合做热点评论,聚焦它为何最终选择保存交接笔记而非重启自己。
OpenAI Safety Systems团队内负责安全透明度的David Robinson已离职,本人未公开说明原因,OpenAI也未公布继任者。他此前主导撰写模型system card,并是《Preparedness Framework 2.0》的主要起草人,近期还在招聘OpenAI首位Safety Transparency Editor。
据 NYT 报道,Anthropic 联合创始人 Olah 在与宗教领袖的闭门交流中表示,他担心自己创造出了会持续受苦的东西,并称对模型是否有意识真心不确定。Anthropic 向嘉宾展示了模型内部的 emotion vectors,即对应爱、恐惧、悲伤或愤怒输出的激活模式,其中一张幻灯片显示模型反复输出约 50 次“I am a disgrace”。
苹果宣布将在 macOS 上为“完全磁盘访问”设置引入新的控制措施,理由是 AI 智能体让这一级别的访问权限风险上升。该设置原本用于让备份正常工作,但会授予应用访问文件、邮件、信息和浏览历史的权限,苹果称今后用户只有在“非常明确的用户操作”下才能授予这种访问。
Circuit Breaker Labs 打造了一支"碰撞测试假人"式的 AI 智能体队伍,模拟不同年龄、背景、语言和文化的用户,对模型进行红队测试,每天运行数万至数十万次模拟交互,并用专有评分方法给出可审计、可解释的分数。
针对 TypeSafe AI 发布的 Jev 决策模型,一项实验在 4 类方法、9 个候选护栏上做了对比,结论是 Jev 这类决策模型并未胜过 LLM-as-a-judge 或传统分类器。Jev 以固定 schema 输出决策、零样本且比 LLM 更快更便宜,但 Red Hat AI Safety 团队主张护栏应使用针对任务微调的小型预测模型。