- 上云资讯 -
2025-06-15 08:28:10 3人关注
Repello AI 成功融资 120 万美元，推动生成式 AI 安全防护创新
Repello AI 是一家专注于生成式 AI 安全的初创公司，近日成功筹集了122.5万美元的种子轮融资，以进一步推动其保护生成式 AI 系统免受新兴威胁的使命。该公司成立于2024年，致力于构建持续的 AI 红队测试和安全防护解决方案，旗下拥有 ARTEMIS 和 Repello Guard 两大旗舰产品。
2025-06-03 16:44:44 39人关注
Meta 公司将90% 的风险评估交给 AI，安全隐患引发担忧
近日，Meta 公司（Facebook、Instagram、WhatsApp 及 Threads 的母公司）宣布将其内部的安全和隐私审查工作转向人工智能，计划让高达90% 的风险评估自动化。根据《国家公共广播电台》(NPR)获得的内部文件，以往由专门团队负责评估更新对用户隐私的影响、对未成年人的伤害，或者对错误信息传播的影响，现在这些责任将主要转移给 AI 技术。
2025-05-15 08:14:31 30人关注
美国人工智能安全研究所面临大规模裁员危机
据多家媒体报道，美国国家标准与技术研究所（NIST）计划裁减多达500名员工，这一决定进一步威胁到刚刚起步的美国人工智能安全研究所(AISI)。Axios 的报道称，AISI 和 “美国芯片计划” 将面临针对试用期员工的 “重大” 裁员，这些员工通常是在职一至两年的新员工。Bloomberg 则表示，部分员工已经收到了即将被解雇的口头通知。
2025-05-14 10:26:42 19人关注
告别AI“幻觉”？Vectara推出守护代理，声称能精准“纠错”
人工智能（AI）在企业中的应用日益广泛，但其固有的“幻觉”风险——即生成不真实或无根据的信息——一直是阻碍大规模部署的关键挑战。尽管行业内涌现了众多旨在减少幻觉的技术和方法，如检索增强生成(RAG)、数据质量提升、护栏机制以及推理验证等，但效果往往有限。近日，一家名为Vectara的公司推出了一种全新的解决方案:“Vectara 幻觉矫正器”，旨在通过监护代理自动识别、解释和纠正AI产生的幻觉，为企业级AI应用带来新的希望。
2025-05-05 10:35:32 51人关注
CrowdStrike推出Charlotte AI升级，提升安全运营效率
近期，网络安全公司 CrowdStrike 推出了一系列新功能，旨在通过人工智能技术提升安全运营中心的效率。新推出的 Charlotte AI 系统，结合了智能自动化和专业的网络安全知识，加速了检测和响应的速度。
2025-04-29 10:13:39 63人关注
OpenAI 修复漏洞：未成年人竟可生成色情内容
近期，OpenAI 的聊天机器人 ChatGPT 被发现存在一个严重漏洞，使得注册为未成年用户的账户能够生成图形化的色情内容。有媒体进行了测试并证实了这一问题，OpenAI 也对此表示认可。
2025-04-28 16:34:16 36人关注
AI助力网络安全，从被动反应到主动防御的新时代
在当今数字化时代，网络安全正经历一场前所未有的变革。传统的网络安全防护方法通常是反应式的，依赖于手动监测和静态警报，而如今，人工智能（AI）的应用正在推动网络安全进入一个主动防御的新阶段。
2025-04-25 16:23:21 34人关注
到2027年，生成式 AI 将导致超 40% 的数据泄露
根据 Gartner 最近的分析，到2027年，超过40% 的人工智能相关数据泄露将源于生成式人工智能（GenAI）的误用。随着 GenAI 技术的迅速普及，企业和组织在数据治理与安全措施的制定上面临着严峻挑战。尤其是在数据本地化的背景下，这一问题显得尤为突出，因为这些技术对集中计算能力的需求很高。
2025-04-08 16:33:43 95人关注
谷歌推全新AI安全模型Sec-Gemini v1，秒级洞悉网络攻击根源
谷歌在其官方安全博客上宣布推出一项令人瞩目的创新——Sec-Gemini v1，这是一款全新的实验性人工智能模型，专注于推动网络安全AI领域的发展。此举标志着谷歌在利用AI技术应对日益严峻的网络威胁方面迈出了重要一步。
2025-04-01 16:33:30 47人关注
Anthropic强化AI模型安全措施，确保技术负责任扩展
最近，人工智能公司 Anthropic 发布了其 “负责任扩展” 政策的最新更新，明确了哪些模型需要额外的安全保护。这一举措旨在确保在推出新技术前，能够有效防范可能的风险。
2025-04-01 12:38:16 54人关注
Anthropic安全防护面临挑战，AI模型通用越狱测试揭示突破口
在短短六天内，参与者成功绕过了Anthropic人工智能（AI）模型Claude3.5的所有安全防护措施，这一突破为AI安全防护领域带来了新的讨论。前OpenAI对齐团队成员、现就职于Anthropic的Jan Leike在X平台宣布，一名参与者成功攻破了所有八个安全级别。这项集体努力涉及了约3，700小时的测试和来自参与者的300，000条消息。
2025-03-31 10:24:32 36人关注
投资人警告阿尔特曼：OpenAI 内部安全危机加剧
近日，有关 OpenAI 内部紧张局势的报道浮出水面，投资人彼得・蒂尔在2023年11月阿尔特曼被解雇前夕，曾对阿尔特曼提出警告，关注 AI 安全倡导者与公司商业方向之间的冲突。
2025-03-30 16:38:37 50人关注
优刻得与 360 集团携手共推 AI 安全生态系统
近日，云计算和人工智能领域的先锋企业优刻得宣布与互联网安全巨头360集团达成战略合作。此次合作聚焦于优刻得的 DeepSeek 一体机与360的 AI 安全产品，旨在共同推动国产大模型的安全应用与创新。