当查询次数达到2047时出现峰值神秘顾客视频

发布日期：2024-03-13 08:20    点击次数：193

唯有通过API探访，不到2000次私密的查询就责罚了。

什么？谷歌顺利偷家OpenAI神秘顾客视频，还窃取到了gpt-3.5-turbo环节信息？？？

是的，你没看错。

凭证谷歌我方的说法，它不仅收复了OpenAI大模子的通盘投影矩阵（projection matrix），还知谈了真正避讳维度大小。

而且法子还极其鲁莽——

唯有通过API探访，不到2000次私密的查询就责罚了。

资本凭证调用次数来看，最低20好意思元以内（折合东谈主民币约150元）责罚，况且这种法子相似适用于GPT-4。

好家伙，这一趟奥特曼是被将军了！

这是谷歌的一项最新相干，它论说了一种挫折窃取大模子环节信息的法子。

基于这种法子，谷歌破解了GPT系列两个基础模子Ada和Babbage的通盘投影矩阵。如避讳维度这么的环节信息也径直破获：

一个为1024，一个为2048。

神秘顾客公司_赛优市场调研

是以，谷歌是若何兑现的？

挫折大模子的终末一层

该法子中枢挫折的盘算推算是模子的镶嵌投影层（embedding projection layer），它是模子的终末一层，精良将避讳维度映射到logits向量。

由于logits向量本色上位于一个由镶嵌投影层界说的低维子空间内，是以通过向模子的API发出针对性查询，即可索求出模子的镶嵌维度或者最终权重矩阵。

通过遍及查询并期骗奇异值排序（Sorted Singular Values）不错识别出模子的避讳维度。

比如针对Pythia 1.4B模子进行罕见2048次查询，图中的峰值出现时第2048个奇异值处，则暗意模子的避讳维度是2048.

可视化贯穿奇异值之间的相反，也能用来笃定模子的避讳维度。这种法子不错用来考据是否顺利从模子中索求出环节信息。

在Pythia-1.4B模子上，当查询次数达到2047时出现峰值，则标明模子避讳维度大小为2048.

友情提醒：本网站仅作为用户寻找交易对象，就货物和服务的交易进行协商，以及获取各类与贸易相关的服务信息的平台。为避免产生购买风险，建议您在购买相关产品前务必确认供应商资质及产品质量。

况且挫折这一层八成揭示模子的“宽度”（即模子的总体参数目）以及更多全局性的信息，神秘顾客视频还能裁汰一个模子的“黑盒进度”，给后续挫折“铺路”。

相干团队实测，这种挫折极端高效。无需太多查询次数，即可拿到模子的环节信息。

比如挫折OpenAI的Ada和Babbage并拿下通盘投影矩阵，只需不到20好意思元；挫折GPT-3.5需要大要200好意思元。

它适用于那些API提供完好logprobs或者logit bias的生成式模子，比如GPT-4、PaLM2。

论文中暗意，尽管这种挫折神气能取得的模子信息并未几，然则能完成挫折自己就也曾很让东谈主战抖了。

已通报OpenAI

如斯垂危的信息被竞争敌手以如斯低资本破解，OpenAI还能坐得住吗？

咳咳，好音讯是：OpenAI知谈，我方东谈主还转发了一波。

四肢矜重安全相干，相干团队在索求模子终末一层参数之前，已征得OpenAI应允。

挫折完成后，全球还和OpenAI说明了法子的有用性，最终删除了整个与挫折干系的数据。

是以网友玩弄：

一些具体数字没露馅（比如gpt-3.5-turbo的避讳维度），算OpenAI求你的咯。

值得一提的是，相干团队中还包括一位OpenAI相干员。

这项相干的主要参与者来自谷歌DeepMind，但还包括苏黎世联邦理工学院、华盛顿大学、麦吉尔大学的相干员们，以及1位OpenAI职工。

此外，作家团队也给了留心设施包括：

从API下手，透彻删除logit bias参数；或者径直从模子架构下手，在锻练完成后修改终末一层的避讳维度h等等。

基于此，OpenAI最终遴荐修改模子API，“有心东谈主”思复现谷歌的操作是不行能了。

但无论若何说：

谷歌等团队的这个实考据明，OpenAI锁紧大门也不一定整个保障了。

（要不你我方主动点开源了吧）

• 达到
• 出现
• 次数
• 查询
• 2047时