电商| 物流| 科技| 创业| 经商| 运营| 科普| 财经| 文娱| AI| 物联| 品牌| 会议| 政策| 时尚| 健康| 家居| 金融| 农业| 汽车| 房产| 百科| 生活| 游戏| 管理| 快讯
 
首页 » 资讯 » 科技 » AI专家警告:GPT-3令人赞叹,但缺乏透明度

AI专家警告:GPT-3令人赞叹,但缺乏透明度

放大字体  缩小字体 时间:2020-09-18 19:20    热度:300
让算法像人一样写作,是人工智能研究实验室OpenAI多年来一直追寻的梦想。其最新研究成果是语言生成算法模型GPT-3,现已被用于生。。。

 

让算法像人一样写作,是人工智能研究实验室OpenAI多年来一直追寻的梦想。其最新研究成果是语言生成算法模型GPT-3,现已被用于生成让人难以分辨的伪文章,其所写博客骗过了黑客新闻(Hacker News)的发布者,甚至成为网站热门文章。

那个帖子是这样的:“要想把事情做好,也许我们根本不需要想太多。这似乎有悖常理,但我相信有时想得多了反而会阻碍我们的创造力。”

OpenAI之所以可以实现如此高效的算法,是因为它能够访问巨额计算量和数据,且此算法本身的容量远大于已有的所有算法:最大版本的GPT-3有1750亿个参数,这种方程式能帮算法做出更精准预测。GPT-2只有15亿个参数。

虽然OpenAI曾公布过它的算法,但这次它选择让GPT-3保持神秘。该公司表示,对大多数操作者来说,GPT-3实在是太大了,对其收费,就能让OpenAI从中获利。

在过去的一年里,OpenAI变革公司结构,使其更能吸引投资者。它放弃了“限制利润”模式的非盈利定位,这样如果OpenAI获利,投资者就能获得回报。它还与微软达成了10亿美元的合作协议,开启了两家公司之间的合作,该协议还允许OpenAI优先访问微软的云计算平台。

研究人员说,他们对OpenAI不公布算法表示质疑,称这违背了基本科学原则,且对该公司声明的核实变得愈发困难。

Facebook人工智能研究(FAIR)的联合董事暨Facebook蒙特利尔人工智能研究实验室负责人乔埃尔?皮诺(Joelle Pineau)在一封电子邮件中说到:“我对目前为止对诸如GPT-2/GPT-3和AlphaGo这类代码不共享的所有争论持怀疑态度。在人工智能领域,有很多类似情况。”

GPT-3的核心是个非常强大的英语写作工具。GPT-3最重要的是它的规模,它通过分析45万亿字节的数据学会了写作。报道称这个训练过程在云计算上花费了数百万美元,它见证了人类数以亿计的书写组合。

这是OpenAI长期战略的关键部分。多年来,该公司一直表示,深度学习算法的规模越大越好。数据越多,计算能力越强,算法的能力就越强。OpenAI就是因为具备同时在数百个GPU上训练算法的能力,才在《刀塔2》中击败了职业电子竞技玩家。

OpenAI的领导曾表示,OpenAI的政策主管杰克·克拉克(Jack Clark)认为算法越大,则“越有条理,越有创造力,也越可靠”。在谈到《刀塔2》机器人需要的训练量时,首席技术官格雷格·布罗克曼表示:“等运气耗尽,我们期待一场棋逢对手的比赛。”

GPT-3采用了类似方法。OpenAI认为,算法更大意味着参数更多,就能进行更普遍的操作。例如,GPT-3最基本的功能是自动补全,给它一个词或句子,它就会逐字逐句地生成它认为接下来该出现的词句。不必对算法进行任何修改,它也能回答问题,甚至进行翻译。这与只能处理一项任务的专项微调算法不同。

有人认为,这向人工智能的圣杯——通用智能迈出了一步,它意味着算法可以像人类一样学习和适应;而另一些人则表示,算法仍不能真正理解它生成的话语。

OpenAI发布了一篇详细的研究报告,解释了该算法的架构和它所取得的结果,而当涉及到GPT-3的功能研究时,其他人工智能研究人员只能选择相信OpenAI。这家研究公司最近不再以非盈利为定位,开始筹集资金开发商业产品,它不再像过去一样公布算法。

2019年2月,OpenAI宣称,前一最大版本GPT-2算法有可能生成错误信息或虚假新闻,太过危险不便发布,这一声明引来了很多质疑。公司先行发布了简易版的GPT-2,并未发现滥用迹象,才最终发布了最大版本算法。现在,与其说GPT-3太危险,不如说它似乎太有利可图而不能发行。

GPT-3只能通过OpenAI运行的API访问,这与亚马逊、谷歌和微软等公司的算法变现方式相类似。开发者可以编写程序向GPT-3发送特定指令,GPT-3在OpenAI的云端中生成响应并回传结果。虽然API在内测期间免费,但OpenAI正在考虑长期定价。这意味着研究人员只能向算法发送特定命令,而OpenAI可以随时取消访问权限。

OpenAI将这种做法归结于对安全和规模的考虑。如果该公司发现有人滥用API做了诸如支持假新闻网站的事情,那么它可以取消该开发者的访问权限。

该公司还表示,这些算法规模庞大,运行成本高昂,更别提开始训练后的花销。“这使得任何除大公司以外的使用者都很难从底层技术中获益。我们希望API能让小型企业和组织更容易地使用强劲的人工智能系统。”

由于云计算的计价方式,OpenAI训练和操作算法的确切成本很难核算。租赁GPU的成本根据特定服务器区域的地理邻近程度,以及基于项目规模的协议费率等因素的不同,差别很大。由于OpenAI为完成任务将其中部分资金用于建造自己的超级计算机,它可能从与微软的10亿美元合作中受益。

但是这些限制,即规模和缺乏透明度,使得其他科学家很难复制和验证该算法的有效性。

尽管涉及风险投资和企业利益,人工智能仍然是研究计算机科学的一个途径,且这种科学方法仍然适用。最好的科学实验,比如建立一个算法来成功完成一项任务并证明一个假设,是可以复制的。

皮诺是可复制计算机科学的热心支持者,她认为像GPT-3和AlphaGo这样尚未公布的算法是“科学文物”。她在电子邮件中说到:“这有点像挖出的恐龙骨头,它为你提供了支持某些理论的证据,但与实际进行实验是不一样的。”皮诺表示,这些“文物”有助于提出未来的研究假设,但它们仍然不能替代确凿的知识。

很多人担心,通过限制对代码和受训算法的访问,人工智能的“民主化”,即任何人都可使用人工智能,会受OpenAI威胁。“使用人工智能”这一用语是多层面的,意思是使用计算能力、数据集以及算法本身。诸如谷歌的TensorFlow和脸书的PyTorch这类开源框架使得算法易于构建和共享,还存在其他很多开源数据集。

然而,计算能力来自硬件,是一种有限的物理资源,大公司和像OpenAI这样资金充足的研究机构更容易获得该资源。

如果OpenAI的实验被证明是人工智能的发展方向,同时算法的扩大转化为性能的提高,那么消费不起先进人工智能的人就无法使用它了。这还会允许拥有资源的大公司制定规则,决定谁有权使用某些人工智能算法。例如,他们可以利用API进行设置,并对访问和使用算法进行收费。

乔治亚理工学院(Georgia Institute of Technology)研究自然语言处理的人工智能教授马克·瑞德尔(Mark Riedl)表示:“如果确信实现更好人工智能的方法实际上是实现更大规模,那么谁能拥有更优人工智能就由OpenAI决定了。”

瑞德尔对OpenAI是否会监视其新API的所有使用情况,以确定是否被用于恶意目的表示质疑,OpenAI曾花了大量精力来思考它的算法会如何被滥用。“OpenAI是否会查看输出,以判断他们的技术是否得到恰当使用?鉴于其宗旨,以及这与他们新盈利模式相冲突,这似乎很关键。他们能做到大规模监控吗?”

并非所有人都认同OpenAI“越大越好”的方法是人工智能的发展方向。例如,自然语言处理研究人员梅拉妮·米歇尔(Melanie Mitchell)就对GPT-3进行了“模仿”测试,要求算法识别特定字母序列的变化模式。如果“abc”变为“abd”,那么“efg”会变成什么?

上世纪80年代,米歇尔开发了一种算法来解决这类人类一直以来所进行类比的微型模拟测试。要正确地进行类比,必须理解所有组件之间的关系。在字母表的例子中,算法必须了解字母表的顺序和每个字母的位置。虽然该算法在众多测试中表现良好,但米歇尔发现,它也无法掌握其他算法数十年前已掌握的一些简单概念。

米歇尔说:“在研究方面,我个人认为,在一个问题上投入过多的计算和参数可能会把人工智能逼进死胡同。如果我们的目标是制造强大、具有普遍智能的机器,我认为这无法取得真正的进展。”

她承认,在制造需要深度学习的人工智能产品时,庞大的计算能力让科技巨头获得优势,但反之并不是所有现代问题都需要高能耗的深度学习算法,不是解决每个问题都需要达到GTP-3的规模。

米切尔在测试该算法时写道:“GPT-3的性能令人惊叹,但它也和当今最先进的人工智能系统中的很多情况类似:似乎很智能的性能中夹杂着一些非人类错误,而且我们搞不清楚它表现好或犯错误的原因。”

 

关于AI专家警告:GPT-3令人赞叹,但缺乏透明度的要点介绍,希望对大家了解AI专家警告:GPT-3令人赞叹,但缺乏透明度有所帮助,如有侵权,联系我们37442552@qq.com。
 
你可能感兴趣:
 
芬兰政府指责微软对诺基亚始乱终弃 承诺一个都

2016-05-28

本周早些时候,微软宣称它将会裁减1850个工作岗位,其中有1350个工作位于芬兰。人们认为微软裁员之举预示着该公司新手机开发工作的终结。据外电报道,芬兰政…

三星最新发布的C5酷似iPhone 6 售价只有后者一半
三星最新发布的C5酷似iPhone 6 售价只有后者一

2016-05-28 三星 C5

三星最新发布的C5酷似iPhone 6 售价只有后者一半;三星周四在中国市场发布的最新款智能手机C5酷似苹果iPhone 6和6S。

苹果下架腾讯全系产品只是虚惊一场 淘宝、京东

2016-05-29 苹果 腾讯 APP

苹果下架腾讯全系产品只是虚惊一场 淘宝、京东等APP也未能幸免;苹果下架腾讯全系产品,搜索出现大面积瘫痪,淘宝、京东等APP也未能幸免。据了解,腾讯也曾因…

华为为何要在此时向三星发起专利战?背后的原因究竟是什么?
华为为何要在此时向三星发起专利战?背后的原因

2016-05-29 华为 三星 专利

华为为何要在此时向三星发起专利战?背后的原因究竟是什么?作为中国企业的华为,其在专利,尤其是与通信相关的专利的申请和积累在全球均名列前茅。而华为之…

2016中国互联网大会时间地点主题 互联网大会有何亮点?
2016中国互联网大会时间地点主题 互联网大会有

2016-06-02 2016 中国 互联网 大会

 由中国互联网协会主办的2016(第十五届)中国互联网大会将于6月21-23日在北京国际会议中心举行。本届大会主题为“繁荣网络经济 建设网络强国”。

Facebook周四下架了突发新闻通知应用Notify
Facebook周四下架了突发新闻通知应用Notify

2016-06-04 Facebook Notify

Facebook周四下架了突发新闻通知应用Notify;Facebook发言人在发给科技博客The Verge的声明中表示,Notify采用的技术将集成到Messenger中,所以内容发布商可…

阿里回应被SEC问询 马云:那并不代表公司有问题

2016-06-04

近期,阿里巴巴接受美国证券交易委员会问询,16年来日本软银集团首度出售手中阿里股份,阿里股价震荡,相关消息持续引发关注。2

iphone7上市时间确定 国行或5288元起售

2016-06-04

根据国外网站PC-Tablet的报导称,苹果仍将下一代iPhone的发布时刻定在今年9月份,至于详细日期则为美国当地时刻9月9日或9月16日

印度最大手机厂商明年来华抢市场 有戏吗?

2016-06-04

Micromax联合创始人维卡斯贾因(VikasJain)当天在香港举办的一场科技大会上表明,公司的目标是在2020年前变成按销量核算的全球第

索尼Xperia X系列终于要来了6月8日携手周杰伦发

2016-06-04

索尼的手机一直以来都是以拍照以及颜值闻名的,在今年的MWC2016大会上,索尼曾经发布了一款Xperia X系列产品中的Xperia XPerform

 
热点图文
三星最新发布的C5酷似iPhone 6 售价只有后者一半

三星最新发布的C5酷似iPhone 6 售价只有后者一半

华为为何要在此时向三星发起专利战?背后的原因究竟是什么?

华为为何要在此时向三星发起专利战?背后的原因究竟是什么?

2016中国互联网大会时间地点主题 互联网大会有何亮点?

2016中国互联网大会时间地点主题 互联网大会有何亮点?

Facebook周四下架了突发新闻通知应用Notify

Facebook周四下架了突发新闻通知应用Notify

戴尔确认出售软件业务:4年净赔16亿美元

戴尔确认出售软件业务:4年净赔16亿美元

沉迷于成人VR的日本年轻人  年轻男女都拒绝恋爱(图)

沉迷于成人VR的日本年轻人 年轻男女都拒绝恋爱(图)

今日头条母公司字节跳动科创板上市成功几率多大?

今日头条母公司字节跳动科创板上市成功几率多大?

余承东回应:华为开发自有系统 以防美国科技巨头不授权现有系统

余承东回应:华为开发自有系统 以防美国科技巨头不授权现有系统

 
经商宝 — 经商创业营销推广电子商务门户 网站地图 | 关于我们 | 特惠服务 | 人才招聘 | 联系我们 | 法律声明