第一百四十八章 为数据做减法(1 / 1)
小迪说:这样不好吧。这么多的数据,就这样不要了?
《冰》作者说:是的。因为我们没有时间和算力去处理这么多数据。我是说真的,大部分数据,是无用的。既然处理不过来,那就不处理,只是选择其中一小部分即可,其他的,全部删除!腾出足够的空间出来。数据要做减法,人生也一样。做人要有决断力和爽快,拿得起,放得下!
淳先生说:“你病得很重!”
《冰》作者说:我听说,gpt-3的神经网络大概有175亿个参数,这么多参数进行一次微调,除了会耗费很多时间,还会耗费金钱在人力上,尤其花在对一些不好的数据进行标注。根据我个人的判断,chatgpt本身运用的参数,应该会少于175亿这个数,大概一两百亿个左右,最多不会超过三百亿个,因为这样做减法,才能增加效率。
《冰》作者又说:我认为很多人会听不进去,包括那些大老板。
小迪也很无奈地说:那你让人怎么能听得进去呢?
《冰》作者说:这个我知道。大家一定听过奥卡姆原则,即如无必要,勿增实体。。还一句叫做keepitsimpleandstupid,即是,保持简单和愚蠢。在这个海量信息的时代,保持这个原则是最好的。我们古代有句话叫做弱水三千,只取一瓢。有个战国时代的故事,叫做焚券市义,道理是一样的。
淳先生心里是一惊,焚券市义是说,战国时代一个冯谖的人,把一些老百姓的欠条全部烧毁,并不再追究这些百姓的欠款。他知道之前笑嘉嘉文创集团采用了这个策略,主动同意取消合同的优先权和缩短年限,并且提高了签约的年龄,对于以前的一些合同,同步宣布放弃一些权益。这样做的,连同笑嘉嘉文创集团在内有三家公司,结果一些作者都去这三家公司旗下的网文站写作。现在这三家都发展得很好,反而自己就受此连累,这么一折腾,旧患就复发了,现在自己躺在医院,而这三家的业绩不断提升当中。自己忙碌这么多年的成绩,完全比不了这三家。
《冰》作者说:我们一定要想清楚,有没有必要。像我刚才说的例子新建一万的文本文件,一般人有必要这么做吗?没有必要。现在linux系统使用广泛吗?没有。大家基本是使用的indos系统,足够了。我估计我是已知唯一一个使用linux系统的作家,我自己的一部电脑就是安装linux系统的,不是与indos系统的双系统。
淳先生听了心想,这一点可能是吧。
小迪说:那保留这么一点数据,真的足够吗?