2024年8月Anthropic被曝用Claude处理超百万本绝版旧书作为AI训练数据

文 | 字母AI

液压切纸机的压板重重落下,刀片干脆利落地削去书脊。原本紧密相连的书页瞬间分离,变成整齐的一沓纸张。

若无任何背景说明,这段视频或许能让人产生一种“引起舒适”的解压感。

但若你得知,这是AI公司批量处理纸质书的场景,其中甚至包含冷门与绝版书籍,恐怕很难再感到轻松。

为获取训练数据,AI巨头们已将触角从公开互联网、盗版电子书,延伸至现实世界的纸质书堆中。特别是**2022**年以前出版的书籍,因未混入AI生成内容,也未受现代数据投毒工具干扰,被视为难得的优质原料。

那些网络上无法检索、缺乏电子版的冷门及绝版书,更能提供互联网爬虫无法触及的信息,堪称“上上品”。

Anthropic曾曝光的“巴拿马计划”,其核心原则便是极力掩盖外界视线。

图书数据库服务商ISBNdb则在公开场合宣称,可为AI公司寻书,单次采购量可达**1000**至**100**万本,货源涵盖旧书店、图书馆及绝版书目,并通过保密协议隐匿买家身份及具体书目。

AI行业对此类操作心知肚明,毕竟这并非光彩之事。

回溯AI公司觊觎纸质书的源头,最早可从Anthropic卷入的一场诉讼中窥见端倪。

**2024**年**8**月,三位作家将Anthropic告上法庭,指控其未经授权,利用自身作品训练Claude模型。

此类争议自OpenAI推出ChatGPT以来便从未停歇,并不新鲜,类似的司法纠纷早已屡见不鲜。

核心争议点在于:AI公司抓取全人类互联网数据训练模型,是否构成侵权?作者作品进入训练集,是否需要获得许可并支付版权费?

因此,在本案初期,纸质书并非焦点。

为了让Claude更聪明、表达更精准,Anthropic首先扫描了公开互联网。鉴于网页内容良莠不齐,经过作者创作、编辑筛选及出版社校对的书籍便进入了视野。

最直接的路径自然是获取电子书。

法庭文件显示,Anthropic曾从Books3、LibGen和PiLiMi等资源库下载超过**700**万本书籍。其中大量源自盗版网站。公司并未在使用后删除,而是将这些文件存入长期保留的“中央图书馆”,供未来模型训练与研究调用。

随后,代号“巴拿马计划”的内部工程启动。简言之,即Anthropic大规模购入纸质书,进行扫描并输入AI系统。

当时,法庭关注重点在于Anthropic获取及使用这些内容的方式是否合法。

**2025**年**6**月,法官威廉·阿尔萨普作出对Anthropic相对有利的裁决。

他认为,大模型读取书籍并非为了向用户复述或出售原文,而是学习语言、知识及表达方式,进而生成新内容。这种用途具备强烈的“转化性”,类似于人读书获取知识后进行创作,属于合理使用范畴。

关于购买来的纸质书,Anthropic已为每一本付费。公司遵循“扫一本、毁一本”的原则,仅保留内部数字副本,未在市面上制造额外流通版本。法官据此认定此举未侵犯版权。

然而,那**700**多万本从盗版库下载的电子书则难以辩解。

法官指出,模型训练可能属合理使用,但这不能反证盗版获取行为的合法性。如何使用书是一回事,书如何到达手中是另一回事。

在美国法律体系中,判例影响深远。该判决为AI公司开辟了一条路径:只要通过合法途径获取作品,即可用于学习人类创作。

因此,在去年Anthropic的官司中,尽管其购买并扫描纸质书的做法已曝光,但公众与法庭的关注点仍集中在“用人类知识训练AI的法律边界”这一老生常谈的话题上。

直至今年,两篇报道接连发布,人们才惊觉问题的严峻性。

绝版纸质书面临永久消失的风险?

今年**1**月,《华盛顿邮报》从刚刚解封的**4000**多页法庭材料中,挖掘出“巴拿马计划”更多细节。

Anthropic在约一年时间内花费数千万美元,购入数百万本纸质书。供应商切除书脊,将散页送入高速扫描仪,剩余纸张交由回收公司处理。仅一份项目方案,就计划在半年内处理**50**万至**200**万本书。

规模已令人咋舌,而Anthropic内部文件的两句表述更为致命:

“巴拿马计划,是我们对全球所有书籍进行破坏性扫描的行动。”

“我们不希望外界知晓我们正在做这件事。”

这两句话结合,让整件事显得极为不堪。

Anthropic一贯强调AI安全、道德与责任,背地里却启动了一项摧毁数百万本书的秘密工程。

切书尚可解释为追求效率的手段,“不希望外界知道”则让人不禁怀疑:Anthropic自身也清楚,一旦公开,此事将无法自圆其说。

Anthropic究竟偷偷销毁了多少书?

《华盛顿邮报》未获完整书目,外界也不清楚其中多少是常见畅销书,多少已停止再版。人们对工业化切书的规模感到震惊,却难以评估其造成的具体损失。

半年后,404 Media的一篇报道将担忧聚焦于绝版书。

报道主角为ISBNdb,一家自称拥有全球最大图书数据库的公司。其在官网向AI客户公开兜售纸质书采购服务,宣称单次可采购**1000**至**100**万本,货源覆盖旧书店、图书馆及绝版目录。

公司将保密作为卖点:每个项目均签署严格保密协议,客户身份、采购策略及目标书目绝不披露。

更具讽刺意味的是,ISBNdb深知这门生意难登大雅之堂。宣传中直接提醒客户:“AI公司毁掉**200**万本书”,绝非能赢得同情的新闻标题。

另一个有趣现象是,AI公司近期格外青睐**2022**年以前出版的纸质书。

原因简单明了:生成式AI爆发后,网络充斥着大量AI生成内容,且有人故意使用数据投毒工具干扰训练。相比之下,**2022**年前出版的纸质书几乎确认为人类写作,经过编辑、校对及出版流程,未被现代投毒工具污染。

AI公司亲手制造了越来越多网络垃圾,最终又回头寻找未被AI污染的旧书。

这股需求已传导至二手书市场。一名专营稀有及低流通量图书的书商告诉404 Media,从今年**4**月起,其每周处理订单从约**20**本猛增至数百本。被购书籍主题杂乱、语种各异,彼此关联甚少,唯一共同点是均有ISBN编号。

该书商虽无法确认买家即为AI公司,但其库存中外文书、冷门书及绝版书不少。

他一方面借此清除了多年滞销库存,另一方面内心不适:“我不喜欢这些书最终的归宿,也不愿看到罕见书籍被打成纸浆。”正如前文所述,AI公司扫描纸质书的流程粗暴,致使生意好转的二手书商亦心生怜悯。

从互联网到盗版电子书,再到可批量购买的纸质书,AI公司拓展训练资源的触角不断延伸。如今,冷门乃至绝版书也难以幸免。

绝版不等于孤本。目前尚无证据表明某本书在世界上的最后一册已被AI公司销毁。

外界看不到采购清单,不知哪些公司在购书,更不知书籍送进切割机前,是否有人核查其存世数量。

但风险显而易见。

极其有限的退让

**2025**年的判例(至少在美国范围内)已给予Anthropic一定的法律保护。

法官认为,Anthropic合法购买纸质书,将其扫描为数字文件,再销毁纸质原件,最终仅保留一份副本。数字文件未对外出售,也未增加市场流通量,相当于格式替换,故可构成合理使用。

依此逻辑,切书甚至成为证明合法的一环。原书若留市,Anthropic手中多出数字版,可能涉及未经授权的复制;销毁纸质书仅留数字文件,法律风险反而更低。

康奈尔科技学院数字与信息法教授James Grimmelmann认为,Anthropic放弃盗版书库,转而购买并扫描纸质书,是一个“聪明的选择”,体现了更为克制、合规的做法。

对于印量达数十万的畅销书而言,销毁纸质书问题尚不尖锐,少一册不影响他人阅读购买。

但冷门书、绝版书及带有特殊历史痕迹的版本,显然不能如此计算。

澳大利亚和新西兰古旧书商协会主席Dawn Albinger指出,古旧书价值不仅在于印刷正文。书页上可能有亲历者批注,签名、题赠及历任收藏者信息可证明其流传经历,重新装订的封皮内甚至可能藏有更早手稿。

这些信息依附于实体书本身。即使文字已完成扫描,原有纸张、装帧及各部分关系一旦被破坏,后人便无法重新检视。

换言之,AI公司获得了一份适合训练的数字文件,却可能摧毁了一件无法通过数字文件完整还原的实物。

争议扩大后,科技行业迅速出现退让。

马斯克在X平台表示,已要求SpaceX AI团队将稀有书籍保存在图书馆,并采用繁琐的无损方式扫描,不得简单切除书脊。他未公布SpaceX AI购书数量,也未界定何为“稀有”,此番回应更像是一种姿态性的站队。

ISBNdb的退让更为迅速。

404 Media报道发布9天后,ISBNdb删除了面向AI公司的纸质书采购页面,撤下有关保密采购及破坏性扫描的宣传。公司随后改口称,相关页面仅为市场需求测试,服务从未真正上线,ISBNdb也从未为AI训练购买、扫描或出售过任何书籍。

此前还在宣传单次采购**100**万本书,遭遇舆论反弹后,整门生意突然变成了“一次测试”。

这番解释能否取信于人另当别论,但它至少表明,匿名协助AI公司大批量采购纸质书,已成为企业不愿承担的声誉风险。

不过,马斯克的一句承诺及ISBNdb删除几个网页,替代不了真正的规则。

谁负责在扫描前判断一本书是否稀有?依据是出版年份、版本及存世量,还是书中的签名、批注及装帧?AI公司是否应公开大规模采购书目?若某书已绝版,是否只能采用无损扫描,并在扫描后交由图书馆保存?

目前,这些问题均无答案。

讽刺的是,ISBNdb此前反复强调,**2022**年以前的纸质书之所以珍贵,正因它们保存了未受AI污染、经作者创作及编辑筛选的人类知识。AI公司越承认这些内容不可替代,就越难解释为何承载它们的实体可被视为一次性耗材。