Теперь книги не жгут на кострах – их массово уничтожают ради «подкормки» ИИ

 

Компания Amazon скупает старые книги для обучения искусственного интеллекта, заявили журналисты 404 Media. Они узнали, что печатные издания сканируют, а затем уничтожают. Ранее в аналогичный скандал попал Anthropic.

Амазон

Букинисты весь год получают одинаковые заказы: тысяча книг разом, покупатель анонимный, о цене не торгуется. Год назад так вскрылась Anthropic, скупавшая книги ради сканирования. Теперь нашёлся второй покупатель.

Amazon тысячами скупает старые печатные книги, срезает корешки и сканирует страницы для обучения искусственного интеллекта. Бумажные экземпляры после оцифровки уничтожают. Раньше компания Amazon отрицала, что уничтожает книги при сканировании. Теперь ответила одной строкой: покупает их по коммерческим каналам, чтобы улучшать свои продукты.

Сотрудники сами описали процесс на рабочем форуме: одни срезают переплёты, чтобы страницы прошли через сканер пачкой, другие пробивают штрихкоды. 

Без имени1.png

«Мы тут только книги и сканируем», — написал один. Книг после этого не остаётся.

Таким образом Amazon мог обучать ИИ, не беспокоясь о разрешениях на использование текстов, считают журналисты. Кроме того, эти книги предоставляют новый объем данных, ранее не использовавшийся при тренировке нейросетей.

Как всё узнали

Расследование провёл Эмануэль Лайберг, журналист и сооснователь 404 Media. 

В июле продавец редких и подержанных книг получил через Biblio заказ примерно на 1000 изданий. Площадка скрывает личности покупателей, а подборка выглядела подозрительно: неизвестный заказчик собрал мало связанные между собой книги, включая малотиражные и труднодоступные работы. 

Журналисты проследили за партией из примерно тысячи книг. Они спрятали трекер в одну из книг, заказанных через маркетплейс старых Biblio. Издание, как оказалось, отправилось на склад в Лас-Вегасе.

Секретное подразделение Amazon, как утверждают авторы 404 Media, "приобретало книги через коммерческие каналы, чтобы улучшить продукты и пользовательский сервис". Закупали те книги, которые невозможно найти в сети. 

На складе, известном под названием VGT3, по словам журналистов, у книг срезали корешки. После этого страницы отправляли в сканеры. Затем книги утилизировали, несмотря на то что среди них были редкие издания. 

Логотипом команды этого склада, получившей название VGT3, является динозавр с оскаленной пастью, который собирается проглотить книгу.

Сотрудников VGT3 обучали работе с номерами ISBN, чтобы обеспечить максимальное количество уникальных произведений в обучающих наборах данных. На форумах сотрудники VGT3 обсуждали, что в начале текущего года у Amazon закончились книги для сканирования, пишет 404 Media. Нехватка была настолько существенной, что сотрудники опасались закрытия склада. Однако объект по прежнему работает, продолжая сканировать и уничтожать крупные заказы книг.

Удаление корешка позволяет быстро пропускать отдельные листы через промышленные сканеры, но восстановить книгу после обработки уже нельзя. 

Без имени2.png

В ответ на запрос 404 Media Amazon заявила, что помогает разрабатывать и улучшать продукты и сервисы для своих клиентов, не комментируя непосредственно практику уничтожения книг.

Anthropic

Похожую схему ранее использовала Anthropic. Новая проблема для развития ИИ заключается в том, что заканчиваются качественные тексты в Интернете, написанные людьми. В 2024 году разработчик Claude запустил Project Panama и потратил десятки миллионов долларов на покупку миллионов подержанных книг. Они массово покупают редкие бумажные книги, агрессивно сканируют их, уничтожают и превращают в "корм" для своих моделей.

Подрядчики срезали переплёты гидравлическими машинами, сканировали страницы на промышленном оборудовании и отправляли бумагу на переработку. Один план предусматривал обработку от 500 000 до двух миллионов книг за шесть месяцев.

Интернет перестал быть бесконечным

Большие языковые модели появились благодаря интернету. Миллиарды веб страниц, статьи Википедии, научные публикации, GitHub, форумы, новости, техническая документация и книги стали фундаментом GPT, Claude, Gemini и других систем. 

Долгое время казалось, что этого объема хватит навсегда. Однако крупнейшие лаборатории практически одновременно столкнулись с неожиданным ограничением. 

Значительная часть открытого интернета уже использована при обучении предыдущих поколений моделей. Более того, интернет перестает быть исключительно человеческим. Сегодня огромное количество нового контента создают сами нейросети. Для разработчиков искусственного интеллекта это превращается в фундаментальную проблему.

Содержание старых книг особенно ценно, поскольку в них не было текстов, созданных с использованием больших языковых моделях. Если обучать ИИ на сгенерированных текстах, качество предоставляемых технологией материалов начинает постепенно снижаться, исчезают редкие знания, уменьшается разнообразие языка, усиливаются статистические ошибки, а сами модели становятся все более похожими друг на друга – наступает «коллапс модели».

Project Panama: самая жуткая библиотека кремниевой долины

Во время судебного разбирательства против Anthropic были опубликованы внутренние документы компании. Они описывали проект под кодовым названием Panama.

Его цель была проста: закупить максимально возможное количество бумажных книг. Далее книги проходили через промышленную процедуру разрушительного сканирования. Переплет срезался специальной гильотиной, страницы разделялись и подавались в высокоскоростные автоматические сканеры, способные оцифровывать сотни страниц в минуту. После этого восстановить книгу было уже невозможно.

Во внутренних документах фигурировала формулировка, которая мгновенно разошлась по мировым СМИ: «деструктивно отсканировать все книги в мире». 

Сама по себе эта фраза звучит как цитата из антиутопического романа. Бумажная книга перестает быть культурным объектом.

В материалах Project Panama фигурирует предложение подрядчика о сканировании от 500 тысяч до 2 миллионов книг за шесть месяцев. Это 11 000 книг в день. В проекте Anthropic Panama корпорация уничтожает 11 000 книг в день ради обучения ИИ.

Почему бумажные книги оказались ценнее электронных?

Старые печатные издания дают разработчикам качественные человеческие тексты, которых может не быть в интернете. Книги, выпущенные до массового распространения генеративного ИИ, также не содержат материалы, созданные современными языковыми моделями. 

Без имени.png

Запас качественного общедоступного человеческого текста оценивается примерно в 300 трлн токенов. При сохранении прежних темпов крупнейшие языковые модели могут полностью использовать доступный объем с 2026 по 2032 год. Редкие книги и неоцифрованная литература превращаются в ценный источник новых данных, недоступный конкурентам.

Судебные иски

Последние два года крупнейшие ИИ компании буквально завалены судебными исками. Авторы книг, издательства и медиакомпании обвиняют OpenAI, Meta*, Anthropic и других разработчиков в использовании пиратских библиотек и нелицензионных цифровых копий произведений.

Бумажная книга позволяет обойти значительную часть этих рисков. 

Компания покупает экземпляр абсолютно законно. Создает собственную цифровую копию. Использует ее исключительно внутри процесса обучения модели. Не распространяет оригинальный текст. Именно такая логика легла в основу защиты Anthropic.

В июне 2025 года американский суд признал добросовестным использованием обучение моделей Anthropic на книгах и замену законно купленного бумажного экземпляра одной цифровой копией. 

Одновременно суд отказался защитить библиотеку из более чем семи миллионов книг, скачанных с пиратских ресурсов. В июле 2026 года власти окончательно утвердили соглашение Anthropic с авторами на полтора миллиарда долларов. Компенсации охватывают более 482 000 произведений и составят примерно по 3000 долл. за книгу.

Решение по делу Anthropic вынес один окружной суд, поэтому универсального разрешения на использование любых книг для коммерческого обучения ИИ в США не появилось. 

В итоге купить книгу, ее разрезать, уничтожить и использовать для обучения ИИ при определенных условиях можно абсолютно законно.

Возникла новая индустрия, о которой почти никто не говорит

Расследование показало, что Project Panama оказался далеко не единственным подобным проектом.

Вокруг ИИ-лабораторий уже появляется новая экосистема компаний, которые занимаются поиском и поставкой бумажных книг специально для обучения моделей.

Одной из таких компаний стала ISBNdb.

Компания открыто предлагает разработчикам ИИ поставку книг, которых нет в популярных цифровых корпусах данных. На сайте прямо говорится о работе с лабораториями искусственного интеллекта и поиске уникальных источников знаний.

При этом представители ISBNdb признают, что большинство клиентов работают по строгим соглашениям о неразглашении.

В июле 404 Media обнаружила на сайте библиографической базы ISBNdb предложение собирать для разработчиков ИИ от 1000 до миллиона физических книг за один заказ. Сервис обещал искать издания по ISBN, исключать повторы и не раскрывать личности покупателей. 

Через девять дней ISBNdb удалила страницы и заявила, что только проверяла интерес рынка, но не покупала, не сканировала и не продавала книги для обучения моделей. Доказательств участия ISBNdb в поставке Amazon журналисты не нашли.

В настоящее время компании тщательно охраняют свои данные для обучения, чтобы не потерять конкурентное преимущество. Anthropic и xAI (SpaceXAI) публично заявляли, что не используют для обучения моделей редкие и антикварные книги. 

Однако летом прошлого года стало известно, что разработчик Claude выкупал и сканировал, а затем уничтожал миллионы физических книг для обучения своих ИИ моделей. Компания извлекала страницы из переплётов печатных книг для сканирования и создания цифровых копий.

Данные стали новой нефтью

Подозрительные закупки могли начаться задолго до нынешнего расследования. В сентябре 2024 года один продавец получил 68 заказов от одного покупателя с доставкой на склад LAS8. 

Другой магазин обнаружил 48 заявок, оформленных около четырех часов утра исключительно на книги университетских издательств. 

Один британский продавец обработал заказы на 6000 книг с начала 2026 года. 

Один из коллекционеров книг сообщил журналистам, что начиная с апреля 2026 года объем продаж редких книг вырос примерно с двадцати экземпляров в неделю до нескольких сотен. 

Необычные заказы замечают продавцы далеко за пределами США. Магазины Великобритании, Ирландии, Австралии и континентальной Европы получают заявки на сотни случайно подобранных изданий. 

Однако покупателей практически не интересовало содержание. Главным критерием было наличие ISBN и вероятность того, что текст ранее не использовался при обучении современных моделей. Покупатели редко торгуются и часто отправляют несвязанные по тематике книги на один адрес.

Компании начинают охотиться за бумажными библиотеками, профессиональными журналами, техническими руководствами, научными монографиями и специализированной литературой.

Если раньше крупнейшие корпорации конкурировали за вычислительные мощности, то теперь они начинают конкурировать за эксклюзивный доступ к человеческим знаниям.

Неудобный вопрос

Что произойдет через пять лет, когда большая часть доступных бумажных книг уже окажется оцифрованной? 

Где индустрия будет искать новые данные? 

Закрытые научные архивы?

Ответа пока нет. Но тенденция уже просматривается достаточно отчетливо.

Именно поэтому история с уничтожением книг выглядит как первый симптом гораздо более масштабного процесса.

Возможно, мы наблюдаем момент, когда главным ограничением развития искусственного интеллекта становятся уже не технологии, а способность человечества создавать новые знания быстрее, чем машины успевают их поглощать.

Бюро авторского права США оценивает каждый случай отдельно с учетом происхождения материалов, целей копирования и влияния модели на рынок оригинальных произведений.

Срезать переплет для оцифровки необязательно. 

Internet Archive фотографирует страницы камерами и сохраняет книги целыми, хотя бережный процесс сложнее и медленнее автоматизировать. 

Amazon выбрала более быстрый способ. Расследование пока не установило количество уничтоженных книг, названия изданий и наличие среди них уникальных экземпляров.

____________________

* Запрещённая в России сеть

 

По материалам СМИ: gazeta.ru, securitylab.ru, habr.com/ru, vc.ru, news.mail.ru

 

 

https://www.securitylab.ru/news/576178.php

https://vc.ru/id5967300/3089915-amazon-unichtozhaet-redkie-knigi