Компания Amazon скупает старые книги для обучения искусственного интеллекта, заявили журналисты 404 Media. Они узнали, что печатные издания сканируют, а затем уничтожают.
Расследователи проследили за партией из примерно тысячи книг. Они спрятали трекер в одну из книг, заказанных через маркетплейс старых Biblio. Издание, как оказалось, отправилось на склад в Лас-Вегасе.
На складе, известном под названием VGT3, по словам журналистов, у книг срезали корешки. После этого страницы отправляли в сканеры. Затем книги утилизировали, несмотря на то, что среди них были редкие издания.
Секретное подразделение Amazon, как утверждают авторы 404 Media, "приобретало книги через коммерческие каналы, чтобы улучшить продукты и пользовательский сервис". Закупали те книги, которые невозможно найти в сети.
Таким образом Amazon мог обучать ИИ, не беспокоясь о разрешениях на использование текстов, считают журналисты. Кроме того, эти книги предоставляют новый объем данных, ранее не использовавшийся при тренировке нейросетей.
Содержание старых книг особенно ценно, поскольку в них не было текстов, созданных с использованием больших языковых моделях. Если обучать ИИ на сгенерированных текстах, может случиться «коллапс модели» — качество предоставляемых технологией материалов в этом случае не улучшится, а ухудшится.
«Литрес» назвал самые популярные книги о Великой Отечественной войне
