Как Amazon использует редкие книги для тренировки своих ИИ

Amazon активно закупает редкие книги, удаляет их переплеты и сканирует для обучения искусственного интеллекта, что стало известно благодаря расследованию 404 Media.

Согласно информации от 404 Media, Amazon организует закупку редких книг, которые затем разбираются для получения текстовых данных. В частности, в ходе независимого расследования был установлен трекер на редкую книгу, которая в конечном итоге оказалась в одном из складов Amazon в Лас-Вегасе, известном под кодовым названием VGT3.

Представители Amazon прокомментировали ситуацию, заявив, что компания "покупает книги через коммерческие каналы для улучшения продуктов и услуг, которые используют клиенты". Для крупных компаний, таких как Amazon, необходимо огромное количество текстов для обучения языковых моделей. Большая часть доступного контента уже была собрана из интернета, и поиск уникального материала становится все более актуальным.

Редкие книги, особенно те, что больше не издаются или трудно найти онлайн, становятся ценным ресурсом для обучения ИИ. Такие тексты особенно важны, так как гарантированно не содержат материалов, созданных искусственным интеллектом до 2022 года. Использование текстов, сгенерированных ИИ, может привести к снижению качества выходных данных модели, что является серьезной проблемой для разработчиков.