Нейросеть придумала источники: как проверить

Нейросеть пишет список литературы так же уверенно, как всё остальное: фамилия, инициалы, издательство, год, число страниц. Выглядит безупречно. Беда в том, что книги с таким названием может не существовать вовсе. Если вы столкнулись с этим, значит, нейросеть придумала источники, и до сдачи курсовой их нужно проверить по одному.

Ниже порядок проверки, который занимает минут десять на источник и не требует ничего, кроме браузера. Общие правила отбора литературы собраны в гайде об источниках и списке литературы курсовой, а здесь только про подозрительные записи после ИИ.

Почему нейросеть выдумывает источники

Языковая модель не хранит библиотеку и не ходит в каталог. Она продолжает текст так, как он обычно продолжается. Просьба «дай список литературы по теме» для неё то же самое, что просьба написать правдоподобный список. Правдоподобный и существующий — разные вещи, а проверять второе модель не умеет.

Что показали измерения

В 2023 году Уолтерс и Уайлдер решили не гадать. Они заказали у ChatGPT 84 коротких обзора литературы по 42 темам, по два на тему, от GPT-3.5 и GPT-4, и вручную проверили все 636 ссылок. С GPT-3.5 вышло скверно: 55% ссылок оказались выдумкой. GPT-4 справился лучше, 18%. Лучше, но не хорошо. Среди настоящих записей тоже хватало брака: серьёзные ошибки нашлись у 43% и у 24% соответственно.

Цифры датированы 2023 годом. С тех пор модели менялись, а замеров по русскоязычным темам мы не нашли. Вывод для студента от этого не страдает: «реже» не значит «никогда». И ещё одно. Выдуманную книгу можно просто не найти, а неверный год у настоящей статьи заметен только при сверке. Вторая беда коварнее.

Как это выглядит в курсовой

Придуманная запись редко бывает нелепой. Возьмём пример, который мы сочинили для иллюстрации: «Петров С. А. Цифровая трансформация малого бизнеса. М.: Экономика, 2021. 288 с.». Фамилия обычная, издательство существует, год свежий. Любой преподаватель, который не станет искать эту книгу, согласится. Поэтому искать придётся вам.

Пять видов ошибок в списке от нейросети

Слово «выдумала» скрывает несколько разных случаев. От вида зависит, где именно искать подвох и что делать с записью.

Таблица 1 — Что может быть не так с записью

Последний случай самый коварный. Проверка «есть ли такая запись» его пропустит, а вот преподаватель, открывший статью по вашей ссылке, заметит сразу.

Как проверить источники: шесть шагов

Делайте по порядку, на каждую запись отдельно. Если на каком-то шаге источник нашёлся и совпал, дальше можно не идти до шага про содержание.

1. Поищите название целиком, в кавычках, в Google Scholar и в Яндексе.
2. Для статьи с DOI проверьте DOI.
3. Для книги найдите ISBN и издание в каталоге библиотеки.
4. Сверьте с карточкой год, журнал, номер, страницы.
5. Откройте источник и найдите то, на что вы ссылаетесь.
6. Не нашлось — замените запись, а не «поправьте» её.

Шаг 1. Поиск по названию в кавычках

Скопируйте название и поставьте его в кавычки: тогда поисковик ищет фразу целиком, а не отдельные слова. Справка Google Scholar советует ровно это: название статьи в кавычках, а автора можно указать оператором author. Если по точному названию находятся только сайты с таким же списком литературы, это почти наверняка след нейросети или чужой рефератной свалки.

Покажем на нашем придуманном «Петрове». Мы отправили его название, фамилию и год в поиск Crossref. Вернулись три статьи, и одна из них называется «Цифровая трансформация малого бизнеса: возможности, перспективы и препятствия», журнал Creative Economy. Авторы там Мызрова, Панько, Овчинникова и Брюхачев, Петрова среди них нет. Картина типичная: название живое, а автор и выходные данные приклеены чужие. Для книги этого мало, нужен ещё каталог, но тревожный сигнал уже получен.

Зарубежные работы ищите и в оригинале. Название по-русски могло оказаться вольным переводом нейросети.

Шаг 2. DOI статьи

DOI — постоянный номер статьи, вида 10.1038/s41598-023-41032-5. Если нейросеть дала номер, проверьте его первым: это самая быстрая проверка.

Проверка DOI руками

Допустим, нейросеть привела статью с номером. Дальше три движения. Дописываем номер к адресу doi.org/. Смотрим, куда он ведёт. Сравниваем название на странице с записью. Статья должна открыться, а выдуманный номер выдаст ошибку. Тот же вопрос задаёт Crossref: после api.crossref.org/works/ ставят номер и получают карточку с названием, авторами и годом. Аккаунт для этого не нужен.

Мы пробовали 1 октября 2026 года. Номер статьи Уолтерса и Уайлдера дал карточку из Scientific Reports за 2023 год. Придуманный нами 10.1038/zzz-no-such-doi-999 дал «404» и в Crossref, и на doi.org.

Подвох в другом: живой номер может вести на чужую статью. Поэтому читайте название на открывшейся странице.

Шаг 3. Книги: ISBN и каталог

С книгами хуже. DOI у них не водится, остаётся ISBN. Международное агентство ISBN пишет, что с 2007 года в нём всегда 13 цифр, и последняя проверочная. Формула простая, случайный набор цифр её обычно не проходит. Но пройти формулу и существовать — разные вещи.

Если ISBN указан, вбейте его в каталог: номер ищется точнее, чем название. Каталоги такие: библиотека вашего вуза, Российская государственная библиотека, Российская книжная палата. Автор, город и год в карточке должны совпасть с записью. Не совпали, и книги, скорее всего, нет в природе.

Шаги 4–6. Сверка, чтение, замена

Дальше работа руками, и довольно скучная. Кладёте свою запись рядом с карточкой и идёте по строкам: фамилии, название, год, журнал, том, номер, страницы. Именно здесь ловятся те самые «настоящие, но с ошибкой» ссылки. Нейросеть вполне могла бы написать про статью Уолтерса и Уайлдера «том 12, страницы 140–145», а в карточке том 13 и номер статьи 14045. Автор верный, название верное, а запись врёт.

Потом то, чем обычно пренебрегают: открыть источник и найти в нём место, на которое вы ссылаетесь. Мы сделали так с цифрой 55% из первого раздела. Открыли аннотацию статьи Уолтерса и Уайлдера и нашли там ровно это утверждение про ссылки GPT-3.5. Если полный текст закрыт подпиской, смотрите аннотацию и выводы, их обычно видно. Бывает, что нужной цифры в источнике нет или она относится к другому, и тогда пропадает тезис, а с ним абзац, который на нём стоял. Совсем пусто, берите другой источник.

И отдельно про замену. Не чините запись, которая не прошла проверку: подправленный год превращает выдумку в хорошо замаскированную выдумку. Нашли настоящий источник, запишите его заново по карточке. Не нашли, вычёркивайте.

Где проверять: инструменты по задачам

Одной базы мало, каждая знает свой кусок. Для русских работ идите сперва в российские, для зарубежных в мировые. Обычно хватает двух-трёх.

Таблица 2 — Базы и сервисы для проверки

Поиск по описанию в Crossref

Номера нет совсем? У Crossref есть поиск по описанию, параметр query.bibliographic, куда название и фамилия автора кладутся одной строкой. Настоящее название статьи Уолтерса и Уайлдера мы так и проверили, она вышла первой. Потом сочинили русское название с вымышленной фамилией, и Crossref всё равно ответил, только статьёй про приоритеты внешней торговли. Пустым этот поиск почти не бывает. Поэтому первым делом сравните название в ответе со своим, слово в слово.

Русская статья без DOI

Российские журналы DOI получают далеко не всегда. Тогда идём к самому выпуску: на eLIBRARY.ru или на сайте издателя находим год, номер и оглавление. Статья из списка должна там быть, и на тех же страницах, что указаны у вас. В записи 45–52, а по оглавлению фамилия автора стоит на странице 112? Запись переписываем по оглавлению. Нет фамилии во всём номере, значит, статьи в этом журнале не было.

Законы, ГОСТы и сайты

Номер статьи закона, дату его принятия, цифры в обозначении ГОСТа нейросеть путает не реже, чем фамилии. Сверять их стоит с текстом самого документа на официальном портале правовой информации или в справочной системе, если вуз дал к ней доступ. Сайты проверяются быстрее всего: открыли адрес и сразу видно. Страница не открывается? Значит, и преподаватель её не откроет, в списке ей не место. А к живым сайтам допишите дату обращения, она нужна в описании электронного ресурса.

Что делать с найденным мусором

Из десяти записей шесть нашлись, четыре нет. Что дальше? Шесть оставляем. Четыре вычёркиваем без жалости, даже если одна нужна для красивого тезиса. Просить нейросеть «поправить список» бесполезно: придут ещё десять записей, и каждая будет выглядеть как настоящая.

Работает обратный порядок. Сначала вы сами находите статьи: открываете КиберЛенинку или eLIBRARY, вбиваете слова из названия главы, берёте три-четыре свежие работы и читаете аннотации. Только после этого их можно отдать нейросети с просьбой изложить идею попроще. Ссылки в такой главе стоят на то, что вы видели своими глазами.

Если ошибка нашлась в уже написанной главе, не забудьте проверить и места, где на эту запись ссылаются. Вместе с записью мог уйти и тезис. Общая схема работы с ИИ над курсовой разобрана в гайде о курсовой с помощью нейросети, а после проверки источников стоит пройти ещё и проверку на антиплагиат.

Как просить нейросеть, чтобы она не придумывала

Запросом выдумки до нуля не убрать. Зато их становится заметно меньше, если немного поменять сами просьбы.

• Вместо «дай список литературы по теме» попросите пересказать идею или набросать план главы. Сочинять ссылки там просто незачем.
• Работайте со своими источниками. Вставьте в чат абзац из статьи, которую нашли сами, и допишите: опирайся только на этот текст.
• Оставьте модели право сказать «не знаю». Хватает одной строчки в запросе: «если не уверена, так и напиши».
• Цифра без ссылки на источник в работу не идёт, даже если похожа на ту, что вы где-то уже видели.

Удобный приём: пусть нейросеть возвращает не готовые записи, а ключевые слова и фамилии, по которым вы сами найдёте работы в базе. Фамилию можно проверить за минуту, а выдуманное название без проверки уже не защитить.

Где помогает Erudia

Сервис помогает с каркасом: по теме собирает план и черновик глав, которые вы дальше правите. Источники там не главное, их подбираете вы, и именно к ним относится проверка из этой статьи. Начать можно с нейросети для курсовой: получите разделы, под которые удобно искать литературу. Для большой работы порядок тот же, поэтому загляните в нейросеть для диплома. Если задание короткое, хватит реферата с нейросетью.

Erudia не сдаёт работу за вас. Каждый источник в списке проверьте сами по базе или каталогу, а требования к списку литературы уточните в методичке кафедры.

Источники

1. Walters W. H., Wilder E. I. Fabrication and errors in the bibliographic citations generated by ChatGPT // Scientific Reports. 2023. Vol. 13. Art. 14045.
2. Crossref. REST API: документация по поиску метаданных.
3. International ISBN Agency. What is an ISBN?
4. Google Scholar. Search Tips.
5. КиберЛенинка. О научной библиотеке открытого доступа.

Частые вопросы