delving into chatgpt usage in academic writing

Jul 11, 2024 15:15

Написали со студентами смешную статью с оценкой объема использования ChatGPT для написания научных статей, используя инструментарий избыточной смертности ( Read more... )

Leave a comment

Comments 10

vsparrow July 11 2024, 13:54:41 UTC

We hope that future work will meticulously delve into tracking LLM usage more accurately and assess which policy changes are crucial to tackle the intricate challenges posed by the rise of LLMs in scientific publishing. - ааааааааа!

Дико интересно, на самом деле. В том числе, где же рынок "реально настраиваемых под тебя" LLM, а не вот это вот всё (стиль общения русскоязычных неиллюзорно бесит, с английскими подозреваю то же самое).

Reply


vashu11 July 11 2024, 14:06:19 UTC

Ну у людей на слова тоже мода бывает. Я за последний год столько раз слово holistic слышал...

Reply


i_eron July 11 2024, 14:26:24 UTC

Интересно и очень наглядно. Я узнал об этой Вашей статье из описания "Экономиста", и только потом из ЖЖ. Поздравляю!

Reply

kobak July 12 2024, 13:12:07 UTC

Утром в куплете, вечером в газете! Рад, что интересно. У Экономиста блестящий отдел, который работает с данными, я оттуда знаю (по переписке) нескольких журналистов.

Reply


urease July 12 2024, 00:19:22 UTC

А можно здесь вкратце - чем это плохо?

Тридацать лет назад я работал в компании (биотех) в которой были профессиональные писатели - с дипломами по English lit-у.

Чем плох хорошо написанный абстракт?

Или возражение - против плохих текстов написанных искином?

Так это будет улучшаться (но не сильно)

Reply

kobak July 12 2024, 13:25:22 UTC

Хорошо написанный абстракт - это замечательно.

Читать из статьи в статью что-то вроде "By meticulously delving into the intricate web..." (а мне ведь такое еще и в студенческих отчетах читать и т.д.) быстро надоедает, но это не самая большая проблема.

Основная проблема, как мне кажется, в том, что если авторы используют ChatGPT, чтобы сгенерировать абстракт, так они, наверное, Introduction/Discussion или там Related Work тоже таким образуют генерируют. И тут уже никто не застрахован от того, что LLM выдаст какую-нибудь убедительно звучащую белиберду с неверными цитатами, и все это окажется опубликовано.

Плюс есть опасность гомогенизации текстов, когда, условно говоря, все обзоры лит-ры начинают выглядеть одинаково и состоять из ссылок, которые ChatGPT по каким-то причинам предпочитает упоминать.

Reply

urease July 12 2024, 13:49:20 UTC
Все упирается в ревью. Все проблемы научных публикаций это проблемы независимого аудита.

Все остальное - детали.

Если ревью - формальное поверхностное - значит надо рассматривать так называемые peer reviewed journals как arxiv.

Reply

oude_rus July 12 2024, 14:53:57 UTC
//авторы используют ChatGPT, чтобы сгенерировать абстракт//
это ни на чем не основанное предположение.
максимум, что можно сказать -- авторы используют ИИ для полировки языка.

Reply


oude_rus July 12 2024, 13:04:27 UTC
Было бы интересно сделать обратную вещь: взять сотню абстрактов, участие ИИ в написании которых известно априори, прогнать через ваш алгоритм и посмотреть эффективность распознавания ИИ.

Reply

3eta July 14 2024, 04:02:14 UTC

Метод описанный в статье не берется утверждать какие из абстрактов принадлежат ИИ. Принцип другой.

Reply


Leave a comment

Up