Написали со студентами смешную статью с оценкой объема использования ChatGPT для написания научных статей, используя инструментарий избыточной смертности
( Read more... )
We hope that future work will meticulously delve into tracking LLM usage more accurately and assess which policy changes are crucial to tackle the intricate challenges posed by the rise of LLMs in scientific publishing. - ааааааааа!
Дико интересно, на самом деле. В том числе, где же рынок "реально настраиваемых под тебя" LLM, а не вот это вот всё (стиль общения русскоязычных неиллюзорно бесит, с английскими подозреваю то же самое).
Утром в куплете, вечером в газете! Рад, что интересно. У Экономиста блестящий отдел, который работает с данными, я оттуда знаю (по переписке) нескольких журналистов.
Читать из статьи в статью что-то вроде "By meticulously delving into the intricate web..." (а мне ведь такое еще и в студенческих отчетах читать и т.д.) быстро надоедает, но это не самая большая проблема.
Основная проблема, как мне кажется, в том, что если авторы используют ChatGPT, чтобы сгенерировать абстракт, так они, наверное, Introduction/Discussion или там Related Work тоже таким образуют генерируют. И тут уже никто не застрахован от того, что LLM выдаст какую-нибудь убедительно звучащую белиберду с неверными цитатами, и все это окажется опубликовано.
Плюс есть опасность гомогенизации текстов, когда, условно говоря, все обзоры лит-ры начинают выглядеть одинаково и состоять из ссылок, которые ChatGPT по каким-то причинам предпочитает упоминать.
//авторы используют ChatGPT, чтобы сгенерировать абстракт// это ни на чем не основанное предположение. максимум, что можно сказать -- авторы используют ИИ для полировки языка.
Было бы интересно сделать обратную вещь: взять сотню абстрактов, участие ИИ в написании которых известно априори, прогнать через ваш алгоритм и посмотреть эффективность распознавания ИИ.
Comments 10
We hope that future work will meticulously delve into tracking LLM usage more accurately and assess which policy changes are crucial to tackle the intricate challenges posed by the rise of LLMs in scientific publishing. - ааааааааа!
Дико интересно, на самом деле. В том числе, где же рынок "реально настраиваемых под тебя" LLM, а не вот это вот всё (стиль общения русскоязычных неиллюзорно бесит, с английскими подозреваю то же самое).
Reply
Ну у людей на слова тоже мода бывает. Я за последний год столько раз слово holistic слышал...
Reply
Интересно и очень наглядно. Я узнал об этой Вашей статье из описания "Экономиста", и только потом из ЖЖ. Поздравляю!
Reply
Утром в куплете, вечером в газете! Рад, что интересно. У Экономиста блестящий отдел, который работает с данными, я оттуда знаю (по переписке) нескольких журналистов.
Reply
А можно здесь вкратце - чем это плохо?
Тридацать лет назад я работал в компании (биотех) в которой были профессиональные писатели - с дипломами по English lit-у.
Чем плох хорошо написанный абстракт?
Или возражение - против плохих текстов написанных искином?
Так это будет улучшаться (но не сильно)
Reply
Хорошо написанный абстракт - это замечательно.
Читать из статьи в статью что-то вроде "By meticulously delving into the intricate web..." (а мне ведь такое еще и в студенческих отчетах читать и т.д.) быстро надоедает, но это не самая большая проблема.
Основная проблема, как мне кажется, в том, что если авторы используют ChatGPT, чтобы сгенерировать абстракт, так они, наверное, Introduction/Discussion или там Related Work тоже таким образуют генерируют. И тут уже никто не застрахован от того, что LLM выдаст какую-нибудь убедительно звучащую белиберду с неверными цитатами, и все это окажется опубликовано.
Плюс есть опасность гомогенизации текстов, когда, условно говоря, все обзоры лит-ры начинают выглядеть одинаково и состоять из ссылок, которые ChatGPT по каким-то причинам предпочитает упоминать.
Reply
Все остальное - детали.
Если ревью - формальное поверхностное - значит надо рассматривать так называемые peer reviewed journals как arxiv.
Reply
это ни на чем не основанное предположение.
максимум, что можно сказать -- авторы используют ИИ для полировки языка.
Reply
Reply
Метод описанный в статье не берется утверждать какие из абстрактов принадлежат ИИ. Принцип другой.
Reply
Leave a comment