Advantages and Limitations of Large Language Models in Chemistry Education: A Comparative Analysis of ChatGPT, Gemini And Copilot
Вантажиться...
Дата
2024
Назва журналу
Номер ISSN
Назва тому
Видавець
CEUR Workshop Proceedings
Анотація
Це дослідження має на меті дослідити потенціал та обмеження моделей великих мов програмування (LLM), таких як ChatGPT, Gemini та Copilot, у контексті хімічної освіти. Основною метою дослідження є порівняння ефективності LLM у вирішенні хімічних завдань та визначення ключових проблем, пов'язаних з їх впровадженням в освіту. Ці LLM були відібрані на основі опитування студентів, яке показало їх широке використання завдяки їх безкоштовній доступності. Щоб оцінити потенціал LLM у хімічній освіті, ми використовували їх для вирішення завдань, що відповідають різним рівням знань у різних підгалузях хімії.
Було проведено порівняльну оцінку ефективності LLM з показниками пересічних українських студентів.
Результати показують, що хоча LLM є перспективними переважно в завданнях, що не вимагають глибоких логічних міркувань, вони загалом поступаються студентам. Ключові проблеми використання LLM у хімічній освіті включають
розуміння нюансів хімії як складної та багатогранної науки, абстрактних понять, що використовуються в
хімії, розпізнавання формул хімічних сполук, рівнянь хімічних реакцій, обмежень у логічному
міркуванні, мовних бар'єрів та виникнення галюцинацій штучного інтелекту. Крім того, існує потреба в тому, щоб студенти
розвивали навички створення ефективних запитів та підказок для підвищення ефективності роботи з LLM. Хоча
LLM є перспективними, їх впровадження вимагає усунення виявлених обмежень.
Опис
Ключові слова
штучний інтелект, хімічна освіта
Бібліографічний опис
Kharchenko, Y. V. Advantages And limitations of large language models in chemistry education: A comparative analysis of ChatGPT, Gemini and Copilot [Text] / Y. V. Kharchenko, O. M. Babenko // CEUR Workshop Proceedings. – 2024. – Vol. 3781. – P. 42–59.