Advantages and Limitations of Large Language Models in Chemistry Education: A Comparative Analysis of ChatGPT, Gemini And Copilot

Скорочена інформація про документ
dc.contributor.authorKharchenko Yuliia Volodymyrivna
dc.contributor.authorBabenko Olena Mykhailivna
dc.contributor.authorХарченко Юлія Володимирівна
dc.contributor.authorБабенко Олена Михайлівна
dc.date.accessioned2025-11-26T08:20:12Z
dc.date.available2025-11-26T08:20:12Z
dc.date.issued2024
dc.description.abstractThis study aims to explore the potential and limitations of large language models (LLMs) such as ChatGPT, Gemini, and Copilot, in the context of chemistry education. The primary objective of the study is to compare the effectiveness of LLMs in solving chemistry tasks and to identify the key challenges associated with their implementation in education. These LLMs were selected based on a survey of students which indicated their widespread use due to their free accessibility. To evaluate the potential of LLMs in chemistry education, we employed them to solve tasks corresponding to different levels of knowledge in different subfields of chemistry. A comparative evaluation of LLMs' performance against that of average Ukrainian students was conducted. The results indicate that while LLMs show promise mainly in tasks not demanding deep logical reasoning, they are generally inferior to students. Key challenges in using LLMs in chemistry education identified include understanding the nuances of chemistry as a complex and multifaceted science, abstract concepts used in chemistry, recognition of chemical compound formulas, chemical reaction equations, limitations in logical reasoning, language barriers, and the occurrence of AI hallucinations. Additionally, there is a need for students to develop skills in crafting effective queries and prompts to enhance the efficiency of working with LLM. While LLMs are promising, their implementation requires addressing the identified limitations.
dc.description.abstractЦе дослідження має на меті дослідити потенціал та обмеження моделей великих мов програмування (LLM), таких як ChatGPT, Gemini та Copilot, у контексті хімічної освіти. Основною метою дослідження є порівняння ефективності LLM у вирішенні хімічних завдань та визначення ключових проблем, пов'язаних з їх впровадженням в освіту. Ці LLM були відібрані на основі опитування студентів, яке показало їх широке використання завдяки їх безкоштовній доступності. Щоб оцінити потенціал LLM у хімічній освіті, ми використовували їх для вирішення завдань, що відповідають різним рівням знань у різних підгалузях хімії. Було проведено порівняльну оцінку ефективності LLM з показниками пересічних українських студентів. Результати показують, що хоча LLM є перспективними переважно в завданнях, що не вимагають глибоких логічних міркувань, вони загалом поступаються студентам. Ключові проблеми використання LLM у хімічній освіті включають розуміння нюансів хімії як складної та багатогранної науки, абстрактних понять, що використовуються в хімії, розпізнавання формул хімічних сполук, рівнянь хімічних реакцій, обмежень у логічному міркуванні, мовних бар'єрів та виникнення галюцинацій штучного інтелекту. Крім того, існує потреба в тому, щоб студенти розвивали навички створення ефективних запитів та підказок для підвищення ефективності роботи з LLM. Хоча LLM є перспективними, їх впровадження вимагає усунення виявлених обмежень.
dc.identifier.citationKharchenko, Y. V. Advantages And limitations of large language models in chemistry education: A comparative analysis of ChatGPT, Gemini and Copilot [Text] / Y. V. Kharchenko, O. M. Babenko // CEUR Workshop Proceedings. – 2024. – Vol. 3781. – P. 42–59.
dc.identifier.orcidhttps://orcid.org/0000-0002-8960-2440
dc.identifier.orcidhttps://orcid.org/0000-0002-1416-2700
dc.identifier.urihttps://repository.sspu.edu.ua/handle/123456789/17753
dc.language.isoen
dc.publisherCEUR Workshop Proceedings
dc.subjectartificial intelligence
dc.subjectLLM
dc.subjectChatGPT
dc.subjectGemini
dc.subjectCopilot
dc.subjectchemistry education
dc.subjectштучний інтелект
dc.subjectхімічна освіта
dc.titleAdvantages and Limitations of Large Language Models in Chemistry Education: A Comparative Analysis of ChatGPT, Gemini And Copilot
dc.title.alternativeПереваги та обмеження великих мовних моделей у хімічній освіті: порівняльний аналіз ChatGPT, Gemini та Copilot
dc.typeArticle
Файли
Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
paper03.pdf
Розмір:
1.23 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
2.9 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити
Зібрання
Статті