Advantages and Limitations of Large Language Models in Chemistry Education: A Comparative Analysis of ChatGPT, Gemini And Copilot
Ескіз недоступний
Дата
2024
Назва журналу
Номер ISSN
Назва тому
Видавець
CEUR Workshop Proceedings
Анотація
This study aims to explore the potential and limitations of large language models (LLMs) such as ChatGPT, Gemini, and Copilot, in the context of chemistry education. The primary objective of the study is to compare the effectiveness of LLMs in solving chemistry tasks and to identify the key challenges associated with their implementation in education. These LLMs were selected based on a survey of students which indicated their widespread use due to their free accessibility. To evaluate the potential of LLMs in chemistry education, we employed them to solve tasks corresponding to different levels of knowledge in different subfields of chemistry. A comparative evaluation of LLMs' performance against that of average Ukrainian students was conducted. The results indicate that while LLMs show promise mainly in tasks not demanding deep logical reasoning, they are generally inferior to students. Key challenges in using LLMs in chemistry education identified include understanding the nuances of chemistry as a complex and multifaceted science, abstract concepts used in chemistry, recognition of chemical compound formulas, chemical reaction equations, limitations in logical reasoning, language barriers, and the occurrence of AI hallucinations. Additionally, there is a need for students to develop skills in crafting effective queries and prompts to enhance the efficiency of working with LLM. While LLMs are promising, their implementation requires addressing the identified limitations.
Це дослідження має на меті дослідити потенціал та обмеження моделей великих мов програмування (LLM), таких як ChatGPT, Gemini та Copilot, у контексті хімічної освіти. Основною метою дослідження є порівняння ефективності LLM у вирішенні хімічних завдань та визначення ключових проблем, пов'язаних з їх впровадженням в освіту. Ці LLM були відібрані на основі опитування студентів, яке показало їх широке використання завдяки їх безкоштовній доступності. Щоб оцінити потенціал LLM у хімічній освіті, ми використовували їх для вирішення завдань, що відповідають різним рівням знань у різних підгалузях хімії. Було проведено порівняльну оцінку ефективності LLM з показниками пересічних українських студентів. Результати показують, що хоча LLM є перспективними переважно в завданнях, що не вимагають глибоких логічних міркувань, вони загалом поступаються студентам. Ключові проблеми використання LLM у хімічній освіті включають розуміння нюансів хімії як складної та багатогранної науки, абстрактних понять, що використовуються в хімії, розпізнавання формул хімічних сполук, рівнянь хімічних реакцій, обмежень у логічному міркуванні, мовних бар'єрів та виникнення галюцинацій штучного інтелекту. Крім того, існує потреба в тому, щоб студенти розвивали навички створення ефективних запитів та підказок для підвищення ефективності роботи з LLM. Хоча LLM є перспективними, їх впровадження вимагає усунення виявлених обмежень.
Це дослідження має на меті дослідити потенціал та обмеження моделей великих мов програмування (LLM), таких як ChatGPT, Gemini та Copilot, у контексті хімічної освіти. Основною метою дослідження є порівняння ефективності LLM у вирішенні хімічних завдань та визначення ключових проблем, пов'язаних з їх впровадженням в освіту. Ці LLM були відібрані на основі опитування студентів, яке показало їх широке використання завдяки їх безкоштовній доступності. Щоб оцінити потенціал LLM у хімічній освіті, ми використовували їх для вирішення завдань, що відповідають різним рівням знань у різних підгалузях хімії. Було проведено порівняльну оцінку ефективності LLM з показниками пересічних українських студентів. Результати показують, що хоча LLM є перспективними переважно в завданнях, що не вимагають глибоких логічних міркувань, вони загалом поступаються студентам. Ключові проблеми використання LLM у хімічній освіті включають розуміння нюансів хімії як складної та багатогранної науки, абстрактних понять, що використовуються в хімії, розпізнавання формул хімічних сполук, рівнянь хімічних реакцій, обмежень у логічному міркуванні, мовних бар'єрів та виникнення галюцинацій штучного інтелекту. Крім того, існує потреба в тому, щоб студенти розвивали навички створення ефективних запитів та підказок для підвищення ефективності роботи з LLM. Хоча LLM є перспективними, їх впровадження вимагає усунення виявлених обмежень.
Опис
Ключові слова
artificial intelligence, LLM, ChatGPT, Gemini, Copilot, chemistry education, штучний інтелект, хімічна освіта
Бібліографічний опис
Kharchenko, Y. V. Advantages And limitations of large language models in chemistry education: A comparative analysis of ChatGPT, Gemini and Copilot [Text] / Y. V. Kharchenko, O. M. Babenko // CEUR Workshop Proceedings. – 2024. – Vol. 3781. – P. 42–59.