Post

December 9, 2025 English Reading

December 9, 2025 English Reading

원문

https://engoo.com/app/daily-news/article/ai-tools-often-give-wrong-citations-study-says/2qfTyM7eEfC0zqPPYCRPOA

해석

만약 당신이 ChatGPT가 당신의 학교 과제 또는 논문을 작성하는데 도움을 준다고 생각한다면 조심해야한다. 호주의 연구자들은 조언했다. 그들은 ChatGPT가 학교 과제를 위한 좋은 인용문을 어떻게 찾아내는지에 대한 연구를 진행하였으며, 만약 ChatGPT가 찾아낸 결과에 등급을 매긴다면, D 정도일 것이다. Deakin University의 연구자들은 ChatGPT한테 세가지의 주제들에 대한 텍스트를 생성하도록 요청하였는데, 인용문을 포함한 정신 건강에 관련되어 있으며 정보를 어디서 가져왔는지에 대한 출처도 나타내도록 하였다. 그들이 정신 건강을 주제로 선택한 이유는 점점 더 많은 정신 건강 연구자들이 능률 향상을 위해 AI를 사용하고 있기 때문이다. 연구자들은 3가지 주요 주제인 우울증, 폭식 그리고 신체이형장애에 대해 살펴보기로 결정했다. 이것들은 높음, 중간 그리고 낮음 수준의 공공 의식이 갖춰져 있으며, AI의 결과 퀄리티에 영향을 줄 수 있을만한 범위이기 때문에 선택되었다. 그들은 AI가 제공한 인용문이 가짜인지 에러를 포함하고 있는지 확인하고 싶었다. 176개의 인용문 중 연구자들은 35개의 가짜 정보와 64개의 에러를 발견하였다. 다른 말로 절반 이상의 응답이 문제가 있었다. 때때로 그 인용문은 관련 없는 주제에 대한 링크를 제공하기도 한다. 또 다른 경우에는 잘못된 출판 날짜 또는 문서 번호같은 작거나 심각한 문제가 있기도 하다. 하지만 몇몇 인용문들은 단순히 잘못된게 아니라 주장을 뒷받침하지 않는 텍스트들만 만들때도 있다. 그 연구는 AI가 그 주제에 적은 연구 허용 범위에 관해 출판된 적은 게시글들로 인해 더 많은 에러를 만들어냈다는 것을 발견했다. AI는 가능한 게시글들과 연구 자료를 통해 학습된다. 그리고 적은 수의 자료를 이용했을 때 결과의 퀄리티는 떨어진다. 연구자들은 사람들이 ChatGPT나 비슷한 소프트웨어를 그들의 연구를 위해 사용할 때는 그들이 얻은 응답을 검증해야한다고 전했다. 당신이 연구 혹은 공부에 AI를 사용했을 때, 얻은 결과가 가짜 혹은 잘못된 정보라면 굉장히 심각한 문제가 생길 수 있다.

GPT 교정본

만약 ChatGPT를 학교 과제나 논문 작성에 활용할 생각이라면 주의해야 한다.

호주의 연구자들은 ChatGPT가 학술용 인용문을 찾는 데 얼마나 신뢰할 수 있는지 조사했으며, 만약 성적을 매긴다면 D 수준이라고 밝혔다.

호주 Deakin University 연구팀은 ChatGPT에게 정신 건강과 관련된 세 가지 주제에 대한 글을 생성하도록 요청했고, 정보의 출처를 나타내는 인용문도 포함하도록 했다.

이 주제를 선택한 이유는, 최근 정신 건강 연구자들이 연구 효율 향상을 위해 AI 사용을 늘리고 있기 때문이다.

연구자들은 우울증, 폭식, 신체이형장애라는 세 가지 주제를 선택했는데, 이는 각각 높은·중간·낮은 대중 인식 및 연구량을 가진 분야이기 때문에 결과 품질에 차이가 나타날 수 있다고 판단했기 때문이다.

연구팀은 AI가 제공한 인용문이 가짜인지, 혹은 오류를 포함하고 있는지 확인했다.

총 176개의 인용문 중 35개는 완전히 가짜였고, 64개는 오류를 포함하고 있었다.

즉, 절반 이상의 인용문이 문제가 있었다.

일부 인용문은 관련 없는 논문으로 연결되었고,

출판 연도나 페이지 번호 같은 기본 정보가 잘못된 경우도 있었다.

또한 몇몇 인용문은 글의 주장과 전혀 관계없는 내용으로, 근거로서의 역할을 전혀 수행하지 못했다.

연구는 또한 연구 자료가 적은 주제일수록 AI가 더 많은 오류를 생성한다는 점을 확인했다.

AI는 기존 연구 자료를 기반으로 학습하기 때문에, 관련 데이터가 부족하면 결과의 정확도가 떨어질 수밖에 없다.

연구자들은 다음과 같이 조언한다.

ChatGPT나 유사한 AI 도구를 연구 목적에 사용할 경우, 반드시 결과와 인용 내용을 검증해야 한다.

학생이든 연구자든, 가짜 또는 잘못된 인용문을 사용하면 매우 심각한 결과를 초래할 수 있다.

몰랐던 단어

  • consequence: 결과
  • likely: ~할 것 같은
  • coverage: 적용 범위
  • draw on: 이용하다, 활용하다
  • claim: 주장
  • awareness: 의식
  • binge eating: 폭식하다
  • efficiency: 능률
This post is licensed under CC BY 4.0 by the author.