인공지능 ChatGPT는 아직 투자 재무 분석가가 될 만큼 똑똑하지 않다

월스트리트는 쉽게 숨을 쉴 수 있습니다. 인공지능 ChatGPT는 아직 투자와 재무 분석가가 될 만큼 똑똑하지 않습니다.

- ChatGPT는 CFA가 되기 위해 필요한 시험의 모든 레벨을 통과할 수 없습니다.
- JPMorgan 연구원과 대학 학자들의 연구에 따르면 ChatGPT는 "지식 기반 오류"를 많이 저지른 것으로 나타났습니다.
- GPT-4는 ChatGPT보다 더 나은 성적을 거두었으며 충분한 프롬프트를 통해 시험의 처음 두 레벨을 통과할 수 있었습니다.

월스트리트 분석가들은 AI가 업무에 도입되면 당장 숨이 막힐 것이라고 우려했습니다.

그러나 한 연구에 따르면 ChatGPT는 월스트리트의 많은 금융 전문가를 위한 벤치마크 자격인 공인 재무 분석가 시험을 통과하지 못했습니다.

JPMorgan AI 연구원과 대학 학자 팀이 수행한 연구에서 OpenAI가 만든 AI 대형 언어 모델인 ChatGPT와 GPT-4는 복잡한 재무 추론이 가능한지 테스트하기 위해 CFA 스타일 질문을 받았습니다.

연구원들은 "예상 합격률과 평균 자체 보고 점수를 바탕으로 ChatGPT가 모든 테스트 설정에서 CFA 레벨 I 및 레벨 II를 통과하지 못할 가능성이 높다는 결론을 내렸습니다."라고 썼습니다.

CFA는 증권 분석 및 포트폴리오 관리에 대한 게이지 지식을 설계한 엄격한 3부분으로 구성된 테스트입니다.  전문가가 시험의 세 가지 레벨을 모두 완료하는 데는 수년이 걸리며, 응시자는 종종 준비 시간에 수백 시간을 쏟아 붓습니다.  인증을 받으면 이는 구별의 표시로 간주되며 수혜자에게 경력 전반에 걸쳐 더 많은 기회를 제공할 수 있습니다.

그리고 시험에 응시하는 많은 사람들이 실패합니다.  CFA 연구소에 따르면 2023년 2월 레벨 1 시험에 응시한 응시자 중 38%만이 합격했습니다.  52%가 5월 레벨 2 시험에 합격했습니다.  가장 최근에 실시된 8월 레벨 3 시험의 합격률은 47%였습니다.

연구에 따르면 ChatGPT는 이를 통과하지 못한 사람들의 대열에 합류했습니다.  수많은 객관식 답변이 포함된 모의 레벨 1 질문을 받았을 때 ChatGPT는 많은 "지식 기반 오류"를 만들었습니다. 연구원들은 이를 "모델에 질문에 답하는 데 필요한 중요한 지식이 부족한 오류"라고 정의했습니다.  GPT-4는 동일한 종류의 지식 기반 실수를 저질렀지만 ChatGPT만큼 나쁘지는 않았습니다.

레벨 1은 일반적으로 레벨 2보다 어려운 테스트이지만 두 번째 레벨에서는 모델의 성능이 더 나빴습니다. 이를 위해서는 지분 투자 및 재무 보고와 같은 주제에 대한 정보에 대한 더 많은 분석과 해석이 필요합니다.

전반적으로 GPT-4는 두 수준 모두에서 ChatGPT보다 더 나은 성적을 거두었습니다. 실제로 충분한 메시지가 표시되면 CFA 시험의 처음 두 수준을 통과할 만큼 충분히 좋은 성적을 거두었습니다.

연구원들은 "GPT-4는 [몇 번의 샷] 및/또는 [사고 연쇄 시나리오]가 표시되면 CFA 레벨 I 및 레벨 II를 통과할 적절한 기회를 가질 것입니다."라고 썼습니다.

확실히 자연어 처리 즉 인간의 언어를 이해하고 조작하는 소프트웨어의 능력은 감정 분석이나 보고서 요약과 같은 금융의 여러 부문에서 이미 사용되고 있습니다.

하지만 올해 초 인간과 유사한 반응으로 큰 화제를 모았던 ChatGPT와 같은 AI 대형 언어 모델이 발전하면서 AI가 인간 금융 전문가를 대체하는 문제는 월스트리트에서 많은 논의의 주제가 되었습니다.

다행스럽게도 현재로서는 그 시나리오가 현실화될 가능성이 거의 없어 보입니다.