비용최적화

하루에도 수많은 주식들이 갑자기 급등하거나 급락하고, 이에 따른 방대한 양의 뉴스가 쏟아져 나옵니다. 예를 들어, 하루에 급등하는 종목이 100개라면, 해당 종목과 관련된 뉴스가 10개일지 100개일지 예측할 수 없는 상황입니다.

처음에는 이 모든 뉴스를 탐색하고 분석하여 각 주식의 상승 이유를 도출하는 방식으로 접근했습니다. 하지만 시간이 지날수록 비용 부담이 커지기 시작했고, 결국 비용 최적화 방안을 모색해야 했습니다.

정보 분석의 비용 구조

뉴스 한 개를 분석할 때 다음과 같은 단계가 필요합니다.

1. 뉴스가 주어진 주식 종목의 상승 이유를 설명하는지 확인
2. 해당 뉴스의 테마 추출
3. 추출된 테마 이름을 통합
4. 테마의 백그라운드 생성
5. 주식 인사이트 생성

이 과정을 한 번 거칠 때마다 비용이 발생하며, 이 방식으로 10만 원으로 약 이틀을 버틸 수 있는 구조였습니다. 즉, 한 달이면 최소 150만 원의 비용이 필요하게 되었습니다. 이와 같은 높은 비용 구조로는 지속 가능하지 않기 때문에, 비용 최적화가 반드시 필요한 시점에 도달하게 되었습니다.

최적화 방안

1. 사이클 통합

정보 분석 과정에서 비용이 과도하게 발생하는 주요 원인은 각 단계가 분리되어 독립적으로 실행되면서 중복된 작업이 많아졌기 때문입니다. 이를 해결하기 위해 2번과 3번 단계(테마 추출과 테마 이름 통합)를 하나로 묶는 방식을 시도했습니다.

---

2번과 3번 구조 통합

초기에는 **2번(테마 추출)**과 **3번(테마 이름 통합)**을 분리한 이유가 있었습니다.

• 더 높은 정확성을 확보하기 위해 각 단계에서 별도의 검증 과정을 거쳤기 때문입니다.
• 특히 초기 단계에서는 GPT가 질문 양이 많아질 경우 잘못된 답변을 생성하는 문제가 있었기 때문에, 질문을 분리하여 적은 양의 정보를 처리하도록 설계했습니다.

하지만 프롬프트 설계 경험이 쌓이면서, 이 문제가 프롬프트 구성 방식의 한계에서 비롯된 것임을 확인했습니다. 이에 따라 프롬프트를 개선한 후, 2번과 3번 과정을 하나로 묶어도 충분한 정확도를 확보할 수 있었습니다.

---

1번과 2번 과정 통합

2번과 3번 과정을 통합한 후, **1번(뉴스가 주식 종목의 상승 이유를 설명하는지 확인)**과 2번(테마 추출 및 통합) 과정도 하나의 단계로 묶는 최적화가 가능하다는 것을 발견했습니다. 이 통합을 통해 중복된 분석 작업을 줄이고 효율성을 극대화할 수 있었습니다.

---

2.  모델 변경

기존에는높은 정확도를 유지하기 위해서 gpt-4o-mini로 쿼리하여 성공한 것만 다시 4o로 재검증하는 로직이 있었습니다.

이를 미니로만 최적화해야 했습니다. 따라서 4o로 정답을 만드는 과정을 거치고, 해당 답변을 mini에 파인튜닝하는 과정이 필요했습니다. 이 때 처음에는 약 200개를 데이터를 학습 시키고 틀리는 답이 나올 떄 마다 200개에 추가적으로 학습을 진행하는 과정을 했는데 문제점이 발생했습니다.

 

200개  + a를 계속 학습하다 보니 초기의 트레이닝 셋에 과적합이 일어나게 되고, 튜닝 비용도 점점 증가했습니다. 따라서 틀린 데이터만 다시 뫃아서 소규모 트레이닝 데이터 셋을 적합하는 방법으로 갔더니 성능도 더 좋아지고, 비용 향상도 가능해졌습니다. 

 

이렇게 약 700개 정도의 데이터 학습을 통해서 4o보다 더 좋은 결과와 답변을 생성해내는 것을 확인했고, 1, 2, 3과정의 비용을 0.02로 줄일 수 있게 됐습니다.

 

4.  테마의 백그라운드 생성 시간 최적화

저의 경우에는 테마의 생성 배경과 다음 매매에 사용할 수 있게 일반화 과정을 거치고 있습니다.  이 인사이트를 도출하기 위해 GPT-4o를 사용하고 있기 때문에 많은 비용이 소모되고 있습니다. 

아래는 그 예시입니다.

테마의 생성 배경: 중국 화장품 기업의 주가는 주로 중국 정부의 경제 부양책 발표와 중국인민은행의 지급준비율 인하, 대규모 유동성 공급 계획에 대한 반응으로 상승하였습니다. 이러한 정부의 정책은 중국 내수 소비와 해외 시장 확대에 긍정적인 영향을 주고, 중국 경제가 경기 둔화에 대응하여 적극적인 금융 정책을 시행한다는 것을 반영합니다. 따라서, 이런 정책 발표는 소비 심리를 진작시키고 관련 기업의 경쟁력을 강화하는 역할을 합니다
테마의 일반화: 역사적으로 중국 정부의 경기 부양책 및 금융 정책의 변경이 화장품 시장의 주가 상승에 영향을 미쳤기 때문에, 이러한 패턴을 반복적으로 관찰할 수 있다면 향후에도 비슷한 기회에 대한 조기 탐지가 가능합니다.

 

최적화 방법: 조건부 생성

비용 최적화를 위해 테마 백그라운드 생성과 인사이트 도출을 조건부로 수행하도록 변경했습니다.
즉, 새로운 주식이 테마에 추가될 때만 백그라운드를 재생성하도록 제한했습니다.

조건부 생성 방식을 채택한 이유

테마 백그라운드는 하나의 주식에서 테마가 발현되었을 때, 해당 테마에 속한 다른 주식들도 비슷한 논리로 움직이기 때문에 매번 새로 생성할 필요가 없습니다.

예를 들어, 이재명 테마주를 생각할 수 있습니다. 만약 동신건설이 이재명 관련 이슈로 인해 상승했다면, 다른 **이재명 테마주(예: 에스맥, 형지엘리트 등)**가 상승하는 이유도 매번 동일한 논리에 기반할 가능성이 높습니다.  따라서, 새로운 주식이 테마에 추가되지 않는 한 백그라운드를 재생성할 필요가 없기 때문에, 이 방식을 적용하여 불필요한 작업을 줄이고 비용을 절감할 수 있었습니다.

 

5.  인사이트 생성 최적화

인사이트 역시 같은 방법으로 생성하게 됩니다. 테마에 새로운 일정이 추가 됐거나, 주식 개별의 일정이 상승이유와 연동되어 있지 않는 한 

인사이트를 매번 새롭게 생성하지 않습니다.

이번 분석에서는 총 15개의 NewDTO 객체를 통해 추출한 정보를 바탕으로, 컬러레이의 주가 상승 요인과 관련된 두 가지 주요 이벤트를 파악해보았습니다. 첫 번째 이벤트는 2025년 초에 예정된 양회에서의 재정적자율 인상 논의입니다. 이는 중국 정부의 경기부양책과 긴밀히 연결되어 있어 중국 내수 소비 및 해외시장 확대에 미치는 잠재적인 긍정적 영향을 고려할 수 있습니다. 역사적으로, 이러한 정책 변화는 화장품 시장의 주가 상승의 주요 동기로 작용해 왔으며, 따라서 컬러레이의 주가 상승도 이러한 정책적 상황과 연결된 것으로 해석할 수 있습니다. 두 번째 이벤트는 2025년 1월 20일에 예정된 미국 신정부의 출범입니다. 이는 글로벌 교역 변화의 중요한 계기가 될 가능성이 높으며, 중국과의 경제 정책 및 교역 관계에 영향을 미칠 수 있습니다. 특히, 중국 경기 부양책과 관련하여 글로벌 시장과의 상호 작용이 컬러레이와 같은 기업의 국제적 경쟁력을 강화하는 데 기여할 것입니다. 이러한 요소를 고려할 때, 컬러레이는 글로벌 경제 변화의 수혜를 누릴 것으로 기대되며, 이는 장기적으로 주가에 긍정적 영향을 미칠 것입니다.
관련 뉴스 15건을 분석한 결과, 컬러레이의 주가 상승과 직접 연결된 이벤트로는 '2025년 초 양회에서의 재정적자율 인상 논의' 및 '2025년 1월 20일 미국 신정부 출범'이 식별되었습니다. 양회 이벤트는 중국 정부의 경제 정책 방향을 가늠할 수 있는 중요한 시점으로, 지급준비율 인하와 같은 경기부양책이 적용될 가능성을 내포하고 있습니다. 이는 컬러레이와 같은 화장품 기업이 중국 내 소비 진작에 영향을 받을 수 있는 주요 요인입니다. 반면, 미국 신정부의 출범은 대외적으로 글로벌 교역에 미칠 영향을 예측할 수 있는 요소로, 중국 경기 부양책의 세계적 파급력과 맞물려 컬러레이의 해외 시장 확대에도 긍정적 영향을 미칠 전망입니다. 결론적으로, 이러한 이벤트들은 컬러레이 주가에 직접적으로 영향을 미칠 수 있으며, 이에 따라 투자 결정을 검토할 필요가 있습니다.

 

최종 효과

1. 사이클 통합과 모델 변경을 통해 분석 비용을 90% 절감했습니다.
2. 테마 백그라운드 생성과 인사이트 도출을 조건부로 수행하여 불필요한 작업을 줄이고 추가적인 비용 절감을 달성했습니다.
3. 하루 10만 원, 한 달 150만 원에 달하던 비용을 크게 줄여 지속 가능한 데이터 분석 환경을 구축할 수 있었습니다.