월간 시장분석과 알고리즘 트레이딩의 핵심 도구

안녕하세요

 

바쁜 주간을 보내면서 9월을 맞이했는데도 월간 시장분석을 자세히 하지 못하고 

 

어느덧 10일이 되어버렸습니다. 

 

오늘은 8월 주식 시장분석과 

 

제가 추가로 공부해보고 있는 알고리즘 트레이딩의 핵심 요소 한 가지를 추가로 이야기해보려고 합니다. 

 

 

시장분석

 

8월 코스피는 -2.9%, 코스닥은 -0.8% 수익률입니다. 

8월 초반 제가 매수한 메타데이터 기반 종목들의 수익률은 다음과 같습니다. 

 

 

 

 

-0.009%인 것을 보면 알고리즘으로 매수한 종목들의 총수익의 합이 보합을 이루었습니다. 

 

9월 매수한 종목들입니다. 종목 공개는 하지만

 

지난달 수익이 좋지 않아서 여러분들에게 사라고 추천은 해드리고 싶지 않습니다.

 

메타데이터 투자로는 위 20개 주식을 동일 비중으로 매수했습니다.

 

9월이 지나면 위 주식들의 수익률도 분석해 보도록 하겠습니다. 

 

수익을 내진 못했으나 시장 하락에서 그래도 버텨줬구나 생각은 들었지만 

 

역시나 만족은 못하고 있습니다. 

 

거래에 드는 수수료나 슬리피지 등을 고려한다면 어쨌든 손실이기 때문인데요

다행히도 알고리즘 매수 종목 외에 자산배분 포지션에서 잡고 있던 XLE (에너지) 섹터 비중이 높아서

 

전체 계좌는 소폭(전체 자산의 0.96%) 상승할 수 있었던 달이었습니다. 

XLE(에너지 섹터) 수익률 그래프

 

연초만 해도 XLE 포지션의 대부분이 손실구간이었는데 

 

자산배분에 따라 주기적으로 리밸런싱을 하다 보니 어느덧 전체 수익률을 견인해 줄 정도로 많이 상승했습니다.

 

주변에서도 기름값이 올랐다고 소리가 나오면서 체감을 하고 있습니다. 

 

오랜만에 월간 섹터별 상승을 비교해 보고자 bar차트를 가져왔습니다. 

 

대부분은 보합정도였으나 

 

무역회사와 판매업체, 화장품, 가정용 기기 쪽에선 큰 상승이 있었고

 

조선, 해운사, 전문소매 쪽은 하락이 두드러졌습니다. 

 

 

BDRY의 그래프인데요, BDRY는 BDI 선물을 추종하는 ETF로 BDI 투자 대안상품입니다.

 

벌크선 운임지수로 가격이 하락하면 해운사들이 경쟁으로 운임을 하락시키고 실적도 감소됨을 의미할 수 있습니다. 

 

최근 강화학습 논문만 읽으면서 코드만 작성하고 경제흐름을 읽는데 좀 게을렀더니 

 

마지막 기억하는 시장에 비해 조금씩 장세가 변화하고 있음을 조금씩 느끼고 있습니다. 

 

제가 경제 전공을 하지 않아서 지식이나 용어가 다른 경제 블로그, 유튜버들보다 부족하지만 

 

그래도 흐름을 알아가고 이해하고 이야기하는 경제 커뮤니티 자체를 좋아해서 관심을 놓지 않아야겠다 생각이 들었습니다. 

 

 

 

요즘 관심 있는 것

 

강화학습을 트레이딩에 적용해 보기 위해 여러 논문들과 실습을 해보면서 

 

강화학습을 잘 적용하면 어떤 문제를 해결하는데 도움을 주겠구나 라는 생각은 확실히 들었습니다. 

 

하지만 트레이딩에 강화학습이란 방법론을 날것으로 적용하기엔 조금의 이슈가 있다고 느끼고 있습니다. 

 

처음 느낀 것으론, 강화학습의 에이전트는 기본적으로 환경과 상호작용 해야 합니다. 

 

에이전트가 어떤 상태에 행동을 취하면 환경에는

 

그 에이전트가 취하는 행동(매수, 매도)에 따라 보상을 줄 때 '확률적'이지 않은 게 좋습니다. 

 

상태변수로 취한 주식시장의 데이터들을 수집했을 때 같은 상태데이터를 확인해서 매수를 했는데 

 

확률적으로 오를 수도 있고 떨어질 수도 있는 게 시장입니다. 

 

에이전트는 행동에 따라 보상이 확률적으로 주어지기 때문에 당황하겠죠

 

물론 확률적인 환경보상에서도 강화학습은 잘 학습할 수 있음을 논문들이 증명하고 있습니다.

 

예를 들어 bandit problem(추천은 개인의 감정, 그날의 기분에 따라 추천데이터를 싫어할 수 있음)

 

frozenLake(왼쪽으로 이동할 때 왼쪽으로 1칸, 2칸 미끄러지면서 행동에 대한 상태 변화가 확률적인 환경) 등.

 

확률적인 환경에서 강화학습이 성공하기 위해선 확률적 특성 때문에 학습이 복잡하고 더 느릴 수 있습니다. 

 

그래서 저는 에이전트가 환경을 이해하는 상태 변수들을 더욱 고차원 영역으로 해결해야 할 필요성을 느꼈습니다. 

 

 

다음으론 대부분 나오는 알고리즘들은 Online learning 알고리즘들입니다. 

 

우리가 주식 데이터를 수집하고 강화학습을 하면 시장이라는 환경과 즉각적인 상화작용을 하면서 학습하는 게 아니라

 

과거 일자별 데이터들을 가져와놓고 에이전트가 이를 통해 학습하는 Offline learning 과정입니다. 

 

강화학습을 실세계에 적용할 때에도 특정 분야에선 

예를 들어 의학적 문제를 해결하기 위해 직접 환자에게 테스트를 할 수 없는 것과 같이

 

특성상 Online learning을 하지 못하는 경우가 있습니다. 

 

물론 Offline Learning에 특화된 Conservative Q-Learning(추후 논문리뷰와 구현을 다룰 예정입니다)를 비롯한 

 

알고리즘들이 존재하지만 Offline Learning자체가 가지는 제약들이 있습니다. 

 

주식 시장이 가지는 다양한 상태변화와 그에 따른 데이터들을 즉각적으로 학습하지 못한다면

 

실제 투입 시 저조한 성과를 낼 수 있습니다. 물론 상태 변수를 잘 구축/학습했다면 (확률적으로) 좋은 성과를 낼 수 있죠

 

그리고 추후에는 어느 정도 학습된 에이전트 모델들을 Online Learning으로 지속 학습시켜야겠다고 느끼고 있습니다. 

 

 

 

또 하나의 도구

AI를 적용하여 트레이딩, 투자를 한다면

 

시계열 데이터분석을 빼놓을 수 없습니다. 

 

아래는 paperswithcode 사이트의 SOTA(State-of-the-Art) 알고리즘 내역들입니다. 

 

가장 인기 있는 이미지처리 분야보다는 주목은 적지만 시계열 데이터 관련 분야도 주목받는 분야 중 하나입니다. 

 

시계열 분석에는 시계열 데이터의 Classification, Forecasting 등이 인기가 많습니다. 

 

최근 ICLR 2023 Timesnet이 기존의 sota 알고리즘들을 다 갈아엎으며 좋은 성능을 내는 것으로 이슈가 되었는데

 

 

이 논문도 리뷰하면서 단기/장기 시계열 예측에 참고하기 위해 사용해보고 싶고

 

시계열 데이터를 classification 할 수 있으면 이 자체로 시계열데이터를 라벨링 할 수 있다는 것이고, 

 

이는 강화학습에서 이야기했던 상태변수를 고차원영역으로 해결해 내어

 

일종의 Feature engineering을 하는 것으로 볼 수 있습니다. 

 

좀 복잡한 구조가 되긴 했지만

 

주식시장, 좋은 투자를 위해 강화학습을 하여 주식시장 상황에 따라 확률적 우위로 행동하는 에이전트를 만들면서

 

그 에이전트가 환경을 이해할 때 참고하는 데이터들마저 딥러닝을 통한 데이터들을 참고한다라는 것입니다. 

 

강화학습에 딥러닝을 이용하기도 하지만

 

딥러닝에 강화학습을 이용하기도 합니다. 

 

제가 유전알고리즘 이야기를 하면서 강화학습 내부적으로 존재하는 Actor, Critic들의 생존과 진화를 도입했듯,

 

앙상블 모델 안의 여러 머신러닝 모델들에 강화학습을 적용해 내부 머신러닝 모델들의 가중치를 부여하는 논문과 실험도 있습니다. 

 

문제를 해결하기 위해 도구들을 복합적으로 응용하면서 사용해야 한다를 의미하고 있는 것 같습니다. 

 

 

 

이런 것들을 보면 참 많은 것들을 해야겠구나 생각이 들지만

 

저 내용들을 하나씩 채우다 보면 더 많은 구독자분들이 생길 수 있을까 그 과정을 좋아해 주실까 하는 생각도 듭니다.

 

가끔 제가 제 영상을 봐도 지루하고 재미없을 때가 많은데 

 

인기 없는 분야의 유튜브임에도 저의 영상이 알고리즘으로 뜬다는 것은

 

저를 구독하거나, 시청 중이신 여러분들도 보통 비범하신 분들은 아닐 거라고 생각이 듭니다. 

 

어느덧 구독자도 300명을 앞두고 있습니다. 

 

작년에는 10명도 안 되는 채널을 운영하면서 기록에 불과한 유튜브였지만

 

이 분야의 이 정도 퀄리티에 분수에 넘치는 구독자라고 저는 생각하고 있습니다. 

 

더 만족을 하실 수 있게 앞으로도 노력하겠습니다. 

 

감사합니다.