혹시 인생에 대하여 잘못된 백테스팅을 하고 있진 않은가? (ft.결과론의 함정)

시작하며

이 글은 필자의 퀀트 투자 경험을 바탕으로 작성한 이야기이다. 

 

몇몇 글을 통해 밝혔지만 필자는 투자 실패로 전 재산을 잃었다. 뼈아픈 손실의 상처는 쉽게 지워지지 않았다. 모든 걸 포기하고 싶으면서도 또한 도저히 포기할 수 없었다. 절치부심, 와신상담의 마음으로 책을 붙잡았다. 서점의 주식 관련 책 수십 권을 읽었다. 난 뭔가를 찾아 헤매고 있었다. 아마 그것은 내 손실을 되돌려 줄 '비법'이었던 것 같다. 그러던 중, 퀀트 투자를 알게 됐다.

 

 

'이거였나!?'

 

 

자산 배분, 리스크 관리, 감정이 아닌 전략으로 접근하는 투자.

 

퀀트는 내게 새로운 희망이었다. 가슴이 다시 뛰기 시작했다. 인터넷에는 백테스팅 도구를 제공하는 사이트도 많았다. ‘그래, 난 성실함으론 지지 않아. 포기 따윈 없다.’ 불꽃처럼 타오르는 마음으로, 퇴근 후 모든 시간을 쏟아부었다.

 

2~3개월, 매일 밤 수동으로 백테스팅을 반복했다. 조건을 바꾸고, 보조지표를 조정하고, 기간을 달리하며 끝없이 테스트했다. 엑셀에 기록하며 미세한 차이까지 비교했다. 모니터를 보며 눈이 침침해질 정도였다. 이건 나만의 비밀 프로젝트였다. 누구에게도 말하지 않았다. 내 필살기였으니까.

 

 

쇼생크 탈출 이미지

 

'희망은 좋은 겁니다. 가장 좋은 것일지도 몰라요. 좋은 것은 절대 사라지지 않아요.'
(Hope is a good thing, maybe the best of things, and no good thing ever dies.) - 쇼생크 탈출

 

몰입의 시간은 손실의 아픔을 잊게 했다.

수 개월동안 나의 노가다는 지속됐다. 어쩌면, 손실의 아픔을 잊고 싶어서였는지 모르겠다.

내가 짠 전략의 수익률이 낮으면 어떤 종목이 문제였는지, 스크리닝 조건과 어떻게 달랐는지 분석했다. 

조건을 수정하고, 다시 테스트했다. 점점 ‘비법’에 가까워지고 있다는 느낌. 그 시간은 투자 여정에서 가장 행복했던 순간이었다. 투자를 처음 시작했을 때 운 좋게 수익을 얻었던 황당한 기쁨과는 달랐다. 큰 손실 이후 다시 일어설 수 있다는 희망, 내 노력으로 목표에 다가가고 있다는 확신은 진정한 행복이었다.

 

그리고 마침내, 코로나 전후를 아우르며 일정한 수익을 내는 전략을 찾았다.
연평균 37.4% 수익률, 샤프지수 1.47, MDD -37.8%. 보물을 발견한 기분이었다. 

 

이 전략이 얼만하 대단한가 하면 워런 버핏의 투자 성적보다도 월등히 뛰어난 성적이다.

오랜 시간 공을 들여서 찾은 내 전략을 이제 조건검색식으로 구현하는 데 또 몇 달이 걸렸다.

 

이 전략으로 매매를 시작했다. 결과는? 손실은 아니었지만 시장 대비 낮은 수익.
“내 전략은 완벽했다. 제대로 실천하지 못했을 뿐이다.” 스스로를 다독였다.

“언젠가 완벽히 실천하면 큰 수익을 낼 거야.”

 

하지만 이상하게도 ‘제대로’ 실천은 되지 않았다. 왜 나는 실패한 것일까? 

 

내가 했던 행위를 P-해킹이라고 부르는 것을 알게 되다.

검색을 하면서 유튜브, 인터넷을 떠돌다가 문득, p-hacking 이라는 개념을 알게 되었다.

p-hacking은 데이터를 분석할 때 다양한 방법을 시도하거나 조건을 바꿔가며 원하는 결과를 얻으려는 행위다. 이는 주로 통계적 유의미성을 과대평가하거나 우연한 결과를 실제 패턴으로 착각하게 만든다.

 

"p"는 통계적 유의미성을 판단하는 p-value(유의 확률)를 의미하고, "hacking"은 데이터를 조작하거나 억지로 원하는 결과를 얻으려는 행위를 뜻한다. 

 

예를 들어, 연구자가 여러 변수를 테스트하거나 데이터를 특정 방식으로 분할해 p-value가 0.05 미만인 결과를 찾는 경우, 이는 데이터의 우연한 특성을 의미 있는 결과로 포장하는 것이다. 이는 연구의 신뢰성을 떨어뜨리고, 재현 가능하지 않은 결과를 초래한다.

 

백테스팅 중 수많은 조건을 바꿔가며 테스트하다 보면, 특정 전략이 높은 수익률을 보이는 경우가 생긴다. 하지만 이는 데이터의 우연한 특성을 억지로 끼워 맞춘 결과일 가능성이 크다. 마치 주사위를 백 번 던져 특정 패턴을 찾으려는 것과 같다. 이런 패턴은 미래에 반복되지 않을 수 있고, p-hacking에 빠지면 잘못된 확신으로 비효율적인 결정을 내리게 된다.

 

심지어 투자 관련 유튜버 월가아재는 '유사 퀀트'라고 말하기도 했다. 내가 찾았던 필살 조건은 결국, 가장 운이 좋았던 전략일 뿐, 앞으로의 성공을 보장하지 않는 조건이었던 것이다.

 

왜 자꾸 결과론의 함정에 빠지는 것일까?

살 껄, 팔 껄...

 

굳이 투자 뿐만이 아니라, 지난 인생에서도 과거의 선택을 곱씹으며 “그때 이렇게 했어야지”라고 후회하는 건, 이미 나온 결과를 바탕으로 의미 없는 패턴을 찾는 p-hacking과 다르지 않다.

 

특정 지표에 집착하며 패턴을 찾으려 했던 그 순간들, 그건 진짜 비법이 아니라 데이터의 우연을 의미 있는 결과로 포장한 덫이었다. “그때 이렇게 했어야지”라는 후회도 마찬가지다. 이미 나온 결과를 보고 패턴을 찾으려는 마음, 그건 인생에서도 반복된다.

 

그렇다면 우리는 왜 자꾸 후회하고, 왜 자꾸 껄무새가 되는 걸까?

 

그에 대한 대답을 "투자의 비밀"이라는 책에서 찾았다. 이 책의 저자는 인간의 ‘패턴을 찾으려는 본능’을 지적한다.

인간은 아무런 의미가 없는 무작위 데이터에서도 어떻게든 의미를 만들어내려 한다는 것이다. 단 두번만 반복해서 겪어도, 우리 뇌는 그것을 진리라고 인식한다.

 

대니얼 카너먼 "생각에 관한 생각" 에서는 이를 두고 '인과관계 착각'이라고 말한다. 그 진위 여부와는 상관없이, 우리는 그럴듯한 설명을 즉석 해서 만들어 내고 그것을 믿는다. 

“15년 전 비트코인을 샀어야 했어”, “25년 전 수능에서 1번을 찍었어야 했어.” 이런 후회는 이미 결과를 아는 상태에서 과거를 재단하는 백테스팅이다. 결과론의 함정이다. “이렇게 될 줄 알았다”는 사후 확신 편향의 착각일 뿐이다.

 

마치며 : 이제 인생을 생각해 본다.

결과론의 함정은 계속 반복될 위험을 지니고 있다. 내가 지금 하고 있는, 혹은 앞으로 할 노력들 중에 '뻘 짓'이 과연 하나도 없을까?

 

도대체 앎이란 무엇일까?

 

투자를 하기 전까지는 '패턴'과 '공식'을 최대한 많이 외운 상태가 많이 아는 상태라고 생각했다. 하지만 잘못 인식된 패턴은 곧 무지와도 같다. 아니, 오히려 무지보다도 더 강력하고 파괴적이다.

 

잘못 인식된 패턴 중에서도 그럴듯하고 받아들이기 '편한' 이론은 널리 유행하게 된다. 혹시, 지금 내 인생의 선택도 잘못된 백테스팅은 아닐까? 혹시라도, 지나온 삶을 돌아보면서, 내 선택들을 후회있지는 않은가? 

 

이제 스스로에게 다짐해 보자. 

 

"모든 후회는 망상이다.  지나간 기회는 지나간 기회일 뿐이다.  다음 기회를 준비해야 한다."

 

 

긴 글 읽어주셔서 감사합니다.