암호화폐 변동성, AI와 수학의 하이브리드로 정복하다

‘데이터 공백’과 ‘불규칙한 변동성’ 해소는 어떻게?

 

여러분이 갖고있는 비트코인(BTC)이나 이더리움(ETH) 같은 암호화폐 가격은 왜 롤러코스터를 타는지… 얼마나 급등하고 폭락할지 알 수 있다면…이 문제에 학자들이 덤벼들었다.

솔직히 투자자들이 가장 싫어하는 것은 “변동성”이다. 출렁이는 바다를 상상해봐. 계약 기간 (1주일 후? 1달 후?)이라는 수평선을 따라가는 배가 있고, 바다 밑바닥까지 얼마나 깊은지를 알고 “얼마에 파는 계약이냐”, 끊임없이 밀려드는 파도의 높낮이는 “그때 가격이 얼마나 상하로 움직일 것 같냐”와 같다. 뱃사람들이 바다 깊이와 육지와의 거리를 알면 파도의 크기를 알 수 있듯 “How long+How much” 어느 기간, 얼마에 이 세가지 요인을 고려해야 투자한 돈을 잃지 않는다.

그런데 말입니다. 완벽하게 설계한 3차원 공간에는 거래가 없는 기간이 발생하고 그때는 데이터가 생기지 않는다. 실종된 이 데이터를 복구하기위해 이 논문의 저자들은 인공지능과 수학 모델을 이종교배시켜 완벽한 모델을 찾아내고자 하였다. 그림 전체를 보고 “빠진 부분이 아마 이렇게 생겼을 것”을 상상하는 AI와 수학 공식으로 곡선을 그려 구멍을 메우는 스마일재적합이란 방법을 도입한 것이다.

거래가 없던 기간 즉, 구멍이 절반(50%) 일때,

• 수학 공식만 쓰면 → 오차가 7.00가 발생하였으나,
• AI + 수학 공식 같이 쓰면 → 오차가 0.83밖에 발생하지 않았어.

8배 더 정확해진다는 사실을 알게됐어.

이때 사용한 AI는 VAE(Variational Autoencoder 변분 오토인코더)인데, 이게 뭐냐면 수많은 변동성 데이터를 보여주고 학습을 시키는거다.

VAE는 두 부분으로 이루어져 있다. 인코더와 디코더. 인코더는 수많은 변동 모습을 아주 작게 압축하는 것이고, 디코더는 압축된 걸 다시 복원하는 기술이다. 즉 인코더는 책 한 권을 한 줄로 요약하는 것이라면 디코더는 한 줄을 다시 한 권의 책으로 복원하는 기술이다.

암호화폐 옵션 시장은 유동성이 수시로 증발하고, 변동성은 롤러코스터를 타듯 출렁인다. 투자자들이 가장 싫어하는 것은 바로 이 ‘예측 불가능한 변동성’이다. 그런데 이 문제를 해결하기 위해 인공지능(AI)과 전통적인 수학 모델을 결합한 새로운 접근법이 등장했다. 과연 이 방법은 실마리를 제공할 수 있을까요? 

 

1. 암호화폐 옵션 시장의 두 가지 골칫거리

① 데이터 공백 (Data Holes)

암호화폐 옵션 시장은 특정 만기나 행사가격에서 거래가 전혀 체결되지 않는 ‘구멍’이 자주 발생한다. 거래소에 호가가 없으면 가격을 알 수 없고, 이는 곧 정확한 변동성 추정을 불가능하게 만든다.

② 불규칙한 변동성 (Irregular Volatility)

비트코인(BTC)이나 이더리움(ETH)은 뉴스 하나, 규제 발언 한마디에 수 십 %가 출렁인다. 이러한 급격한 변화는 기존의 금융 모델로는 따라잡기 어려울 정도로 불규칙하고, ‘변동성 스마일(Volatility Smile)’의 형태 자체를 순식간에 왜곡시킨다.

 

2. 학계의 해결 시도: 하이브리드 접근법

최근 Jasper Research의 연구팀(Sadanand Singh 외)은 이 문제를 해결하기 위해 수학적 모델(Smile Re-fit)과 인공지능(ConvVAE)을 결합한 하이브리드 모델을 제안했다.

논문 정보
:저자: Sadanand Singh, Allam Reddy, Manan Chopra (Jasper Research, USA), Beyond the Smile: A Hybrid Convolutional VAE for Crypto Volatility Surfaces(arXiv:2606.16961)

 

① 전통적인 수학적 모델: 스마일 재적합(Smile Re-fit)

옵션 시장에서 변동성은 보통 ‘웃는 얼굴(Smile)’처럼 U자 곡선을 그리는데, 이것을 바로변동성 스마일이라 부른다.

왜 U자일까?

극단적인 하락(폭락)이나 상승(폭등)에 대한 우려가 클수록 사람들은 해당 구간의 옵션을 ‘보험’처럼 많이 사들이고, 이는 변동성을 높이지만, 반면 현재 가격 근처는 상대적으로 관심이 덜해 변동성이 낮아진다.

수학 모델은 이 스마일을 특정 공식(대표적으로 SVI 모델 또는 2차 함수)에 피팅(맞춤)하여 빈 구간을 메꾼다. 하지만 이 방법은 데이터가 충분히 있을 때는 정교하지만, 데이터가 절반도 없으면 오차가 급증하게 된다.(논문에 따르면 RMSE 7.00 수준).

 

② AI 모델: ConvVAE (Convolutional Variational Autoencoder)

VAE는 ‘변분 오토인코더’로, 수많은 변동성 데이터를 학습해 잠재 패턴을 압축(인코더)하고 다시 복원(디코더)하는 생성형 AI이다.

일반 압축과의 차이점
:일반 AI는 “이 구멍은 딱 3.5야!”라고 하나의 답만 내놓지만, VAE는 “3~4 사이 어딘가일 거야”라고 확률적 범위로 답한다. 금융 데이터처럼 불확실성이 큰 분야에 더 적합한 접근법이다.

2D 컨볼루션(Conv)의 장점
:변동성 표면을 6×7 격자(만기×델타)로 나누고, 주변 격자 데이터를 함께 고려하며 이미지 필터처럼 처리한다. 또한 ‘마스크 입력’을 통해 “여기는 실제 데이터, 여기는 구멍”이라는 정보를 함께 전달하여 복원 정확도를 높인다.

 

③ 하이브리드 라우팅 규칙: 최적의 조합

연구팀은 ‘데이터가 많을 때는 수학 모델을, 데이터가 적을 때는 AI 모델을 사용하자’는 전략을 세웠다.

데이터 충분(각 만기에 3개 이상의 행사가격 데이터): 수학적 재적합(Smile Re-fit) 사용 → 빠르고 해석 가능

데이터 부족(만기 전체가 비거나 2개 이하의 데이터): ConvVAE가 과거 패턴과 BTC-ETH 간 상관관계를 활용해 복원

그 결과, 데이터의 절반(50%)이 사라진 상황에서도 하이브리드 모델은 RMSE 0.83을 기록하며, 수학 모델 단독 대비 약 8배 더 정확해졌다.

 

3. 현실 금융 시스템에 적용 가능한 3가지 시나리오 

시나리오 1: 마켓메이킹 및 실시간 호가 생성

문제: 특정 만기나 행사가격에 유동성이 급감하면 호가 자체가 사라진다.

해결: ConvVAE가 과거 데이터와 타 자산(BTC↔ETH)의 흐름을 바탕으로 ‘가장 개연성 있는’ 변동성 값을 실시간으로 채워 넣는다.

효과: 끊김 없는 호가 공급으로 스프레드 안정화 및 시장 신뢰도 향상

 

시나리오 2: 딥러닝 기반 리스크 관리 및 이상 탐지

문제: 2023년 8월 플래시 크래시 같은 급변 상황을 사전에 포착하기 어렵다.

해결: ConvVAE의 재구성 오차(Reconstruction Error)를 ‘이상치 점수(Anomaly Score)’로 활용합니다. 정상적인 패턴에서 벗어날수록 오차가 급증하므로, 실시간 대시보드에 연동해 리스크 매니저에게 경고를 보낼 수 있다.

실제 사례:

2023년 8월 17일 플래시 크래시 → 재구성 오차 스파이크 발생

2023년 10월 말 ETF 기대 랠리 → 오차 클러스터 형성

특히 2023년 10월 2일은 전체 기간 중 가장 높은 이상치(RMSE 4.30)를 기록했으며, 이는 본격적인 랠리 약 2주 전이었다.

 

시나리오 3: 교차자산 전이를 활용한 신규/희소 자산 분석

문제: 유동성이 낮은 알트코인 옵션은 데이터가 턱없이 부족하다.

해결: BTC와 ETH의 변동성 구조를 공동 학습(Joint Training)시킨 모델은 ‘변동성 표면의 공통 문법’을 습득하는데, 이를 소량의 데이터만 있는 신규 자산에 전이(Transfer Learning) 적용하면 합리적인 변동성 표면을 추정할 수 있다.

효과: 데이터가 희소한 시장에서도 차익거래 기회가 없는(Arbitrage-free) 가치 평가 및 리스크 모델링이 가능해진다.

 

4. 시스템 아키텍처 제안 (실무 배포 관점)

실제 운영 환경에 적용하기 위한 파이프라인은 다음과 같이 구성할 수 있다.

 

5. 논문의 명확한 한계와 보완점 

이 논문은 분명 혁신적인 아이디어를 제시했지만, 실무에 바로 적용하기에는 여러 가지 한계가 존재한다. 정리하면 다음과 같다.

종합 평가: 이 논문은 “아이디어와 실험 결과는 강하지만, 실무 일반화와 운영 검증은 아직 부족한 연구”임을 알아야 한다. 즉, 적용가능한 프로토타입이지만, 아직 운영 시스템 설계 문서는 아니다.

 

6. 종합 정리

암호화폐 옵션 시장의 고질적인 ‘데이터 공백’과 ‘불규칙 변동성’ 문제를 해결하기 위해, 수학적 모델(Smile Re-fit)과 AI(ConvVAE)를 조건부로 결합하는 하이브리드 전략이 효과적임을 입증했다. 특히 데이터가 절반만 있어도 AI가 과거 패턴과 교차자산 정보를 활용해 8배 더 정확한 복원이 가능했다.

📌 실무자 액션 아이템

PoC(개념증명) 검토: 오픈소스 코드(GitHub – jasper-research/beyond-the-smile-paper)를 활용해 자사 데이터에 대한 파일럿 테스트를 진행해보세요.

이상 탐지 대시보드: 재구성 오차를 실시간 모니터링 지표로 추가하면, 뉴스보다 먼저 구조적 이상을 감지할 수 있다.

전이 학습 활용: 신규 상장된 알트코인 옵션의 초기 가격 발견(Price Discovery)에 이 방법론을 응용해보세요.