Merancang Crypto Intelligence yang Diuji ke Depan

AI dapat menemukan pola yang sulit dilihat manusia. Namun menemukan pola di masa lalu tidak sama dengan mampu membaca apa yang akan terjadi berikutnya. Tantangan sesungguhnya bukan membuat model yang terlihat hebat di backtest, melainkan membuktikan bahwa intelligence tersebut tetap berguna ketika berhadapan dengan data yang belum pernah dilihat sebelumnya.

Artificial intelligence membuat eksperimen prediksi pasar semakin mudah.

Data harga Bitcoin dapat digabungkan dengan indikator teknikal, funding rate, open interest, volatilitas, data on-chain, arus ETF, kondisi makro, sentimen, hingga berita. Seluruh informasi tersebut kemudian dapat diberikan kepada sebuah model AI dan dalam hitungan detik kita memperoleh jawaban:

Bullish. Confidence 78%.

Output seperti itu terlihat meyakinkan.

Tetapi ada satu masalah besar:

angka tersebut, sendirian, belum membuktikan apa pun.

Sebuah model dapat terlihat sangat akurat terhadap data historis tetapi kehilangan kemampuannya ketika digunakan pada pasar nyata.

Dalam quantitative finance, salah satu penyebabnya dikenal sebagai backtest overfitting: model atau strategi terlalu disesuaikan dengan masa lalu sehingga yang dipelajari bukan hanya sinyal, tetapi juga noise dan kebetulan yang tidak akan terulang.

Semakin banyak konfigurasi yang dicoba terhadap dataset yang sama, semakin besar pula kemungkinan kita menemukan sesuatu yang tampak luar biasa hanya karena proses seleksi.

Di era AI, masalah ini menjadi semakin penting.

Komputasi semakin murah. Ribuan eksperimen dapat dijalankan secara otomatis. Model semakin mudah dimodifikasi.

AI mempercepat kemampuan kita menemukan pola.

Tetapi pada saat yang sama, AI juga mempercepat kemampuan kita untuk overfit.

Karena itu, pertanyaan yang relevan bukan sekadar:

Bisakah AI memprediksi Bitcoin?

Pertanyaan yang lebih berguna adalah:

Bisakah kita membangun sistem AI yang menghasilkan informasi pasar yang terukur, terkalibrasi, dan tetap berguna ketika menghadapi data yang belum pernah dilihat sebelumnya?

Di situlah perbedaan antara AI prediction dan crypto intelligence.

Pasar Bitcoin Bukan Dataset Statis

Machine learning relatif lebih mudah digunakan ketika hubungan antara input dan output cukup stabil.

Pasar keuangan tidak bekerja seperti itu.

Hubungan yang berlaku hari ini tidak harus tetap berlaku enam bulan kemudian.

Funding rate yang tinggi mungkin menjadi tanda pasar terlalu agresif dalam satu kondisi, tetapi menjadi konfirmasi momentum dalam kondisi lain.

Open interest yang meningkat dapat menandakan conviction baru, tetapi juga dapat berarti leverage sedang menumpuk dan risiko liquidation cascade semakin besar.

Arus masuk ETF dapat memperkuat permintaan spot, tetapi dampaknya masih bergantung pada:

• ukuran flow,
• kondisi likuiditas,
• positioning derivatif,
• ekspektasi pasar sebelumnya,
• kondisi makro,
• dan regime pasar saat itu.

Dengan kata lain, pasar berubah.

Dalam statistik dan machine learning, persoalan ini berkaitan dengan non-stationarity dan perubahan distribusi data dari waktu ke waktu.

Itulah sebabnya forecasting Bitcoin tidak dapat diperlakukan seperti persoalan klasifikasi sederhana.

Sebuah studi yang membandingkan berbagai metode forecasting volatilitas cryptocurrency, misalnya, tidak menemukan satu model yang selalu terbaik. Model yang unggul dapat berbeda berdasarkan aset, horizon waktu, dan metric yang digunakan. Bahkan beberapa model yang lebih sederhana dapat berkinerja sebanding dengan model machine learning yang lebih kompleks.[1]

Ini membawa kita pada prinsip penting:

model yang lebih kompleks belum tentu menghasilkan intelligence yang lebih baik.

Mengapa Backtest yang Sangat Bagus Justru Perlu Dicurigai?

Bayangkan sebuah tim memiliki data Bitcoin selama lima tahun.

Mereka kemudian mencoba:

• 20 indikator teknikal,
• 10 timeframe,
• 15 threshold,
• beberapa algoritma machine learning,
• puluhan kombinasi feature,
• berbagai definisi target,
• dan ratusan konfigurasi parameter.

Setelah ribuan percobaan, mereka menemukan satu model dengan:

74% directional accuracy.

Kedengarannya luar biasa.

Namun ada pertanyaan yang lebih penting daripada angka tersebut:

Berapa banyak konfigurasi yang dicoba sebelum kita menemukan angka 74% itu?

Jika ribuan eksperimen dilakukan lalu hanya hasil terbaik yang diperlihatkan, kita mungkin sedang melihat selection bias.

David H. Bailey dan rekan-rekannya menunjukkan bahwa semakin banyak variasi strategi yang diuji pada data historis yang sama, semakin besar risiko menemukan backtest yang tampak sangat baik tetapi gagal mempertahankan performanya di luar sampel.[2]

Ini adalah salah satu alasan mengapa screenshot hasil backtest saja tidak cukup untuk membuktikan adanya predictive edge.

In-Sample Bukan Out-of-Sample

Dalam research yang serius, dataset harus dipisahkan.

In-sample

Data yang digunakan untuk membangun, menyesuaikan, atau memilih model.

Out-of-sample

Data yang tidak digunakan dalam proses tersebut, lalu dipakai untuk melihat apakah model mampu melakukan generalisasi.

Perbedaan ini sangat penting.

Penelitian terhadap return Bitcoin, Ethereum, dan XRP menemukan bahwa beberapa predictor yang terlihat menjanjikan secara in-sample, termasuk investor attention dan trading volume, tidak mempertahankan predictive power yang signifikan ketika diuji out-of-sample.[3]

Dengan kata lain:

kemampuan menjelaskan masa lalu tidak otomatis berarti kemampuan membaca masa depan.

Bahkan Out-of-Sample Belum Selalu Cukup

Misalnya kita membuat model menggunakan data:

2021–2024

Kemudian mengujinya pada:

2025

Model ternyata buruk.

Engineer kemudian kembali mengubah parameter.

Tes 2025 dijalankan lagi.

Model diubah lagi.

Tes 2025 dijalankan sekali lagi.

Proses ini berlangsung puluhan kali sampai akhirnya hasilnya terlihat bagus.

Masalahnya, data 2025 secara perlahan telah ikut memengaruhi proses development.

Ia tidak lagi benar-benar unseen.

Karena itu, sistem market intelligence membutuhkan lapisan pembuktian lain:

Forward Validation

Prinsipnya sederhana:

buat prediksi terlebih dahulu, simpan prediksi tersebut, lalu biarkan pasar menentukan hasilnya.

Misalnya sistem mengeluarkan assessment:

16 September 2026 — 19:00 WIB

BTC: $78.000

Bias: Bullish
Confidence: 61%
Expected range 24 jam: $77.200–$80.100
Bull scenario: reclaim $79.000
Invalidation: breakdown di bawah $76.900
Horizon: 24 jam

Forecast tersebut kemudian dikunci.

Sistem menyimpan:

• timestamp,
• data yang tersedia ketika forecast dibuat,
• versi model,
• bias,
• confidence,
• scenario,
• horizon,
• dan kondisi invalidation.

Besok, sistem tidak bertanya:

“Apa yang seharusnya diprediksi model kemarin?”

Ia hanya mengukur:

“Apa yang benar-benar diprediksi model sebelum outcome diketahui?”

Perbedaannya fundamental.

Jangan Terobsesi Memprediksi Satu Angka

Salah satu pendekatan paling menggoda dalam financial AI adalah menghasilkan target yang sangat presisi:

“Bitcoin besok akan berada di $81.247.”

Presisi seperti itu dapat menciptakan ilusi kepastian yang sebenarnya tidak dimiliki model.

Pasar lebih tepat diperlakukan sebagai sekumpulan kemungkinan.

Untuk sebuah intelligence system, output seperti ini sering kali lebih berguna:

Market bias

Bullish / Neutral / Bearish

Expected range

Rentang pergerakan yang dianggap masuk akal dalam horizon tertentu.

Scenario

Apa yang terjadi jika bull case, base case, atau bear case berkembang.

Invalidation

Kondisi pasar yang membuat thesis sebelumnya tidak lagi berlaku.

Confidence

Seberapa kuat evidence mendukung assessment tersebut.

Drivers

Faktor yang paling memengaruhi assessment saat ini.

Dengan demikian, AI tidak berfungsi sebagai “peramal harga”.

AI menjadi sebuah:

decision-support system.

Apa Sebenarnya Arti Confidence 80%?

Ini salah satu konsep yang paling mudah disalahgunakan dalam produk berbasis AI.

Bayangkan sebuah model telah membuat banyak forecast dan pada sekelompok forecast tertentu ia selalu mengeluarkan confidence sekitar 80%.

Jika confidence tersebut benar-benar memiliki arti probabilistik dan model terkalibrasi dengan baik, maka outcome yang didefinisikan sebagai benar seharusnya terjadi mendekati 80% pada kelompok kasus tersebut dalam sampel yang cukup besar.

Jika ternyata hanya sekitar separuh yang benar, confidence tadi terlalu tinggi.

Model tersebut overconfident.

Dalam machine learning, persoalan ini disebut calibration.

Riset mengenai confidence calibration menunjukkan bahwa model neural network modern dapat menghasilkan confidence yang tidak sesuai dengan probability of correctness aktualnya.[4]

Artinya:

confidence bukan dekorasi UI.

Confidence adalah klaim yang harus dapat diuji.

Untuk market intelligence, kita ingin mengetahui apakah:

• forecast 50% memang menyerupai kondisi penuh ketidakpastian,
• forecast 70% lebih dapat dipercaya daripada forecast 55%,
• dan forecast dengan confidence sangat tinggi benar-benar memiliki track record yang berbeda.

Semakin banyak data forward-validation tersedia, semakin baik calibration tersebut dapat dievaluasi.

Accuracy Juga Bisa Menipu

Misalnya pada suatu periode, Bitcoin naik pada 60% observasi.

Model yang selalu mengatakan:

Bullish

bisa saja menghasilkan accuracy sekitar 60%.

Apakah itu intelligence?

Belum tentu.

Karena itu setiap model perlu dibandingkan dengan baseline.

Contohnya:

• always bullish,
• random prediction,
• previous-period direction,
• moving-average sederhana,
• volatility regime sederhana,
• atau deterministic rules.

Jika AI yang membutuhkan biaya besar ternyata tidak secara konsisten mengalahkan baseline sederhana, kompleksitas tersebut belum terbukti memberikan nilai.

Ini penting karena riset forecasting cryptocurrency juga menunjukkan bahwa model sederhana dalam kondisi tertentu dapat bersaing dengan metode machine learning yang jauh lebih kompleks.[1]

Prinsipnya:

Kompleksitas bukan tujuan. Information gain adalah tujuan.

Lalu Apa Peran Large Language Model?

Large language model memiliki karakteristik yang menarik untuk market intelligence.

LLM dapat membantu membaca dan menghubungkan informasi yang datang dalam format berbeda:

• price action,
• derivatives,
• macro,
• market structure,
• ETF flows,
• on-chain activity,
• berita,
• narrative,
• dan event risk.

Namun ada desain yang sangat mudah dilakukan dan sangat sulit diaudit:

masukkan seluruh data ke satu LLM lalu minta “prediksi Bitcoin”.

Output-nya mungkin terdengar cerdas.

Tetapi kita kemudian kesulitan menjawab:

• evidence mana yang paling memengaruhi keputusan?
• apakah model mengabaikan data penting?
• apakah narrative mengalahkan data numerik?
• apakah reasoning konsisten antar-run?
• apakah sistem dapat direproduksi?
• dari mana confidence berasal?

Arsitektur yang lebih defensible memisahkan fungsi.

Seperti Apa Arsitektur yang Lebih Masuk Akal?

1. Data Layer

Mengumpulkan data objektif seperti:

• harga,
• volume,
• funding,
• open interest,
• volatilitas,
• market structure,
• institutional flows,
• macro events,
• dan data lain yang memiliki provenance jelas.

2. Signal Layer

Data mentah diubah menjadi feature dan kondisi yang lebih terstruktur.

Contohnya:

Funding elevated

bukan sekadar:

Funding = 0,0123%

atau:

Volatility expanding

bukan hanya nilai ATR mentah.

3. Specialist Analysis

Analisis dipisahkan berdasarkan domain.

Misalnya:

Trend

Volatility

Market Structure

Derivatives

Liquidity

Macro

Flows

Pemisahan seperti ini membuat kontribusi setiap evidence lebih mudah diaudit.

4. Aggregation

Evidence kemudian digabungkan.

Yang penting, sistem tidak harus memaksa seluruh komponen untuk setuju.

Jika trend bullish tetapi derivatives menunjukkan positioning terlalu padat, disagreement tersebut merupakan informasi.

5. AI Interpretation

LLM kemudian dapat digunakan pada pekerjaan yang memang menjadi kekuatannya:

menjelaskan apa yang berubah,

mengapa perubahan tersebut relevan,

evidence mana yang saling memperkuat atau bertentangan,

dan

risiko apa yang perlu diamati berikutnya.

Dengan desain seperti ini, LLM bukan oracle.

Ia merupakan salah satu komponen dalam sebuah intelligence pipeline.

Multi-Agent Tidak Otomatis Lebih Pintar

Jika satu AI bagus, apakah sepuluh AI berarti sepuluh kali lebih baik?

Tidak.

Bayangkan sepuluh agent:

• menggunakan foundation model yang sama,
• menerima data yang sama,
• menggunakan prompt yang hampir sama,
• dan melakukan reasoning yang serupa.

Jika sembilan mengatakan bullish, kita mungkin tergoda menyebutnya:

9 dari 10 AI bullish.

Namun sembilan suara tersebut belum tentu merupakan sembilan sumber evidence independen.

Mereka mungkin hanya menghasilkan kesalahan yang sangat berkorelasi.

Multi-agent lebih menarik ketika terdapat diversity of evidence atau diversity of function.

Contohnya:

• agent derivatives,
• agent macro,
• agent market structure,
• agent liquidity,
• agent on-chain,
• agent yang secara khusus mencari counterargument,
• serta agent yang memeriksa kualitas data.

Tujuan multi-agent bukan memperbanyak jumlah suara.

Tujuannya:

memperbanyak independent checks.

Tujuh Prinsip Forward-Validated Crypto Intelligence

Jika sebuah sistem AI ingin membangun track record yang kredibel, setidaknya ada tujuh prinsip yang menurut kami penting.

1. Point-in-Time Data

Model hanya menggunakan informasi yang benar-benar tersedia ketika forecast dibuat.

Tidak boleh ada future information yang bocor ke input.

2. Frozen Forecast

Assessment harus disimpan sebelum outcome diketahui.

Setidaknya mencakup:

• timestamp,
• model version,
• data snapshot,
• bias,
• confidence,
• horizon,
• scenario,
• dan invalidation.

Forecast lama tidak boleh diam-diam ditulis ulang setelah pasar bergerak.

3. Outcome Ditentukan Sebelumnya

Cara menentukan benar atau salah harus ditentukan sebelum outcome diketahui.

Jika forecast memiliki horizon 24 jam, sistem tidak boleh memilih timeframe yang paling menguntungkan setelah melihat hasil pasar.

4. Baseline Comparison

AI harus dibandingkan dengan metode sederhana.

Jika model kompleks tidak memberikan tambahan informasi, kompleksitas tersebut perlu dipertanyakan.

5. Regime Analysis

Performa sebaiknya tidak hanya dilihat secara agregat.

Pisahkan berdasarkan kondisi seperti:

• trending,
• ranging,
• high volatility,
• low volatility,
• macro-event,
• leverage-heavy,
• atau liquidity-stressed.

Misalnya model bisa memiliki:

60% accuracy secara keseluruhan

tetapi ternyata:

72% ketika trending

dan

44% ketika sideways.

Informasi kedua jauh lebih berguna daripada angka agregat pertama.

6. Confidence Calibration

Confidence harus dibandingkan dengan outcome aktual.

Tujuannya bukan menghasilkan angka besar.

Tujuannya mengetahui apakah:

tingkat keyakinan model memiliki hubungan yang konsisten dengan reliability-nya.

7. Failure Analysis

Kesalahan tidak boleh disembunyikan.

Justru failure merupakan salah satu sumber informasi paling berharga.

Setiap forecast yang salah dapat diperiksa:

• apakah data bermasalah?
• apakah ada regime shift?
• apakah model salah membaca leverage?
• apakah event eksternal mengubah kondisi?
• apakah satu signal terlalu dominan?
• apakah model terlalu percaya diri?

Sistem intelligence yang baik bukan sistem yang mengklaim tidak pernah salah.

Sistem yang baik adalah sistem yang:

mengetahui kapan ia salah, mencatatnya, dan belajar dari distribusi kegagalannya.

Jadi, Bisakah AI Memprediksi Bitcoin?

Jawabannya tergantung pada apa yang kita maksud dengan kata memprediksi.

Jika maksudnya:

mengetahui secara konsisten berapa tepatnya harga Bitcoin besok,

maka standar pembuktiannya sangat tinggi, dan penelitian yang tersedia belum memberi alasan untuk memperlakukan AI sebagai mesin ramalan yang reliably mengetahui harga masa depan.

Studi out-of-sample pada cryptocurrency menunjukkan bahwa predictive relationship yang terlihat bagus di dalam sampel dapat melemah ketika benar-benar diuji terhadap data baru.[3]

Systematic review yang lebih baru juga masih menggambarkan forecasting Bitcoin sebagai persoalan yang sulit akibat volatilitas tinggi dan dinamika pasar yang kompleks.[5]

Namun pertanyaannya menjadi jauh lebih menarik jika kita mengubahnya menjadi:

Bisakah AI membantu kita mengidentifikasi regime, menggabungkan banyak sumber evidence, mengukur ketidakpastian, mendeteksi perubahan kondisi, dan membuat scenario yang dapat diuji?

Di situlah AI mempunyai potensi yang jauh lebih realistis.

Nilai AI bukan karena ia terdengar yakin.

Nilainya muncul ketika ia mampu membantu manusia memproses informasi yang terlalu banyak, terlalu cepat, dan terlalu kompleks untuk dianalisis satu per satu.

Dari Prediction Menuju Intelligence

Ada perbedaan penting antara dua pendekatan.

Pendekatan pertama bertanya:

“Besok Bitcoin naik atau turun?”

Pendekatan kedua bertanya:

“Apa kondisi pasar saat ini, evidence apa yang mendukung masing-masing scenario, apa yang berubah sejak assessment sebelumnya, apa yang dapat membatalkan thesis, dan seberapa kuat bukti yang kita miliki?”

Yang pertama mencoba menebak masa depan.

Yang kedua mencoba mengurangi ketidakpastian.

Bagi kami, pendekatan kedua merupakan fondasi yang jauh lebih masuk akal untuk membangun crypto market intelligence.

Prinsip Bitmomo Research

Framework yang dibahas dalam artikel ini juga menjadi standar arah penelitian yang ingin kami dorong di Bitmomo.

Prinsipnya sederhana:

Buat forecast.

Catat waktunya.

Bekukan hasilnya.

Tunggu realitas.

Ukur outcome.

Pertahankan kegagalannya.

Kemudian perbaiki sistem.

Bukan hanya memperlihatkan prediksi yang benar.

Bukan memilih chart terbaik dari seratus eksperimen.

Bukan mengubah reasoning setelah mengetahui apa yang terjadi.

Jika sebuah sistem benar-benar memiliki predictive value, nilai tersebut seharusnya dapat bertahan ketika menghadapi data yang belum pernah dilihat.

Dan jika tidak, kita juga perlu mengetahuinya.

Karena tujuan market intelligence bukan membuat mesin yang selalu terlihat benar.

Tujuannya adalah membantu pengguna memahami:

apa yang sedang terjadi,

apa yang mungkin terjadi berikutnya,

apa yang dapat mengubah assessment tersebut,

dan yang paling penting:

seberapa besar alasan yang kita miliki untuk mempercayainya.

Referensi

[1] Sebastião, H. & Godinho, P. Forecasting cryptocurrencies volatility using statistical and machine learning methods: A comparative study. Applied Soft Computing, 2024.

[2] Bailey, D. H., Borwein, J., López de Prado, M., & Zhu, Q. J. The Probability of Backtest Overfitting. Journal of Computational Finance, 2015.

[3] Out-of-sample forecasting of cryptocurrency returns: A comprehensive comparison of predictors and algorithms.Physica A: Statistical Mechanics and its Applications, 2022.

[4] Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. On Calibration of Modern Neural Networks. Proceedings of the 34th International Conference on Machine Learning, 2017.

[5] Forecasting the Bitcoin price using various Machine Learning: A systematic review in data-driven marketing.Systems and Soft Computing, 2025.

Disclaimer

Artikel ini merupakan materi riset dan edukasi mengenai metodologi pengembangan sistem market intelligence. Artikel ini bukan rekomendasi investasi, bukan sinyal trading, dan bukan ajakan untuk membeli atau menjual aset kripto. Aset kripto memiliki volatilitas dan risiko kerugian yang tinggi.