Урок 3

Що таке калібрування, і коли ми можемо сказати, що ринок «правильно визначив»?

У цьому уроці розглядається оцінювання прогнозів через введення понять калібрування, точності та оцінки Брієра. Пояснюється, як за допомогою ймовірнісної мови вимірювати якість ринку, а також як розрізняти «вгадування правильного результату заднім числом» і «обґрунтованість оцінок імовірності».

Перш ніж заглиблюватися в рівні ймовірності, варто чітко визначити, що таке події та які правила їхнього розрахунку. Коли правила зрозумілі, постає наступне логічне запитання: чи можна довіряти ринковим цінам? Багато хто відповідає інтуїтивно: «Минулого разу спрацювало — отже, це має бути точним» або «Минулого разу помилилося — отже, ринки прогнозів не працюють». Обидва підходи надто спрощені. Ринки прогнозів видають не бінарний висновок «станеться/не станеться», а набір імовірнісних оцінок. Оцінювати, чи «спрацювали» вони, також потребує ймовірнісної мови.

Насправді ринок може часто «вгадувати результат», але бути суттєво зміщеним у ймовірнісному сенсі. Або ж він може часто «не вгадувати напрямок», але чесно відображати невизначеність. Оцінка лише за виграшем/програшем ігнорує найцінніший — і найменш зрозумілий — аспект ринків прогнозів: калібрування.

Щоб оцінити якість ринку, ми маємо запитати: Що таке калібрування і коли можна сказати, що ринок справді «правий»?

1. Точність проти калібрування: два різних види «правоти»

  • Точність відповідає на запитання: чи збігається кінцевий результат із прогнозом?

  • Калібрування відповідає на запитання: коли ринок каже 70%, чи справді близько 70% таких подій відбуваються?

Простий приклад показує різницю. Уявімо 100 випадків певної події, і ринок завжди оцінює ймовірність у 90%. Якщо 90 випадків трапляються, а 10 — ні, то оцінка 90% є розумною з точки зору калібрування. Якщо ж ринок завжди оцінює 51% для 100 подій, і рівно 51 відбувається, а 49 — ні, точність все ще «виглядає добре», але ринок майже не дає інформативної ймовірнісної розрізнювальної здатності — він просто завжди трохи схиляється в один бік.

І навпаки, чесна оцінка 60%, яка врешті не справджується, не означає, що «ринок збрехав»; 60% за своєю суттю означає 40% шансу, що цього не станеться. Ототожнювати «не сталося» з «провалом ринку» — це оцінювати ймовірнісний інструмент детерміністичним мисленням.

Для читачів ймовірнісне прочитання з Уроку 1 потребує тут уточнення: читання ринків прогнозів — це не лише про «який бік переважає», але й про те, чи чесно це зміщення відображає історичну частотність.

2. Калібрувальна крива: коли ринок каже X%, як часто це насправді відбувається?

Поширений спосіб оцінки калібрування — побудувати калібрувальну криву: згрупувати історичні прогнози за інтервалами ймовірності (наприклад, 50%–60%, 60%–70%, 70%–80%), а потім підрахувати фактичну частоту настання в кожному інтервалі. В ідеалі крива має наближатися до діагоналі — події, оцінені в 70%, повинні відбуватися приблизно в 70% випадків у довгостроковій перспективі.

Зазвичай трапляються три відхилення:

  • Надмірна впевненість: ринок оцінює 80%, але фактична частота значно нижча за 80%. Гарячі теми та ринки з єдиним наративом часто демонструють це.

  • Надмірна обережність: ринок оцінює 55%, але фактична частота перевищує 55%. Це може статися, коли інформація поширюється повільно або учасники обережні.

  • Недостатня кількість вибірок: замало історичних випадків у певному ймовірнісному інтервалі робить статистику нестабільною. Довгохвостові події та ринки на нові теми часто стикаються з цим.

Отже, калібрування — це не разова позначка «правильно/неправильно», а довгострокова властивість, яка потребує достатньої кількості спостережень та аналізу за інтервалами. Цей урок не має на меті дати точний коефіцієнт калібрування для будь-якої платформи — це вимагає професійних даних і методології, — а лише встановити рамки для оцінки: не судіть про калібрування лише за одним-двома гарячими ринками.

3. Оцінка Браєра: кількісне вимірювання «близькості до реальності»

Оцінка Браєра — це поширений показник якості ймовірнісних прогнозів. Для бінарних подій розраховується помилка кожного прогнозу відносно результату; що нижчий бал, то ближчі оцінки ймовірності до реальності (ідеальний прогноз має 0, повністю неправильний — 1; точний розрахунок залежить від формули).

Цінність оцінки Браєра полягає в тому, що вона штрафує «помилки надмірної впевненості». Оцінка 99% і невдача отримує більший штраф, ніж оцінка 60% і невдача, — це узгоджується з імовірнісним мисленням: перша претендує на значно більшу визначеність, тому помилка коштує дорожче.

Звичайним користувачам не потрібно розраховувати оцінку Браєра вручну, але варто розуміти її значення:

  • Якщо два ринки мають подібну точність, той, що з нижчою оцінкою Браєра, зазвичай виражає ймовірність більш чесно.

  • Якщо ринок часто підштовхує ймовірності до крайнощів (0 або 1), він може здаватися «рішучим» у короткостроковій перспективі, але довгострокове калібрування, як правило, гірше.

  • Щоб оцінити якість ринку, враховуйте як «чи було це правильно», так і «чи були ймовірності оцінені розумно».

4. Часова розмірність: за тиждень до vs. за годину до — це не той самий прогноз

Для однієї й тієї самої події котирування в різні моменти часу містять різну інформацію. Оцінка 40% за тиждень до гри може відображати склад команди, травми, розклад — середньострокові фактори; оцінка 65% за годину до гри може враховувати стартовий склад, погоду, новини в реальному часі. Обидва є «ймовірностями», але відповідають на дещо різні запитання: ранні котирування — це оцінки; пізніші наближаються до фінального консенсусу.

Читаючи ринки прогнозів, звертайте увагу на часову мітку. Обговорення «ринок завжди був бичачим» без урахування часу може спотворити інформаційну ефективність. Те саме стосується макроекономічних подій: контракт, пов'язаний з ФРС, за тиждень до даних NFP, і контракт за хвилину до публікації даних керуються різними факторами волатильності — вони не є взаємозамінними.

Ймовірності, показані на інтерфейсах Gate Prediction Market, є миттєвими знімками. Якщо Ви використовуєте топові можливості Gate for AI Agent для отримання макроекономічного фону (або макродані) (як-от ціна BTC, індекс долара, очікування щодо ставок), уточніть, що їхня мета — пояснити «чому ймовірності змінилися», а не підміняти рухи ціни активів безпосередньо на контракти «Так» щодо подій. Зростання BTC не означає автоматично, що ставки на схвалення криптоподії мають зрости — вони можуть бути пов'язані, але мають визначатися та перевірятися окремо.

5. Тематичні відмінності: політика, спорт і крипто мають різну калібрувальну продуктивність

Різні тематичні ринки дуже різняться за структурою учасників, джерелами інформації та ліквідністю; калібрувальну продуктивність не можна узагальнювати.

  • Політичні та виборчі ринки: інформаційно насичені та широко висвітлювані медіа, але поляризовані наративи можуть спричиняти фази надмірної впевненості; післявиборчі огляди часто обговорюють «передвиборчі 90% котирувань, що розходилися з результатом» — це проблема калібрування.

  • Спортивні ринки: правила чіткіші, довга історія даних, деякі мейнстрімові події добре калібруються; але раптові травми або суддівські суперечки все ще викликають короткострокові викривлення.

  • Крипто та ринки галузевих подій: пороги FDV, прогрес схвалення, запуски партнерств більше залежать від текстових визначень (див. Урок 2); спекулятивні учасники, керовані наративами, можуть домінувати, тонкі ринки та стрибкоподібні котирування — звичайне явище, калібрувальна волатильність зазвичай вища.

Тому твердження на кшталт «ринки прогнозів точні» або «ринки прогнозів неточні» є безглуздими. Натомість запитуйте: для яких типів подій, у які періоди, за яких умов ліквідності досягається калібрування?

6. Межі для ШІ та агентів: можуть систематизувати історію, але не можуть формулювати висновки

Gate for AI Agent або загальні інструменти ШІ можуть взяти на себе дослідницькі завдання в цьому уроці, такі як організація історичних базових ставок для певних подій, узагальнення минулих ринкових котирувань та результатів розрахунків, допомога в груповій статистиці або побудові калібрувальних кривих. Вони прискорюють організацію та допомагають формулювати гіпотези для перевірки.

Завдання, яких вони не можуть взяти на себе, включають: стверджувати «цей ринок завжди був точним» без читання оригінальних правил; упаковувати кілька випадків як загальні закони; або безпосередньо видавати «варто купувати Так». Будь-які згенеровані ШІ цифри повинні посилатися на оригінальні дані; якщо обсяг вибірки недостатній, слід чітко зазначити «недостатньо для оцінки калібрування», а не пропонувати хибну точність. Агенти зупиняються на дослідженнях; чи довіряти ймовірностям ринку — це рішення людини, засноване на правилах, ліквідності та незалежних джерелах.

7. Підсумок уроку

Ключове запитання цього уроку: Що таке калібрування і коли можна сказати, що ринок «правий»? Відповідь: на ринках прогнозів «правота» має два шари: чи настав результат, і чи були оцінки ймовірності розумними. Точність враховує лише перше; калібрування дивиться на довгострокову узгодженість оцінок. Індикатори, як-от оцінка Браєра, нагадують нам: оцінка 90% і невдача — це серйозніше ймовірнісне викривлення, ніж оцінка 60% і невдача.

Ми також бачимо, що час, тема та ліквідність суттєво впливають на калібрувальну продуктивність; не можна використовувати виграші/програші на одному гарячому ринку, щоб робити висновки про всі ринки прогнозів. Gate Prediction Market пропонує миттєві знімки поточного консенсусу; макродані Gate for AI Agent забезпечують порівняння фону, але не можуть замінити читання ймовірності самого контракту події.

Наступний урок перейде до іншого виміру, що визначає довіру: навіть якщо калібрування довгостроково добре, окремі котирування все одно можуть бути викривлені ліквідністю, спредами та маніпуляціями — ліквідність та інформаційна ефективність є важливими кроками при читанні ринків прогнозів.

Відмова від відповідальності
* Криптоінвестиції пов'язані зі значними ризиками. Дійте обережно. Курс не є інвестиційною консультацією.
* Курс створений автором, який приєднався до Gate Learn. Будь-яка думка, висловлена автором, не є позицією Gate Learn.