予測の解剖学
非構造化予測データを構造化データに変換する。
数字は圧縮である
世界は単一の数字として現れる予測によって動いている。世論調査は60%と伝え、市場は同じイベントを61セントで価格付けし、予測家はそれを0.6と呼ぶ。それぞれの数字はデータとして扱われるが、それは最も深い意味で非構造化データである。高次元の対象の一次元的な影であり、結果を決定するすべてのものは入り口で捨てられている。
二つのコンセンサスは、どちらも60パーセントと、見た目は同じでも、正反対の未来を内包することがある。一つは人々が何者であるかに基づく岩盤であり、攻撃されるとさらに強固になる。もう一つは群衆から借りてきたものだ。誰もが去っていくことを誰もが知るまで持ちこたえ、そして午後には消え去る。地球上のあらゆる機器は、これら二つを同じ数字として報告する。なぜなら、その数字が機器が伝えられるすべてだからだ。
意見と予測は波である
どんなコンセンサスの下を見ても、それは量であることをやめ、重ね合わせになる。集団全体で、信念は波のように振る舞う。理由が揃うところでは、それらは強め合い、信念は強く安定する。対立するところでは、信念は脆弱になる。打ち消し合うところでは、表面は穏やかになるが、その下には巨大な力が秘められている。その平坦な読みこそが、一夜にしての崩壊に先行するものである。
その読み、すなわち合成された高さが、あらゆる世論調査、価格、予測が報告するものである。その構成こそが、次に何が起こるかを決定する。脆弱性は、直感で察するべき謎ではない。それは構成要素の算術なのだ。
あらゆる機器は高さを読む。私たちは波を読む。
トポロジーを読む
構成には形がある。どんな質問でも集団をサンプリングすれば、その分布は平均が決して教えてくれないことを教えてくれる。あなたが見ているのが一つの群衆なのか二つなのか、密度が実際にどこにあるのか、そしてどのクラスターが最初に動いているのか。
下の図は、分裂したサンプルである。言語モデルのアンサンブル、つまり人間のように世論調査されたフラット化された声は、一つの山から自信を持って答える。集団の平均は、ほとんど誰もいない谷間に着地する。遠くの斜面では、追跡されている先行者のクラスターがすでに形成されつつある。同じ質問に対する三つの読み。一つは間違っており、一つは無意味であり、一つは形を見なければ見えない。
非構造化から構造化へ
これこそが、文明モデルが予測に対して行うこと、すなわち分解である。Earthlingsにどんな質問をしても、その答えは解剖図を伴って返ってくる。コンセンサスがどれほど強固か。そのうちどれだけが確信で、どれだけが同調か。打ち消された緊張はどこにあるか、圧力下で数字がどちらに傾くか、そして世界を未来に進めたときの未来の分布はどうか。
その解剖図は、文字通りの意味での構造化データである。機械が読み取り、比較し、監視し、作用できるフィールドだ。世界の予測は不透明なスカラーであることをやめ、内部構造を持つオブジェクトとなり、他のすべてと同じインターフェースを通じて問い合わせ可能になる。
その目的
予測市場：同じ価格の二つの契約は同じ賭けではなく、解剖図がどちらが混雑していてどちらに傾くかを示す。金融：コンセンサスと混雑した取引の違いは構成であり、巻き戻しが起こる前に見える。政治：岩盤の有権者とカスケードの有権者は、調査では同じように見えても、結果は異なる。メディアとブランド：定着する物語と砕け散る物語は、初日は同じ数字を生み出すが、3週目には正反対の現実を生む。
そして機械。文明に問いかけるAIは、雰囲気の代わりに構造、群衆の解剖図を入力として受け取る。失われた器官は構造化データで話すのだ。
要点
人類は、最も価値のあるデータセットをすでに毎日生成している。それは、自らに関する予測である。ただ、それを高さ以上のものとして読み取ることができなかっただけだ。波を分解すれば、同じ数字が構造になる。堅固か中空か、力が溜まっているか尽きているか、分裂しているか崩壊しているか。
非構造化データの入力、構造化データの出力。