Re: [問題] 如何檢驗PECOTA?

看板Sabermetrics作者tradewind (No Day but Today)時間18年前 (2006/04/01 09:38)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串2/3 (看更多)

※ 引述《Epsilon (我是EPS)》之銘言： : 對於PECOTA我一直有個疑問, 那就是, 這個系統的正確性是否有經過 : 驗證? : 如果我的瞭解沒錯, PECOTA的基本精神是, 依球員各項數據隨年齡變 : 化的走勢, 找出歷史上與之最相近的球員, 再從這些相似球員的走勢, : 來預測此球員在未來數年的表現. 當然, 此一預測是有誤差區間的, : PECOTA給的預測除了mean, median以外, 也給出一個機率分布. : 對於這樣的一個系統, 是否需要驗證其正確性? 首先, PECOTA有提供 : 球員相似度指數, 指數低於20者, 表示歷史上找不太到與此球員相似 : 的球員以供比對, 譬如一朗的相似度是19, King Felix與老克的相似 : 度只有1, 臂力胖子的相似度甚至是0. 對於這些球員, PECOTA已經承 : 認它的架構無法正確處理, 所以我們不就這種球員找PECOTA的麻煩. : 但在相似度40以上的球員呢? 這些球員有足夠的歷史上的球員來比對, : PECOTA是否就能提供正確的預測? 如果我們相信, 棒球的型態一直以 : 來沒有太大的改變, 所以球員隨年齡發展的模式也都一樣, 那這個架 : 構或許可自圓其說, 而不需要外在的檢視. : 問題就在, 棒球的型式並非不變的, 20年前大家重視的是打擊率, 而現 : 在有一半以上的球隊在球員育成時更重視上壘率. 以前的球員年過35就 : 開始大走下坡, 現在的球員因醫療訓練的發達, 以及程度不明的禁藥影 : 響, 40一條龍並不罕見. 所以？20年前看重打擊率並不表示當時就沒有選球很好的球員，只是以前沒有得到應有的評價罷了。況且如果20年前的球員真的和現在的球員不同，那PECOTA在做比較時，當然就不會說這兩批球員是近似的。同樣的，如果球員的career path真的隨年代不同而改變，那PECOTA也不會說這些球員是近似的。 PECOTA的預測可以被挑戰，但我不認為是肇因於你所舉的這兩類情形。 : 更有甚者, 就算我們相信棒球的面貌數十年間並沒改變, PECOTA是否真 : 的挑中了關鍵數據? 舉個離譜的例子, 要是某系統用BABIP來預測投手能力, : 這應該會被很多人笑吧, 因為BABIP並不是一個反映投手能力的好指標. 這些是 PECOTA 比較的項目： http://baseballprospectus.com/glossary/index.php?mode=viewstat&stat=38 : 所以, PECOTA還是需要被檢驗的, 一是檢驗歷史是否真的可以用來預 : 測未來, 二是檢驗PECOTA是否用對了關鍵數據. : 有人做過這樣的檢驗嗎? PECOTA系統內建了檢驗機制嗎? 就我看 BPro 的文章，PECOTA 是每年都有變得更聰明的，可以注意到更多的細節。至於這是設計者所做的改變，或是系統多了一年資料後發生的改變，我就不知道了。 -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 203.67.105.23