Re: [問題] 如何檢驗PECOTA?

看板Sabermetrics作者Epsilon (我是EPS)時間18年前 (2006/04/01 10:48)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串3/3 (看更多)

※ 引述《tradewind (No Day but Today)》之銘言： : 所以？20年前看重打擊率並不表示當時就沒有選球很好的球員，我並沒這麼說喔. 我要說的是, 因為各時代看重的特質不同本質上相同的打者, 或者N歲前表現相似的打者, 在N歲後, 在不同時代背景下可能會展現出不同的發展. 這是"可能"而已, 這並不是確定的, 而我認為這需要被檢驗. : 只是以前沒有得到應有的評價罷了。 : 況且如果20年前的球員真的和現在的球員不同， : 那PECOTA在做比較時，當然就不會說這兩批球員是近似的。是的. 但這不構成PECOTA的顯性問題, 因為可能會找到另一批相似的球員來被比對. 譬如, 假設我們有兩套歷史, (譬如一套重視選球, 另一套重視打擊率,) 某球員在第一套歷史中被認為與A群球員類似. 把他放到第二套歷史, 他可能不再與A群球員類似, 但可能會找到B群球員與他類似. 這兩套歷史的PECOTA預測, 哪個最可能近似於該球員真實的發展? 舉個實際的歷子, 譬如某25歲球員生涯展現出穩定的選球能力, IsoP正隨年齡成長而上升, 具有這樣的生涯曲線的球員在重視打擊率的年代與重視選球的年代應該都有, 可能只是數量多寡之差而已. 現在PECOTA要預測他在25歲之後的發展, 在眾多具有類似生涯曲線的球員中, PECOTA該選擇打擊率年代的球員? 還是該選擇選球年代的球員? 這些球員固然都有同樣的生涯曲線, 但因不同年代對不同表現的重視度不同, 這些表面上類似球員是否具有某些不同的隱性特質是沒有顯示在數據上, 但會影響其未來的? 在PECOTA架構下, 我認為這問題應該要被回答. : 同樣的，如果球員的career path真的隨年代不同而改變， : 那PECOTA也不會說這些球員是近似的。 : PECOTA的預測可以被挑戰，但我不認為是肇因於你所舉的這兩類情形。我是就我所能想到的範圍內舉例而已, 我並沒說一定是或不是. 但另一方面, 我認為PECOTA應該有辦法具體展現我說的兩個因素是否存在才對. 不論答案是正面還是反面, 總該要有個答案. 譬如, 如果您認為不是, 是否有數據佐證? 另一方面, 我也想請較一下您認為PECOTA可以被挑戰的原因為何. 我相信這架構之下還會有其它盲點是我沒看到的. : : 更有甚者, 就算我們相信棒球的面貌數十年間並沒改變, PECOTA是否真 : : 的挑中了關鍵數據? 舉個離譜的例子, 要是某系統用BABIP來預測投手能力, : : 這應該會被很多人笑吧, 因為BABIP並不是一個反映投手能力的好指標. : 這些是 PECOTA 比較的項目： : http://baseballprospectus.com/glossary/index.php?mode=viewstat&stat=38 我知道PECOTA比較的是這些, 而我的問題是這些比較項目是否為充份且必要. 我完全同意這些比較項目是有意義的, 但它們是否完備? 這些數據的內在意義是否會隨棒球發展的背景而有所不同? 這是我想知道的. : 就我看 BPro 的文章，PECOTA 是每年都有變得更聰明的， : 可以注意到更多的細節。至於這是設計者所做的改變， : 或是系統多了一年資料後發生的改變，我就不知道了。我完全可以接受目前的PECOTA並不完備, 畢竟這東西的歷史還不長. 所以每年除了資料的增加以外, 在方法論上有所改進也是合理的. 而我的疑問就是, 發展到目前這階段的PECOTA, 可靠度到底為何? 一個檢驗方式當然是, PECOTA做出預測後, 等一年, 然後把所有選手的實際表現綜合起來, 與PECOTA做的機率分布預測相比, 看看實際表現的分布是否符合PECOTA預期, 這當然包括mean/median是否偏離, 選手實際表現在mean/median以上以下的分布區間, 是否符合 PECOTA給出的誤差區間. 另一種檢驗方式更全面, 不需要等一年, 而且可以是PECOTA的內部檢驗. 那就是直接引用PECOTA的資料庫, 以年為單位, 直接把某年以後所有選手的資料蓋起來, 讓PECOTA以該年之前的資料做預測, 然後把預測結果與被蓋起來的資料比對. 這樣做的好處是, 不必等一年或多年, 就可以直接檢驗目前的PECOTA系統的預測準確度, 而且多蓋幾年的話, 就可以檢驗PECOTA的長期預測是否準確. 另一方面, 這還可以將不同年代背景的選手區隔開來, 可以檢驗我上面所說的時代背景是否會影響選手的發展走向等等..... 不知道PECOTA的發展過程中, 是否做過這類的檢驗. 我記得上個月BP 有篇文章拿年輕投手為樣本, 看看他們的實際表現是否符合PECOTA預測, 把這種測試的規模擴大, 應該就可以檢驗整個PECOTA的完備性吧? -- 孩子, 看到那蒼藍的小點了嗎？那是我們的家...... -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 128.171.163.167 ※ 編輯: Epsilon 來自: 128.171.163.167 (04/01 11:22)