【680-710对比】【大神细致分析难度曲线】迷茫期，希望大家能帮忙指导下一步复习思路

阿尔的阳光

吳縣大 发表于 2018-5-11 00:55
這兩種都可以叫做CAT，前者是item-wise adaptive，後者叫section-wise adaption。GMAT是前者，GRE是後者 ...

改革后计分题减少了，但是我觉得并不是一题决定下一题的难度，而是一个set 决定下一个set,否则我和楼主正确率一样为什么整体难度差了却差了很多呢

吳縣大

阿尔的阳光 发表于 2018-5-11 09:49
改革后计分题减少了，但是我觉得并不是一题决定下一题的难度，而是一个set 决定下一个set,否则我和楼主正 ...

貼你的ESR出來我幫你解釋

Clemence4ever

吳縣大 发表于 2018-5-11 00:55
這兩種都可以叫做CAT，前者是item-wise adaptive，後者叫section-wise adaption。GMAT是前者，GRE是後者 ...

学习了！

阿尔的阳光

吳縣大 发表于 2018-5-12 04:20
貼你的ESR出來我幫你解釋

求赐教

吳縣大

阿尔的阳光 发表于 2018-5-13 10:55
求赐教

首先感謝樓主跟阿爾提供ESR，這次的分析主要目的是想要對CAT(computer adaptive testing)更加理解。前兩張圖是顯示工作方式，對錯題數是從長條圖的%讀出來的就不附上了，我是第一次把難度曲線給放那麼大(當然一定有更精確的作法)，所以貼個圖記錄一下。後兩張圖就是兩位Q1到Q4這四節的對錯平均難度製成表格。不考慮時間(因為官方代表說了，答題速度不影響分數，只會被用來偵測異常考試狀況-->有興趣以後再提)，也不考慮 verbal 三種題型(因為ESR也看不出來哪一節哪一個題型考了幾題)。

先看阿爾：這是一張漂亮的、較典型的ESR，紅藍沒有交叉，表示每一節平均而言程式大概都知道你的程度在哪邊，給你簡單的就會做(答對率高)，給你難的就不會做(答對率低)，最終Q4時達到了一個收斂點：三個點極為靠近，答對率正好一半一半。這個"難度"就是阿爾在這次考試展現出的"實力"。

再看C樓主：開局Q1平均難度就衝到了3.5 (沒有數據佐證但估計換算V分數大概35+)，Q2紅藍交換(且頗大)，可以說Q2即便6對1錯，但錯1題難度(相對於對題)低很多的題目，讓那6題的心血可說付諸流水。Q3 Q4回復正常紅比藍高的順序，Q3的表現跟Q1類似，若Q4能維持Q3的難度與正確率的話應該就是V 35+，但Q4下滑的很快，估計5題錯題中一定有難度較低(到負值)的題目，導致演算法持續下修對樓主實力的評估(對題難度也因此大幅下滑)。

最後再次回答阿爾之前的疑問：GMAT的CAT究竟是單題適性還是一節一節適性？我會說ESR並不是一個充分的、可以回答這個問題的工具。為什麼？因為考試本身帶有隨機性(CAT本來就是個統計概念的應用)，而ESR也故意不提供完整的資訊(以免暴露過多，讓考試的過多細節被破解)。我相信GMAT是單題適性是因為這就是官方歷年來的公開訊息與一致說法，用單題適性的角度來看ESR，存在有無法解釋之處(因為ESR常常無法得知單題的對錯與難度)但很少有明顯的矛盾。相對的，假如GMAT是一節一節適性，那應該每個考生的Q1平均難度都類似才對，但這兩位的ESR就提供了絕佳的反證。

Q1同樣5對3錯，但三種難度(對、錯、平均)明顯不同，所以(只看)正確率其實是假議題，要跟難度一起看才能更完整。可是即便如此，我們(考生、備考機構、ESR資料分析者)都看不出"隨機性"，有那種錯一題就Q50的ESR，錯題難度也沒特別低，但此後題目的難度就再也上不去了。歌唱選秀節目如果歌單用抽籤的，整季都抽到好唱沒難度因此無法凸顯個人特色與歌唱實力的芭樂歌，結果最後淪為演藝圈路人，請問要怪誰呢？只能怪運氣吧。

這個考試的確有機率的成分存在，所以要拿Q51是需要一點運氣的，因為那是bell-shaped分布的尾端了；但相對的如果實力有到V30 (裸考)，只要不粗心正常應考，考五六次可能都不會低於V25，因為那是分數分布的中間區段，樣本數夠估計就會相對準確，因為機率而產生的風險(變化)就會降低。

Clemence4ever

吳縣大 发表于 2018-5-15 09:43
首先感謝樓主跟阿爾提供ESR，這次的分析主要目的是想要對CAT(computer adaptive testing)更加理解。前兩張 ...

非常感謝吳縣大的專業分析！
感覺是這樣的
1、儘量不要錯簡單題，就會出現我這樣紅藍交叉的情況，GMAT不會考慮粗心的問題，只會根據演算法計算，一道簡單題就會把許多難題的努力付之東流。
2、最後一段也非常重要，會很影響總評……
3、樓主這次非常偏科，邏輯和語法都是60-70%的水準，但是閱讀只有30%。考試的時候到了後一半的比較慌。語法有硬知識撐著，邏輯有邏輯鏈的結構還不錯，就是閱讀沒了章法就很慘了。希望各位褲頭考生能多多穩定心態，好好理清文章結構。
想再問一下吳縣大老師，您覺得我這次的實力，不考慮發揮因素大概能達到多少呀？

Clemence4ever

Ray0203 发表于 2018-5-9 02:53
樓主之前發過不少緊張文阿 這分數應該還ok吧？
我首戰V跟你差不多分數  不過我第三part正確率7X 第四part4X ...

还OK，就是觉得能发挥更好，有点不甘心。
加油一起分手！

阿尔的阳光

吳縣大 发表于 2018-5-15 09:43
首先感謝樓主跟阿爾提供ESR，這次的分析主要目的是想要對CAT(computer adaptive testing)更加理解。前兩張 ...

谢谢你的详细回复。。。
不过我觉得还是没能证明到底是一题一题定难度还是几题几题改变难度。
因为我和楼主错误率相同，且我没有错过非常简单的题目情况下，难度却差了一个等级，
可能是因为我没做对过比较难的题，错失了升库机会，或者出现了连错等等。
很有可能是我一开始就错了中等难度的题目，因为楼主正确的题目难度都比我高，也就是说我们很早就分库了

阿尔的阳光

吳縣大 发表于 2018-5-15 09:43
首先感謝樓主跟阿爾提供ESR，這次的分析主要目的是想要對CAT(computer adaptive testing)更加理解。前兩張 ...

还有就是这是我最差的一次V，所以才觉得奇怪，因为考完感觉自己的正确率不低，但是分数却奇低。。事实证明确实是没有被升库。。换库之后给你升库机会不像以前那样多了，可能只有一道题，没有把握好就直接进低一点的库。。

吳縣大

阿尔的阳光 发表于 2018-5-15 15:21
谢谢你的详细回复。。。
不过我觉得还是没能证明到底是一题一题定难度还是几题几题改变难度。
因为我和楼 ...

谢谢你的详细回复。。。
不过我觉得还是没能证明到底是一题一题定难度还是几题几题改变难度。
因为我和楼主错误率相同，且我没有错过非常简单的题目情况下，难度却差了一个等级，
可能是因为我没做对过比较难的题，错失了升库机会，或者出现了连错等等。
很有可能是我一开始就错了中等难度的题目，因为楼主正确的题目难度都比我高，也就是说我们很早就分库了

• 的確沒能證明，但幾題幾題改變難度的說法會比較牽強，此外因為有測試題參雜其中，所以用"感覺"的都是不準確的。我相信題題適性的最主要原因：官方說法。
• 你的Q1 "沒有錯過非常簡單的題目" 也是一件無法證明的事情，因為我們只看到錯三題，平均難度2.2，不表示那三題錯題的難度都是2.2，說不定有一題-0.6，兩題3.6。取平均是資訊的壓縮(與損失)，舉例說明C樓主的Q2如果跟Q3合併計算，對9錯5，對錯題平均難度會很接近。從答對率來看一樣超過五成，但Q1到Q4卻走了下坡。可以這麼說，C樓主Q2錯的那一題是碰巧才能被清楚顯示在ESR上面、顯示出紅藍線交錯的效果，如果Q3的兩個錯題提早一點錯，被放進Q2裡面的話，看起來的難度曲線肯定又不同了。
• 推薦去做一下Manhattan Prep的模擬考，做完後(應該是題題都計分)會有累積分數曲線(有點像股票走勢圖的)，多玩個幾次，故意錯個簡單題看看，就知道錯簡單題對分數有多傷了
• "分庫"是個過度簡化的概念，當然你可以去想像"哎呀我就是錯了某一題所以之後就再也起不來了"，一樣無法證明這是否正確但我個人還是相信，最終分數是隨機演算法的統計結果，這種統計的東西不會去偏好所有計分題當中的某幾題，因為那樣會造成準確度的下降。