誰是老大？－商業周刊的錯誤統計方法
by thinker
http://blog.pixnet.net/thinker/post/11604457
thinker | 6 December, 2007 22:34
前幾天在租書店隨手翻了最新的商周(1045期)，封面主題是關於子女排行的研究。
因為這是一個絕佳的統計負面教材，足以讓任何有數學觀念的人讀了倒彈
所以在此跟大家分享
原文內容
他的原文樂樂長寫了好幾篇，大家要讀原文可以按這裡看一下大致的內容，或去租書店翻翻（買的話我個人是覺得你錢太多沒處花）。
總之它：
1.引用了挪威學者的研究，發現在家中排行老大的智商比較高
「這是一份今年最新的研究報告，由兩位挪威學者，在國際知名的《科學》期刊聯手發表。這份研究，打破半個多世紀有關排行的爭論……」
2.收集了一堆關於老大成就比率高的資料
「老 大不僅智力偏高，也是贏者圈的常勝軍：他們最有權勢，美國總統有五三％是老大，兩岸領導人七五％也是老大（李先念、楊尚昆除外）；老大容易獲得高學術成 就，一百二十八位諾貝爾獎科學類得獎者，有四○％是長子（一九○一至一九七九年統計）；也是CEO主要族群；更是高穩定素質太空人的最大班底。」
3.做了一個統計，拿來跟國外的統計比較
「結果顯示，國內前五百大上市櫃企業的董事長，有三三‧三％在家中排行老大。相較國外機構全球行政總裁會Vistage的調查，美國執行長的老大比率為四三％，台灣的老大董事長比率少了約十個百分點。這代表台灣企業界並非老大勝出？實則非也。
若 將「功能性長子」（編按：上有姊姊的長男，根據心理學研究，他們雖非第一個出生，但被當成老大養育）也計入「廣義老大」定義，那麼，老大董事長的比率將驟 增至四八‧二％。也就是，在五百大上市櫃企業的董事長中，將近一半是排行老大。而這數字顯示，台灣的老大勝出現象略勝於國外。 」
4.再做一堆訪談
（懶得列了）
接下來就一一討論這些部分。
挪威學者的研究
雖然找不到論文原文，但研究的方法（對入伍新兵進行統計，比較排行與智商）至少大略看起來是可行的。如果研究者在過程中能成功過濾其它對智商的影響因素，讓家族排行跟智商的相關在統計上具有顯著性（significance），那的確可說是可信的研究。
注意喔，這個研究只告訴我們「家族排行可能跟智力有關，老大可能比較聰明」而已喔。它並沒有為文章中的其它過度引申的部分背書。
老大成就比率高？
本期雜誌封面寫著聳動的標語：「美國企業領導人43％是老大，美國第一批NASA太空人91％是老大，全球最有影響力的美國總統53％是老大，兩岸領導人75％是老大，諾貝爾獎科學類得主40％是老大」
這語氣辛可好像前陣子在哪裡看過？想起來了！電影「靈異２３」啦！
「宇宙萬物間，「23」這個數字似乎代表著深遠的意涵：地球以23度傾斜地軸自轉、人類的基因共有23對染色體、人體血液每23秒循環周身一次、歐基理得幾何學根據23個自然定律所建立…」
上面這兩段陳述一樣毫無意義。要知道，世間數字那麼多，要找到對論點有利的數字太容易了。為什麼偏偏列出NASA跟兩岸領導人，而不是某個搖滾樂團成員或是諾貝爾獎文學類的得主呢？
更何況「美國企業領導人43%是老大」也在列？這不是代表「超過半數（57%）的人不是老大」嗎？
這…也能扯！？
----
接下來聊聊商周自己進行的調查
也是個人覺得最胡來的部分
接下來該雜誌對國內大企業的老闆們作了調查。
「國內前五百大上市櫃企業的董事長，有三三‧三％在家中排行老大。相較國外機構全球行政總裁會Vistage的調查，美國執行長的老大比率為四三％，台灣的老大董事長比率少了約十個百分點。這代表台灣企業界並非老大勝出？實則非也。
若 將「功能性長子」（編按：上有姊姊的長男，根據心理學研究，他們雖非第一個出生，但被當成老大養育）也計入「廣義老大」定義，那麼，老大董事長的比率將驟 增至四八‧二％。也就是，在五百大上市櫃企業的董事長中，將近一半是排行老大。而這數字顯示，台灣的老大勝出現象略勝於國外。 」
這個調查至少犯了三個極度嚴重的錯誤，讓它的結果毫無意義：
一、忽略母體
「台灣的企業家有33%是老大」，這樣代表老大比較厲害還是比較差？不知道！如果台灣人口裡面只有20%是老大，而企業家裡卻有33%是老大，的確可以懷疑當老大與成就可能有正面影響，反之如果台灣人裡有60%是老大，則反而該懷疑有負面影響。
如果不知道人口排行的比率，「33%是老大」這個數字就毫無意義。
舉個例子，如果你發現某家店裡，「買牛奶的大多數都是醫生」，你得先弄清楚這家店是不是開在醫院旁，進店裡的客人就以醫生居多，而不是馬上得出「醫生喜歡喝牛奶」，「牛奶裡面有成分喝了會變聰明，所以可以當醫生」這種蠢結論。
問題在母體，笨蛋。
二、錯誤比較
「美國執行長的老大比率為四三％…如果將『功能性長子』計入，台灣老大董事長的比率將驟增至四八‧二％，台灣的老大勝出現象略勝於國外。」
誰說你可以這樣比的！！！
首先台灣與國外人口裡「老大」的比率想必不一樣。可能台灣的老大比較多，也可能國外老大多。就如第一點所講的，如果不考慮國內跟國外老大的比率，我哪知道哪邊的老大比較能當CEO！
再來國外Vistage的CEO統計裡面的「Firstborn（老大）」（就是佔43%的部分），根本沒有包含「功能性長子」。那為什麼商周對國內的統計裡面可以把功能性長子多加進去？
母體不同，對老大的定義也不同，這樣兩個統計結果也可以比較？
這不是美化數據自圓其說是什麼？去你的！
三、錯誤設計
我們回顧一下最一開始的挪威學者研究吧。這個研究主要的主張是「家族排行會影響智商或其它成就」。這才是什麼「排行教養學」的重點對吧？
可是在調查中作者都自己說了：「在華人家族社會，男性長子又是主要的繼承者。因此，台灣五百大企業董事長的『長子』比率偏高。」
這樣不是應該把「繼承家業的老大」從調查裡面扣掉嗎？需要調查的應該是「排行老幾的比較容易白手起家」，而不是「排老幾的比較能繼承董事長」。前者才跟前面的命題：「家庭排行會影響性格與能力」比較相關不是嗎？
總之，如果研究方法設計得錯誤百出，不管你收集多少資料，作了多辛苦的研究，描述的多麼偉大華麗，結果也只是毫無意義。
個案調查
最後商周訪談了很多老闆，有的是老大有的不是。
基本上訪談這種東西個人覺得看看就好。畢竟要找到一個人講出你想要他說的內容太容易了。比方說，你可以找一堆討厭某政治人物的人，一個接一個拍出一段訪談，把政治人物說得爛到不行。也可以同樣找一群拍馬屁的人，拍一連串歌功頌德的內容。
比較可以代表這個政治人物聲望的，反而是方法正確，過程精確的民調或客觀的證據。訪談只不過是種調味料，用比較鮮活的方式去陳述要表達的內涵而已。
可是基於上述的三項錯誤，我們已經發現文章的主菜（研究方法）其實是坨屎。如果把一坨屎拿來煮菜，不管加再多調味料(訪談)，對不起，好像也不過是在喇賽而已呴？
為啥我會這麼生氣
商周這幾篇報導的內容其實沒啥值得大驚小怪的（把誤用跟矛盾的東西去一去以後其實是沒啥內容）。老大就老大，有什麼了不起。但辛可看重的是研究方法跟數據這種東西。尤其我認為媒體必須正確科學地使用數據。
如果進行調查時沒有嚴格遵守科學與邏輯的方法，那麼其實可以變造、扭曲出任何想要的結果。偏向某黨的民調、對某商品有利的報導，都是很容易弄出來的。而一般沒有辨別力的大眾是會去相信的！這是一種嚴重的欺騙。
何況上面說的這些嚴重錯誤，根本還不是什麼高深的統計學！只是稍微有點統計概念的人都應該要懂的東西。
「如果你要用數據，就給我好好用；如果你不會用，就不要用」。這是我一直在強調的點。如果我們發現到媒體作調查的習慣跟態度是如此這般，那在其它議題與報導上，又能給予讀者多少可信度呢？
最後我在網路上找到一個MV，是施文彬唱的「誰是老大」。既然商周對於所有跟「老大」有關的東西應該都很有興趣，小弟就在底下提供一下，看他們有沒有興趣拿來當該期雜誌的主題曲這樣。 XD
