傳媒

一項突破性的研究發現，學術論文的標題中如果包含連字符（hyphens），會對文章「引用率」（citation counts）和「期刊影響因子」（journal impact factors）的計算，産生不利影響，這現象發生於所有學科領域，而且與論文内容的質量無關。

研究結果對於學術界通常利用「引用率」和「期刊影響因子」作爲評審論文、期刊，甚至學者表現的標準，提出了根本性的挑戰。

有關文章剛在國際頂尖學術期刊《IEEE軟件工程彙刊》（IEEE Transactions on Software Engineering）發表，題爲〈蛻變式健壯性測試：揭露在引用率統計和期刊影響因子中隱藏的缺陷〉（Metamorphic Robustness Testing: Exposing Hidden Defects in Citation Statistics and Journal Impact Factors）。

文章作者周智泉在香港大學取得博士學位，現任澳大利亞的伍倫貢大學（University of Wollongong）計算及信息技術系副教授，謝俊謙教授是港大計算機科學系名譽教授，韋勵治（Matt Witheridge）是伍倫貢大學的博士研究生。

Scopus 和 Web of Science 是全球兩個最主要的文獻索引系統。《泰晤士報高等教育世界大學排名》和《QS世界大學排名》均採用 Scopus 所提供引用率統計數據作為衡量大學排名的一個重要指標。Web of Science 提供的「期刊影響因子」則是判定學術期刊引用頻率的指標，表示該刊物的重要性。

謝教授和團隊提出一種創新的驗證方法，命名為「蛻變式健壯性測試」（metamorphic robustness testing），並應用於 Scopus 和 Web of Science 兩個文獻索引系統。「健壯性測試」是測試系統處理錯誤輸入或其他無法預計情況的能力，例如當文章標題輸入有錯漏，索引系統能否適當地處理其引用。研究結果顯示，兩個系統都有健壯性缺陷，以致在處理包含連字符的論文標題時，會作出錯誤的引用率統計。

早在2015年，Letchford及其同事對 Scopus 做了一項大規模研究，發現標題較短的論文比標題較長的更頻繁被引用，研究結果獲國際媒體包括《科學》和《自然》等廣泛報道。

謝教授和團隊今次的研究卻發現，論文的引用率其實是受到標題中連字符數量所影響。因爲在一般情況下，連字符越多，標題會越長，於是造成了之前報導的標題長度影響引用率的假象。

謝教授和團隊明白，論文的引用情況在不同的學科範疇可以有很大的差異。所以如果化學論文的引用率相對不高，而標題又經常有很多連字符的化學學名，就會造成「連字符越多，引用率越低」的虛假關係。研究團隊因此對特定學科範疇的期刊作深入研究，結果顯示，即使局限於特定學科，標題中的連字符還是會對論文引用率産生不利影響。

研究團隊在文章層面和學科層面的研究成果之上，再進一步分析了論文標題中的連字符在期刊層面對「期刊影響因子」的影響，結果發現「影響因子」越高的期刊，有連字符的論文標題則越少。

謝教授表示：「一直以來，論文引用率被中外學術界、政府以及資助機構採納爲科研評價的關鍵指標，因爲人人都相信它能夠公正、可靠地衡量論文的貢獻和重要性。我們的研究結果對此提出質疑：標題中一個與論文質素毫無關係的『連字符』就可以扭曲引用率。同樣地，研究結果也挑戰了『期刊影響因子』的有效性。」

謝教授補充說：「這意想不到的發現，關乎大學内所有學者，不僅對教研人員的晉升和終身聘用機制有深遠影響，大學的高層管理人員包括校長、院長、系主任等亦必然要關注。」

可供參考的文件
謝教授和團隊的論文：https://doi.org/10.1109/TSE.2019.2915065
2015年Letchford及其同事的論文：https://doi.org/10.1098/rsos.150266
2015年《科學》新聞報導：https://doi.org/10.1126/science.aad1669
2015年《自然》新聞報導：https://doi.org/10.1038/nature.2015.18246

傳媒查詢
港大計算機科學系謝俊謙教授（電話：+852 9610 9906；電郵：thtse@cs.hku.hk；網站：https://hku.hk/thtse）
港大工程學院李美珊小姐（電話：3917 8519；電郵：leecelia@hku.hk）