肆、評鑑資料結果分析
　　這次評鑑計劃之使用率調查由期刊組負責，訂購價格、JCR 排名與索摘等項目由學術小組負責，並諮詢本校 36 個系所老師對「評鑑項目權重」與「專家意見」這兩個項目的看法，其中有 32 個系所表達其對「評鑑項目權重」看法，「專家意見」所有系所均對其所屬期刊之重要性表示意見。根據所回收的資料以及其他四個評鑑項目，我們做了下列幾種結果分析探討。
一、原始數據與得分
(一) 期刊單項得分
　　由於各評鑑項目本質不一，無法直接進行加總記分，因此各期刊評鑑項目會先以各項特質標準化後的單項得分，再進行加總評比。以電機系排名第一的期刊 IEEE Transactions on Pattern Analysis and Machine Intelligence 為例，它的使用率為 23 次，訂購價格美金 152.81 元，JCR 分類排名（Impact Factor）在 146 種期刊中排名第二名，依 The Serials Directory 資料庫顯示 IEEE Transactionson Pattern Analysis and Machine Intelligence 被 30 種索引摘要資料庫收錄，專家評定重要性得分為 78。標準化後各項得分是使用率 100，價格 85，JCR 100，索摘 19，專家意見 78（見表四）。

(二) 權重表
　　由於各系所期刊使用模式不盡相同，對各個評鑑項目的重要性也有不同看法，所以在計劃中各項目的評分計算，各系所可透過權重表來呈現其重要性。這次共發出 36 份的權重調查表，回收 32 份，回收率為 89%。由回收比率及各系所填寫的資料，也印證了前述假設，各不同學科背景專家對期刊重要性評定因子看法確實有蠻大的差異性。因為考慮各學群在期刊利用及對評鑑項目上可能有的差異性，因此在計劃中列出三種考慮的權重計算方式，一是各系所平均權重，一是學群平均權重，以及各系所自訂權重。經討論後發現，由於不同學院系所間對權重認定差異過大且期刊利用特質不同，決定僅以學群及系所自訂權重計算各期刊得分產生加權總得分表（見附件一）。

　　所有系所依其相關性共分為十個學群，包括土木、化工、文史、生物、社科、設計、電機、管理、數學、機械等（見表五）。以電機學群為例，該學群包括資訊、工科、物理、電機、醫工等五個系所，各系所自訂權重如表六所示。學群之平均權重：使用比率 19、期刊訂價 14、JCR 23、索摘 4、專家意見 20。

　　由於各系所回收資料有部份不完整，例如部份系所未填權重表以及配分過細等，都造成單純以原始數據計算的困難，因此在權重計算上略做調整。
1. 未填權重表
　　在受調查的 36 個系所中有地科、化學、都計、製造等 4 個系所未提供權重配分，其「系所自訂權重」即採計其所屬學群平均權重。
2. 權重配分非整數
　　在受調查的 36 個系所中，有材料、環工、航太等 3 個系所提供的權重配分非整數，為便於計算都調整為整數。例如材料系其原始權重配分為使用率 27.4、期刊訂價 11.9、JCR 20、索摘 16.9、專家意見 23；調整後其權重配分為使用率 27、期刊訂價 12、JCR 20、索摘 17、專家意見 24。
3. 權重合計未達滿分（100）
　　在受調查的 36 個系所中土木系所提供的權重配分合計僅 80，不足之 20 平均加入原始配分。其原始權重配分為使用率 30、期刊訂價 15、JCR 15、索摘 10、專家意見 10；調整後其權重配分為使用率 38、期刊訂價 19、JCR 19、索摘 12、專家意見 12。
4. 跨學群系所
　　在 36 個系所中，環工系所表示該系所利用之期刊內容部份與土木學群相關，建議將環工所屬之期刊納入土木學群共同評比，提供參考。鑑於此土木學群權重計算有兩種方式，原始學群組包括土木、材料、水利、測量、地科，其平均權重配分為使用率 20、期刊訂價 12、JCR 13、索摘 8、專家意見 47；調整學群組後其平均權重為使用率 25、期刊訂價 11、JCR 13、索摘 10、專家意見 41。
(三) 學群及各系期刊排名結果
　　由於各學科所使用的期刊主題共通性不盡相同，因此經過分析討論後，僅就學群及系所提供相關的排名資料供各單位參考。以電機學群為例，在學群中排名前五名的期刊為 Science（95.40 分）、Scientific America（94.16 分）、Nature（90.36 分）、Applied Spectroscopy（76.20 分）、IEEE Transactions on Pattern Analysis and Machine Intelligence（74.06 分）（見表七）；得分較不理想的五種期刊為 Designs Codes and Cryptography（22.80 分）、Integrated Ferroelectrics（22.24 分）、Journal of Mathematical Systems Estimation and Control（20.84 分）、Russian Microelectronics（20.22 分）及 SAE Transactions（index）（15.80 分）（見表八）。

　　屬於電機學群的物理系，所屬期刊排名前五名的分別是 Science（95.40 分）、Scientific American（94.40 分）、Nature（90.00 分）、Applied Spectroscopy（79.20 分）、Physics Today（77.0 分）（見表九）；得分較不理想的五種期刊則分別為 Applied Solar Energy（28.60 分）、Comments on Nuclear & Particle Physics（27.40 分）、Journal of Experimental and Theoretical Physics（26.00 分）、Nuclear Physics, B Proceedings, Supplements（20.40 分）、Integrated Ferroelectrics（19.00 分）（見表十）。

二、現象剖析
(一) 學群的區分
　　在學群區分上的爭議可以分為兩部份來談，其一是本計劃對學群認定與系所老師對學群認定上的差異，另一是計劃學群認定與資料來源學群認定的差異。與使用者認定差異在受訪的 36 個系所中情況並不嚴重，36 系所中環工與藝研對所屬群組有不同意見，環工認為其應屬於土木而非化工學群，藝研則由原來的文史另加屬設計學群。這樣的轉變可能會使得部份該系所使用的期刊不在其評定的範圍內而使結果有所誤差。但由於科系並不多因此影響範圍有限。
　　另一與學群相關的問題則是在其他資料收集上的誤差。在這次的評鑑計分項目，包括了 JCR 的引用重要性計分，由於本計劃評鑑的基礎是以學群為單位，因此也試圖由 JCR 所提供的資料中找出以學群為評量基礎的計分資料。在這部份最引起爭議的部份就是 JCR 的學科區分與本計劃所設計的學群區分不盡相同，甚至有些科系會因分屬於兩個以上的 JCR 類別，造成分數選擇上的困擾。雖然本計劃以最高分計算，但是否會引起評定基礎不公的情況則有待商榷。
(二) 適合參考的工具
　　在這次的評鑑計分過程中，索摘與 JCR 排名部份分別參考了 The Serials Directory 以及 JCR，這些參考工具在資料的選擇上可能會造成評鑑期刊的盲點。就主題性來說，The Serials Directory 所收錄的學科主題資料涵蓋各學科，但並非一個十分完整的清單，因此所評估的期刊資料若屬於未被收錄的期刊群中，得分就較低，但是這不一定能正確反應這份期刊在該學科中的重要性，因此可能會有所疏漏，這是再進行類似計劃所要避免的。而 JCR 排名評量對文史類期刊則不適用，對文史期刊 ISI 並無適合的資料庫可供參考，因此在最後的分數計算部份，文史類期刊則不計 JCR 排名得分，將所佔分數之比例分入其他項目（見表十一）。以外文系所為例，原始的權重為使用率 5、期刊訂價 5、JCR 20、索摘 20、專家意見 50；調整後其平均權重為使用率 6、期刊訂價 6、索摘 25、專家意見 63。而文史學群平均權重為使用率 8、期刊訂價 5、JCR 20、索摘 17、專家意見 50；調整後文史學群其平均權重為使用率 10、期刊訂價 10、索摘 33、專家意見 47（見表十二）。

(三) 專家意見與使用率的差異性
　　一個有趣的現象在這次評鑑結果顯現出來，部份專家學者所認定的重要期刊在使用率上偏低，造成原因可能是推廣不夠，或是該期刊僅在該學科的某些主題上具有相當的重要性。以電機學群的 Journal of Applied Biomechanics 為例，在專家意見得分中排名第一，但在使用率上排名 250 名﹔電機學群中專家意見得分的前 35 名，其中有三分之一的期刊使用率排名是在 150 名以後的。
(四) 專家意見與學科索摘排名的差異性
　　從學群或各系所評鑑結果顯示，廣被多種資料庫索摘的期刊在專家意見得分上並沒有突出的表現，或由於內容含蓋較廣泛的期刊，容易被各種資料庫收入，而專家所認定的優良期刊多會限於某一研究專業，因此兩因子稍呈現負相關。以電機學群前二十名期刊為例，Communications of the ACM 這份期刊的索摘排名在 453 種期刊排名第六，但在專家意見部份則為第 322 名。（見表十三）

(五) 使用率調查的省思
　　由本次評鑑計劃之使用率調查結果，我們發現多數期刊的使用率普遍不高，甚至可以說偏低，使用次數低於 10 是相當普遍的情況。當然由於使用率只針對現刊作調查，而過刊的利用並未被考量進來，對結果的呈現造成一個不小的誤差，納入過刊的使用統計數據是應加以考量的。另外在使用率的資料收集上，這次計劃中所採用由使用者自由勾選的方式十分不嚴謹，部份讀者在使用過後若遺忘勾選，數據呈現上就有誤差；另一個考量是使用的定義，瀏覽目次表可否納入使用率中，或是必須影印或瀏覽其中文獻才算是使用？這部份在計劃之初沒有作很詳細嚴謹的規範，事實上也很難作一嚴謹的規範及切確的實施。校內讀者出版品引用文獻的調查，則有鑑於評鑑的期刊近三千種，限於此次人力及計劃資源有限，雖被提出但無法落實。使用率偏低則引起另一個討論，究竟在大筆期刊訂購經費是否確實被多數的讀者所利用？是否造成某種程度的浪費？以電機學群為例在 453 種期刊中僅 0.4% 左右的期刊一年使用次數超過 100 次。

第 1.2.3 頁