2020年U.S.News数学科目排名，曲阜师范大学领先北京大学，引起舆论关注。本文为此为例，分析四个主流高校排行榜排名的特征和局限性，提出新时代科目评估应提高客观评价的精准程度；充分考察人才培养的能力、水平和效果；提高科研产出的精准评价；保证信息的客观性、准确性、时效性和全面性。
［重要词］科目评估；U.S.News；大信息分析
2020年U.S.News的数学科目排名中，曲阜师范大学名列国内第一，领先北京大学，引起关注。曲阜师范大学数学科目水平自然不容小觑，领先北京大学被质疑也属正常。值得关注的是科目评估的科学性和客观性，及对世界一流科目建设的导向。通过分析U.S.News科目评估指标体系和公开的两校科研产出大信息，能够一窥其中到底。
U.S.News评估指标体系的构成与侧重点
在世界知名的四大学术排名指标体系中，QS世界大学排名考察的办学指标主要是6项，其各自比例为：学术声誉（40%）、雇主声誉（10%）、师生占比（20%）、师均论文引用数（20%）、国际教师占比（5%）及国际同学比率（5%）。ARWU世界大学排名考察的办学指标也主要是6项，其各自比例为：获诺贝尔奖和菲尔兹奖的校友折合数（10%）、获诺贝尔奖和菲尔兹奖的教师折合数（20%）、高被引学者数（20%）、N&S（即《Nature》和《Science》）论文数（20%）、国际论文即SCI&SSCI收录论文数（20%）及上述5项指标得分的师均值（10%）。THE世界大学排名考察的办学指标主要是5项，其各自比例为：教学（30%）、研究（30%）、引用（30%）、领域投资的研究收入（2.5%）和国际展望（7.5%）。U.S.News的指标体系分成了三类13项（详见表1），其实质为两类，即声誉与学术出版物（其第三类“科学成就计量指标”也是基于论文的数量与引用率）。
各指标体系相比，U.S.News和ARWU聚焦科研，U.S.News基于出版物的客观计量指标比例75%，ARWU全部采用客观计量指标，主要考察高层次人才比例和高水平学术论文数。QS和THE兼顾教学和科研，QS主观评价（社会评价和同行评价）比例较重，达50%，THE指标较为全面和均衡。
综上，U.S.News聚焦高校科研产出进行评价，主要基于学术出版物及被引用状况开展数量指标计量。出版物达到肯定学术认定水平，一般为无差别计入，尚不能进一步区分科研产出的质量。
细看北京大学优在何处
曲阜师范大学“量”领先，北京大学“质”占优。两校U.S.News总评为80.2分和78分，由分项排名（见表2）可见。
曲阜师范大学在会议论文和专著的出版数量、总被引用次数和平均被引用次数、国际共同作者论文相关两项指标等六个分项中，三项名列第一，另三项各名列第二、第三、第四。那些计量指标，都是数量指标、非竞争性指标，纳入计量样本的门槛相对不是很高。在竞争性的两项声誉指标中，北京大学明显领先；“引用率前10%的出版物数量、引用率前10%的出版物数量占总出版物的占比、学术论文出版数量”，这三项对出版物学术质量抬高门槛的指标，北京大学领先。
北京大学顶刊发文遥遥领先。按照学术界共识，影响因子10以上为世界顶级刊物。曲阜师范大学在影响因子10以上世界顶级刊物发表的论文总数仅为26篇，且在15以上顶刊没有文章；北京大学在影响因子10以上顶刊发表论文总数为156篇，其中15以上有83篇。两校数学科目在学术顶层的比较，北京大学占有绝对优势。
北京大学学术出版物主要是被国外、校外的一流学术机构引用。北京大学被国外引用比例63%，曲阜师范大学是30%；北京大学被校外引用是84%，曲阜师范大学是66%；北京大学被非本科目引用比例57%，曲阜师范大学是42%。两校TOP10引用机构的平均被引量，曲阜师范大学为456次，北京大学为583.7次，差距不大，可是从引用机构在QS排行榜中的排名看，引用曲阜师范大学学术出版物前10位的机构依次为：广州大学、山东科技大学、上海师范大学、江南大学、科廷大学（QS排名217）、阿卜杜勒阿齐兹国王大学、南京数据工程大学、西南师范大学、东南大学（QS排名493）、华南师范大学；引用北京大学学术出版物前10位的机构依次为：北京应用物理与测算数学研究所、清华大学（QS排名15）、新加坡国立大学（QS排名11）、北京师范大学（QS排名279）、复旦大学（QS排名34）、中国科学院大学、上海交通大学（QS排名47）、中山大学（QS排名263）、宾夕法尼亚州立大学（QS排名101）、厦门大学（QS排名432）。引用曲阜师范大学的机构基本未上排行榜，引用北京大学的机构基本在排名前300，约一大半排名在前100。
#p#分页标题#e#曲阜师范大学小团队互引占比畸高。根据大信息分析，曲阜师范大学数学科目内部小团队互引较普遍，且互引比例较高，平均互引达34%，大信息分析一般团队内部互引占比为10%-20%，北京大学是16%，且北京大学内部互引基本以大团队互引为主（见图1、图2）。使用CA+指数消除无效引用后，北京大学相关人员排名基本平稳，曲阜师范大学相关人员排名相对于H指数排名大幅退后。
U.S.News指标体系有待优化
基于大信息分析发现，曲阜师范大学的学术出版物及一般引用数量较多，但发表或引用的平台的影响因子远低于北京大学，差距主要在高被引上。以两校被引数最高论文为例，曲阜师范大学例文的引文没有一篇刊发在影响因子大于10的期刊上，而北京大学例文有111篇。由此可见，实际上U.S.News对于来自影响因子30+和10-期刊的引用并不有效区分，这显然是欠科学和客观考虑的。
前文提到的曲阜师范大学小团队互引畸高的问题，暴露出U.S.News对引用的“质”和“量”没有有效区分。此外，引用曲阜师范大学论文的机构在QS排名中靠后或者没有排名，但没有区别对待，北京大学虽多被全球一流高校引用，却没有被有效区分。
概括地说，U.S.News基于学术出版物及引用的粗线条的客观信息计量，能够大概勾勒却难以精准评估一项科研产出、一个人、一个科目、一个学校的学术水平和排名。
当下，争创世界一流大学和世界一流科目成为中国高等教育行业标志性的目标和任务。高校学术评估的科学性、客观性、引领性，尤显关键。新时代科目评估应充分依托数据技术，特别是大信息技术和人工智能技术，聚焦解决以下问题：
一是怎样消除主观评价的非理性干扰，提高客观评价的精准程度。声誉类主观性指标在科目整体性评价中被认可度较高，但不免因样本人群的非学术因素产生偏差，且存在肯定滞后性。现在常用客观性指标不免因信息覆盖和模型表达的局限性产生类似本文案例的整体性偏差。基于大信息和人工智能技术，通过同行专家和特定行业代表人群参与，扩大客观评价的大信息有效覆盖，迭代优化计量模型，将主观评价与客观评价有机融合，可能以此问题提供解决思路。
二是怎样充分考察人才培养的能力、水平和效果。高等教育的核心任务是人才培养，U.S.News居然没有纳入考察，也是出现本文案例中偏差的关键原由。ARWU计量了校友获奖等某些指标，THE和QS计量了生师比等结构指标，都缺乏总体考察。基于大信息和人工智能技术，通过对校友肯定时期内就业、薪酬和成就进行总体性考察，整体性综合性评价高校人才培养质量，早已成为可能。
三是怎样提高科研产出的精准评价。不唯论文不是不关注论文，而是不简单计量论文的数量，要精细化考察论文的质量。通过考察论文刊发平台的影响因子、论文引用者的关系、论文引用者水平、引用期刊的影响因子、论文学术行业特征等，综合赋权论文的学术价值。同时考察作者相关的有价值专利、学术会议影响、合作者影响、学术行业影响等，大信息和人工智能技术产生以此提供了可能。
四是怎样保证信息的客观性、准确性、时效性和全面性。现在国内体制内科目评估主要通过被评估者申报信息，很难有效实现上述标准。例如，某校数学科目申报参与评估的学者是四十人，而通过数据技术获得该校数学科目的科研产出达到肯定水平的学者有上千人，包括博士后、参与科研的访问学者等，也包括人事关系隶属本校其他学院的学者。显然，将其全部纳入能够更加全面、客观反映该校数学科目的学术能力和水平。
综上，大信息和人工智能技术能够给数据时代科目评估和学术评价提供新的范式，以一场新的革命，尝试解决之前无法解决的问题。
【作者单位：李永智，上海市教育委员会；江明，上海市教育人才交流中心；谷俊，上海柏观信息科技有限公司】
原载2020年第24期《中国高等教育》杂志
