湘潭市工贸中专,湘潭职校,湘潭中专,湘潭市工业贸易中等专业学校,湘潭工贸学校,湘潭市一职,学校简介,招生简章,入学指南

汉字输入技术与应用研讨会论文集

 

二十一世纪初汉语字、词流通频度统计

 

陈一凡 朱亮


北京信息工程学院 广东青月亮科技开发有限公司

 

 

【摘 要】本文介绍了二十一世纪初汉语字、词语流通频度的最新统计结果。

【关键词】字频统计,词频统计,流通频度。

 

字、词频度是字符识别和语音识别的后处理、智能化键盘输入软件用到的重要数据。在社会变革较大的时期,用当代语料统计的字、词流通频度比用历史语料统计的字、词使用频度有更大的实用价值。

本文报告作者近期从5千余万字当代语料中对GB13000.1字符集20902字和88102条词语进行了流通频度统计。我们把上述字、词流通频度暂称为21频度。

一、语料构成

总字数:50,106,049字。

⒈ 政经时事:35,238,511字,占70.33%。

⒉ 科学技术:9,893,046字,占19.74%。

⒊ 文学艺术:4,974,492字,占9.93%。

三类语料中,2000~2001的文稿占90.07%。

以上语料用于词汇流通频度统计。用于汉字流通频度统计时,去除6,217,516个属于GB2312 1~9区的非汉字符号和标点符号,总字数为43,888,533字。

二、字频概况

⒈ 在以上语料中,总共用到的汉字为7330个,GB 13000.1字符集的20902字中有13572个未曾出现。

⒉ 与1988年国家语委公布的字频表比较,二十一世纪初流通字频有较大的涨落,表1为30个高频字的频度比较。

130个高频字的频度比较表

 

序号

汉字

语委字频()

累计字频()

汉字

21字频()

累计字频()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

42.557

18.185

15.472

15.299

15.228

11.873

11.181

10.759

10.721

10.138

9.127

8.930

8.444

7.965

7.738

7.269

6.845

6.576

6.404

6.237

6.179

6.001

5.870

5.785

5.679

5.369

5.239

5.098

4.994

4.927

42.557

60.742

76.214

91.513

106.741

118.614

129.795

140.554

151.275

161.413

170.540

179.470

187.914

195.879

203.617

210.886

217.731

224.307

230.711

236.948

243.127

249.128

254.998

260.783

266.462

271.831

277.070

282.168

287.162

292.089

36.526

10.912

8.600

8.364

8.251

8.075

7.949

7.756

7.397

7.193

6.598

6.250

6.033

4.863

4.836

4.645

4.637

4.522

4.514

4.421

4.408

4.349

4.311

3.914

3.898

3.895

3.859

3.826

3.734

3.699

36.526

47.438

56.038

64.403

72.655

80.730

88.679

96.436

103.833

111.027

117.626

123.876

129.910

134.774

139.610

144.255

148.893

153.415

157.929

162.351

166.760

171.109

175.421

179.335

183.234

187.129

190.989

194.816

198.550

202.249

⒊ 按“21频度”统计进入GB2312一级字3755字序列的字有305个。

⒋ 按“21频度”统计进入GB2312 6763序列的字有414个。

⒌ 按“21频度”进入语委常用字3500字序列的字有357个,它们是:

迪 镕 耶 酶 圳 曰 浏 弗 兹 韦 孢 茨 桢 岚 蔡 吾 弘 粞
帧 烯 柯 喀 璇 琛 斌 璐 嘛 馨 馈 邹 暨 埔 厄 苯 莎 烷
瞩 邵 魅 陀 惟 佐 曝 磋 瑾 禹 龚 涅 郡 汝 鲍 彦 烃 矣
阮 娅 胺 亨 隋 酯 圭 迭 卉 祁 奎 帷 狄 霓 缉 苷 铀 纂
挝 冉 虞 斐 萼 湛 裔 伽 酮 尹 荫 鄂 邱 炳 嘻 崛 镁 醛
哇 苑 酰 桔 镍 肇 铬 萃 渝 禄 耦 怡 尧 噬 佚 褶 哦 倪
朔 颐 藩 焉 荀 霖 麓 磊 汕 氟 沂 孜 簧 襄 酋 丫 肽 廖
窦 俞 蕨 梵 瑙 楠 雯 迦 酚 妮 熹 篆 牟 麟 鑫 鞘 禅 侃
蒴 阜 鳃 妃 喃 厥 嘎 姬 汲 噢 亟 彝 郝 兮 庚 瑚 绥 琪
睐 赣 抉 潇 诏 裴 仕 瑶 阪 氦 婷 嗯 邯 漳 缪 祀 倩 戎
矶 铵 黛 亢 娟 舜 詹 尴 嗳 愣 藓 钛 秃 渍 尬 娴 铧 渎
祛 骼 匡 羧 抨 腑 沁 恪 狩 釉 伎 毗 皖 滇 绚 嘟 雍 汐
疡 驭 髦 汾 桓 茹 栩 辍 跤 榻 丞 摒 嵇 臻 纶 杼 戊 锂
瞅 垣 冥 汶 颌 陇 彗 拎 绮 钴 渲 韬 獗 钼 眩 鞣 槛 珀
玺 藉 炽 诧 笃 烽 札 跻 渭 淇 晖 穹 钨 煽 佼 琦 璋 飚
孚 痉 泓 滕 辊 娥 弼 瘀 羲 铂 翟 翌 诂 莞 蓓 昊 挛 咯
渥 峨 咋 墟 峙 瞿 嗣 胱 祯 禧 铎 羟 豚 醚 瑜 毓 诠 祺
啶 霄 郸 盎 寅 睫 荟 剌 腱 琶 铮 厮 慑 砷 腓 匮 琵 斡
葆 虔 稣 瞥 羁 哉 岱 姗 炜 邸 悸 氰 悖 泾 浚 湄 溴 谏
忡 敖 咀 戟 弈 湍 曳 黯 傣 辗 谟 聆 淬 妊 韶

三、词频概况

⒈ 我们以GB/T15732-1995《汉字键盘输入用通用词语集》为底库(44791条词语),对上述语料进行新词搜索和词频统计。

⒉ 搜索到新词语43988条。

⒊ 上述语料中用到的词语共88102条,GB/T15732-1995《汉字键盘输入用通用词语集》中有677条未曾出现。

⒋ 词条覆盖率见表2和图1。

2:词语条数覆盖率统计表

 

覆盖率()

20

30

40

50

70

90

95

97

98

99

99.9

100

词条数

308

684

1314

2405

7677

26760

39870

48597

54781

63678

80538

88102

 

 

覆盖率()

1:词语条数覆盖率直方图

由表2得到:

最常用级词7677条(覆盖70%)。

常用级词19083条(加上上一级后,覆盖90%)。

次常用级词13110条(加上上面的两级用词后,覆盖95%)。

⒌二十一世纪初词语流通频度与GB/T15732-1995《汉字键盘输入用通用词语集》的词频统计(1994)比较,频度涨落比字频涨落更大。

词语长度与词语数量统计表见表3

3:词语长度与词语数量统计表

 

词长

2

3

4

5

6

7

8

9

10

1117

217

词条数

44114

13536

24485

2804

1808

611

316

170

91

167

88102

百分比(%)

50.07

15.36

27. 79

3.18

2.05

0.69

0.36

0.19

0.1

0.21

100

 

四、使用概况

以上数据已用于青月亮汉字通用输入软件平台V3.1、智能简拼、智能五笔画、智能表形码、智能101等输入系统,对减少重码字、词键选率产生明显效果。

 

参考文献

[1]国家技术监督局 汉字键盘输入用通用词语集,中国标准出版社,1996.8

[2]国家语言文字工作委员会汉字处,现代汉语通用字表,语文出版社,1989.8

[3]贝贵琴,张学涛,汉字频度统计,电子工业出版社,1988.4

[4]刘源等,现代汉语常用词词频词典,宇航出版社,1990.6

 

井田汉字,独一无二的汉字结体构形理论,科学地解决数码时代汉字所面临的问题。

湘ICP备05008125  语言文字网  2003-2013©版权所有