1.5.1普通字符：大写和小写字母、所有数字、所有标点符号和⼀些其他符号

1.5.2特殊字符：有特殊含义的字符

1.5.3限定字符

• 任务主题：论文代码统计，统计所有论文出现代码的相关统计；
• 任务内容：使用正则表达式统计代码连接、页数和图表数据；
• 任务成果：学习正则表达式统计；

数据集来源： https://www.kaggle.com/Cornell-University/arxiv 链接：https://pan.baidu.com/s/1OqUl13fZvLw6Jd49UdDM_Q 提取码：bmd8 数据集的格式如下

• id ：arXiv ID，可用于访问论文；
• submitter ：论文提交者；
• authors ：论文作者；
• title ：论文标题；
• comments ：论文页数和图表等其他信息；
• journal-ref ：论文发表的期刊的信息；
• doi ：数字对象标识符，https://www.doi.org；
• report-no ：报告编号；
• categories ：论文在 arXiv 系统的所属类别或标签；
• license ：文章的许可证；
• abstract ：论文摘要；
• versions ：论文版本；
• authors_parsed ：作者的信息；

数据集实例

本次项目的任务是使用正则表达式统计代码链接、页数和图表数据。因此我们选择的字段有：

• abstract：论文摘要；
• comments ：论文页数和图表等其他信息；
• categories ：论文在 arXiv 系统的所属类别或标签；

在原始arxiv数据集中作者经常会在论⽂的 comments 或 abstract 字段中给出具体的代码链接，所以我 们需要从这些字段里面找出代码的链接。

• 确定数据出现的位置；
• 使用正则表达式完成匹配；
• 完成相关的统计；

正则表达式(regular expression)描述了⼀种字符串匹配的模式（pattern），可以⽤来检查⼀个串是否 含有某种⼦串、将匹配的⼦串替换或者从某个串中取出符合某个条件的⼦串等。

首先我们来统计论文页数，也就是在comments字段中抽取pages和figures和个数，首先完成字段读取。

对pages进行抽取：

对pages进行统计：

结果如下： 从结果中可以看出，论文的平均页数为18页，75%的论文也输在24页，最长的论文有1958页，最短的论文有1页。 接下来按照分类统计论文页数，选取了论文的第一个类别的主要类别：

结果如下图所示： 接下来对论文图表个数进行抽取：

最后我们对论文的代码链接进行提取，为了简化任务我们只抽取github链接：

并对论文按照类别进行绘图：