1. 法尔斯新闻社1398年波斯语新闻数据集概述
法尔斯新闻社1398年波斯语新闻数据集是波斯语自然语言处理领域的一个重要资源,收录了伊朗最具影响力的新闻媒体之一——法尔斯新闻社在波斯历1398年(对应公历2019-2020年)期间发布的全部新闻内容。这个数据集最显著的特点是它的规模和质量:包含294,023条完整的新闻记录,每条记录都经过精心标注,涵盖了政治、经济、体育、文化、科技、社会等多个领域。
作为一名长期从事多语言NLP研究的从业者,我发现这个数据集有几个特别值得关注的优势。首先,它不仅仅提供了新闻标题和摘要,还包含了完整的正文段落,这在波斯语数据集中相对少见。其次,每条新闻都标注了主分类、子分类和关键词标签,为监督学习任务提供了可靠的基础。最后,数据集覆盖了全年365天的新闻内容,具有很强的时间连续性,这对于时序分析和趋势预测研究非常有价值。
提示:对于不熟悉波斯历法的研究者需要注意,波斯历是伊朗和阿富汗使用的阳历,起始于公元622年(伊斯兰教历元年),每年3月21日左右为新年第一天。1398年对应公历2019年3月21日至2020年3月20日。
1.1 数据集的核心构成
数据集采用JSON格式存储,结构清晰明了。每条记录包含以下关键字段:
- title:新闻标题,平均长度约85个字符
- abstract:新闻摘要,平均长度约280个字符
- paragraphs:新闻正文段落数组,平均3-5个段落
- cat:主分类标签(如sports、politics等)
- subcat:子分类标签(如football-iran等)
- tags:关键词标签数组
- link:原始新闻链接
从数据完整性来看,标题、主分类和链接字段的完整率达到100%,摘要、正文段落和标签字段的完整率超过99.9%,只有子分类字段的完整率稍低,为88.73%。这种高完整性大大减少了数据清洗的工作量,使研究者可以更专注于模型开发和实验。
1.2 数据集的多领域覆盖特性
这个数据集最令人印象深刻的是它广泛的领域覆盖。主分类包含16个大类,从体育(sports)到国际新闻(world),从政治(politics)到经济(economy),再到科教(scientific)和文化(cult
