Skip to content

这是一个工具程序集合,方便我们平时对数据进行预处理。针对文本处理的内容较多。包括分词(集成了张华平分词、结巴分词)、文件处理增强(如读取文本到Map中,保存文本到Map)和语料模型(把文档转换成矩阵,就算单词数量等)

Notifications You must be signed in to change notification settings

df19900725/HFUTUtils

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

33 Commits
 
 
 
 
 
 
 
 

Repository files navigation

HFUTUtils

这是一个工具程序集合,方便我们平时处理数据。针对文本处理的内容较多。

详细的使用方法和案例参考:HFUTUtils的使用 | 数据学习者官方网站(DataLearner)

[TOC]

-----------使用方法-----------

可以直接看源码文件,也可以直接下载jar包引入到工程中。注意,本项目使用jdk8+。使用Maven方式导入了Google Guava、Apache Commons等包。可以直接下载查看pom.xml文件后,添加到自己的项目中。

这是一个增强的文件操作,提供了集中方便读取文件的方法。Apache Commons IO已经提供了很多很好文件操作了。这里补充了一些没有但很实用的。

//从输入文件目录中读取文件,并去除输出目录中存在的文件。通常我们需要读取一些某个目录下所有的文件,但是又想去掉一些在目标目录中存在的文件,可以使用如下方法。
String source_directory = "d:/source";
String target_directory = "d:/target";
Collection<File> files = HFUTFileUtils.readFileList(source_directory, target_directory);

//读取某个文件夹下所有文件的名字到List中
String inputDirectory = "D:/test";
Collection<String> fileNames = HFUTFileUtils.readFileNameByDirectory(inputDirectory);

//获取某个文件的总行数
int lineNumber = HFUTFileUtils.getLineNumber(inputDirectory);

//将一个Map键值对写入到一个文件中

HashMap<String,Integer> map = new HashMap<String,Integer>();
map.put("test",1);
HFUTFileUtils.save2DMap(inputDirectory, map);

//将一个两列的文件读入到一个Map中,第一个参数是文件输入的路径或者是File,第二个参数是列的分隔符
HashMap<String,Integer> map = HFUTFileUtils.readFileToMapByDelimiter(file,"\t");

//使用BufferedReader读取文件,原生的Java使用BufferedReader有一长串,我们改写了其中部分

//原生写法
BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(file), "utf-8"));
//改写后的写法
BufferedReader reader = HFUTFileUtils.read(file, "utf-8");

分词集成了张华平分词 具体使用方式可参考 初始化NLPIR,传入Data文件夹和lib文件夹位置的参数,然后就可以分词了,注意授权文件的更新日期,在博客中我们提供了更多的使用案例,可以参考。

String input_text1 = "合肥工业大学(Hefei University of Technology)简称“合工大(HFUT)”,创建于1945 年,坐落于全国四大科教城市之一,素有大湖名城、创新高地之称的江淮枢纽名城安徽省合肥市";
String input_text2 = "学校创建于1945年,1960年被中共中央批准为全国重点大学";

HashMap<String,String> input_text_map = Maps.newHashMap();
input_text_map.put("1",input_text1);
input_text_map.put("2",input_text2);

//初始化,写出两个文件夹位置,基本上只要改"d:/nlpir"就可以了
NLPIR nlpir = new NLPIR("d:/nlpir/lib/win64/NLPIR","d:/nlpir/");

//对单个字符进行分词,第二个参数:0-不带标签输出,1-带词性标签输出。
String output_text1 = nlpir.seg(input_text1, 0);

System.out.println("-------------对单个字符进行分词------------");
System.out.println(output_text1);

//对一组字符进行分词,第二个参数:0-不带标签输出,1-带词性标签输出。
NLPIR nlpir2 = new NLPIR("d:/nlpir/lib/win64/NLPIR","d:/nlpir/");
List<String> input_text_list = new ArrayList<>();
input_text_list.add(input_text1);
input_text_list.add(input_text2);
List<String> output_text2 = nlpir2.segList(input_text_list, 1);

System.out.println("-------------对一组字符进行分词------------");
for( String line : output_text2 ){
  System.out.println(line);
}
//对带有key值的HashMap分词,key是id之类的,value是待分词结果
NLPIR nlpir3 = new NLPIR("d:/nlpir/lib/win64/NLPIR","d:/nlpir/");
HashMap<String,String> output_text_map = nlpir3.segMapValue(input_text_map, 1);

System.out.println("-------------对带有key值的HashMap分词------------");
for( Map.Entry<String, String> entry : output_text_map.entrySet() ){
  System.out.println(entry.getKey()+"\t"+entry.getValue());
}
//自定义词典的使用,第一种方法无效,应该是张华平分词自己的bug,推荐使用第二种
NLPIR nlpir4 = new NLPIR("d:/nlpir/lib/win64/NLPIR","d:/nlpir/");
String dictPath = "F:\\dict.txt";

try {
  System.out.println("-------------第一种自定义词典的使用------------");
  List<String> output_text_with_dict = nlpir4.segWithUserDict(input_text_list,dictPath,1);
  for( String line : output_text_with_dict ){
    System.out.println(line);
  }
} catch (IOException e) {
  e.printStackTrace();
}

//第二种自定义词典
NLPIR nlpir5 = new NLPIR("d:/nlpir/lib/win64/NLPIR","d:/nlpir/");
List<String> list = Lists.newArrayList("合肥工业大学 n","合工大 n");
System.out.println("-------------第二种自定义词典的使用------------");
List<String> output_text_with_dict = nlpir5.segWithUserDict(input_text_list,list,1);
for( String line : output_text_with_dict ){
  System.out.println(line);
}

我们还提供了结巴分词,结巴分词的功能相对较少,它原本是Python版本的,有人将其转换成Java版本,也非常好用,为了避免还要去下载,本程序这里就集成了一下结巴分词。在返回结果上去掉了原来java版本的词语位置信息。默认使用的是原来的SEARCH模式分词,原来的Java版本依然可用。

结巴分词:https://github.com/fxsjy/jieba

结巴分词(Java):https://github.com/huaban/jieba-analysis

Jieba jieba = new Jieba();
List<String> outList = jieba.seg(input_text_list);
for (String sentence : outList) {
  System.out.println(sentence);
}

本程序可以自动将这些单词变成索引形式,并将文档用SparseVSM表示。保存后生成三个文件:docIndex、wordIndex、sparseVSM。分别表示文档-索引、单词-索引和稀疏向量空间模型。(注意,输入语料是文档的时候,VSM一行对应之前的一行,因此docIndex为空。输入语料是文件夹时候,docIndex是文件名字-索引,VSM是按索引0-ndocs来的)。

import org.hfutec.nlp.model.Corpus;
/**
 * 读取语料
 * Created by DuFei on 2017/5/26.
 */
public class CorpusTest {
  public static void main(String[] args) {
    
    //输入可以是文件或者文件夹,如果是文件,则一行表示一个文档,如果是文件夹则一个文件是一个文档
    String inputFile = "d:/test.txt";
    
    //读取文件并保存语料
    Corpus corpus = new Corpus(inputFile);
    corpus.saveCorpus(inputFile);
    
    //载入之前保存的语料
    Corpus corpusLoading = new Corpus();
    corpusLoading.loadCorpus(inputFile);

  }
}

Corpus会自动计算将文本单词转换成索引,也就是每个单词对应一个int值,从0开始,可自动得到很多属性 1)单词和其对应的索引(BiMap格式)

2)稀疏矩阵,即每个文档下不同单词的数量(单词数为0不保存)

3)每个单词对应的文档集合,即某个单词被哪些文档包含过

4)单词数量word count

5)文档数

6)单词数(包含重复)

7)词汇数(不同单词数量)

Corpus提供了很多属性,经过Corpus计算后可以得到如下结果

corpus.docSize;       //文档数量
corpus.wordSize = 0;      //单词总数(包含重复)
corpus.vocabularySize = 0;   //词汇数量(不重复)

//下面类似的,这里列举出来余下的属性和类型,调用直接使用corpus.wordSet这种方式就好
public HashSet<Integer> wordSet = Sets.newHashSet();      //单词集合
public HashBiMap<String,Integer> docIndex = HashBiMap.create();     //文档索引
public HashBiMap<String,Integer> wordIndex = HashBiMap.create();    //单词索引
public HashMap<Integer,HashMap<Integer,Integer>> sparseVSMOfDocs = Maps.newHashMap();  //文档的稀疏空间表示
public HashMap<Integer,HashSet<Integer>> wordDocs = Maps.newHashMap(); //单词对应的文档编号
public HashMap<Integer,Integer> wordCount = Maps.newHashMap();      //单词计数,即每个单词对应的数量,单词用索引表示
public HashMap<Integer,HashSet<Integer>> docWords = Maps.newHashMap();  //文档中包含的单词

该类提供了几个常用的方法,包括读取文件中的几个列的数据,将文本中的变量转成0-1表示的方式(一般叫做Binaries),在数据挖掘中一般我们需要将分类属性变成0-1的形式。这个方法相当于pandas的get_dummies的java实现

例如有如下的数据

A A B C D
A C D C D
B A C C E

经过binary转换之后(第一行是列序号+变量名):

col_0_A col_0_B col_1_A col_1_C col_2_C col_2_B col_2_D col_3_C col_4_D col_4_E 
1 0 1 0 0 1 0 1 1 0
1 0 0 1 0 0 1 1 1 0
0 1 1 0 1 0 0 1 0 1

String inputFile = "round1_ijcai_18_train_20180301 - 副本.txt";
String someColumnDataPath = "some_columns";
String outputPath = "dummies";

int[] cols = {4,5,11,13};       //读取哪几列就把那几列组成数组传进去

//第一个参数数输入错文件,第二个参数是列分隔符,第三个参数是选择哪几列,第四个参数是输出位置
DataIOUtils.readColumnData(inputFile, " ", cols, someColumnDataPath);

//输入位置,输出位置和分隔符
DataIOUtils.getDummies(someColumnDataPath, outputPath, " ");

About

这是一个工具程序集合,方便我们平时对数据进行预处理。针对文本处理的内容较多。包括分词(集成了张华平分词、结巴分词)、文件处理增强(如读取文本到Map中,保存文本到Map)和语料模型(把文档转换成矩阵,就算单词数量等)

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages