欢迎访问 如意编程网!

如意编程网

当前位置: 首页 > 编程资源 > 编程问答 >内容正文

编程问答

使用Matlab实现英文单词的形近词查找

发布时间:2024/5/15 编程问答 1 豆豆
如意编程网 收集整理的这篇文章主要介绍了 使用Matlab实现英文单词的形近词查找 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

引言

最近在背考博词汇,考博词汇是12000词左右.

短时间内去记忆这么多单词是很有挑战性的.我个人习惯用的方法是:

  • 将陌生的长单词分成熟悉的小单词, 用小单词造句, 把生词的意义包含进去;
  • 多读一些这个生词的句子, 在语境中加深意义;
  • 通过一个与这个生词长的很相近的自己很熟悉的词来记忆生词.
  • 艾宾浩斯多次复习减少遗忘.
  • 第三个方法就是用"形近词"去记忆.

    这个方法我感觉是很好用的, 就跟有个朋友给你介绍新朋友一样.

    而且, 因为在背单词的时候常常很容易将一个单词与他的形近词相混淆, 所以, 在背单词的时候如果能查找形近词该多好啊.

    把一些形近词放到一起, 便于记忆,也便于辨析.

    比如:

    complexity complicacy complicate complicity simplicity网上虽然有不少英语学习爱好者和研究教育机构整理的形近词词库,遗憾的是,并没有一款词典能够提供形近词查询功能.

    金山词霸等词典软件虽然可以使用通配符, 但是, 通过通配符去找形近词需要你自己去拟定通配规则, 很麻烦.


    考察了一下,做了个简单的小程序,这下子,大大辅助我背单词了.


    方法

    这个问题,其实就是一个词形近似度的问题[4].其实,跟spell checking[3]根据词形相近度自动提供spell suggestion和spell correction是一样的问题,

    用正则表达式也可以实现, 不过, 需要你自己定义n多的变形规则.很麻烦.

    在这里,我主要是通过计算两词之间的编辑距离(edit distance)[1]来判断.


    在Matlab下做了一个toy程序,用经典的Levenshtein Distance[2]算法(算法细节参考Wikipedia及相关文章)实现了形近词查找功能. word-to-word匹配用了动态规划,所以速度很快.

    另外,还有Jaro–Winkler distance[5], 还有发音相似度(phonetic distance)[6]都可以考虑使用, 我这里暂时只用了L氏距离.

    关于L氏算法的一个直观的实例:


    用法

  • 提供你想查询的词汇;
  • 提供相似度阈值n(n就是edit distance,意思就是通过几次元编辑操作,插入,删除,替换, 可以实现两个单词的匹配);
  • 提供你想要查询的词典(这里用的是一个txt格式的word list);
  • 运行算法之后, 会对word list进行一次遍历,计算词典里每个词跟你要查询词之间的edit distance, 最后, 用一个阈值过滤出最相近的单词.


    效果

    词库用的是四六级词库.

    edit distance取3.

    从四六级词库里插simple的形近词,有4个(算上它自己):


    代码

    主函数:

    %% this is the main function % Input : % wordToMatch - input word % distThresh - edit distance threshold, usually use 3 % dicPath - file path of the word list file, txt format with every % line of a single word % % Output : % command window output % % Created by visionfans @ 2011.07.20 function findSimilarWords(wordToMatch, distThresh, dicPath )global word;word = wordToMatch;%% check parametersswitch nargincase 0,error('Wrong arguments!');case 1,distThresh = 3;dicPath = '46.txt';end%% load word listwordList = loadWordList(dicPath);%% calculate edit distanceeditDist = cellfun(@calcEditDist,wordList);%% filter the similar wordssimilarWords = wordList(editDist < distThresh);%% display resultsfprintf('There are %d similar words with "%s" : \n', length(similarWords), word);cellfun(@(x)fprintf('\t%s\n', x),similarWords); end
    L氏距离计算函数:

    %% this function is used to calculate the Levenshtein Edit Distance % % S1 and S2 are two words you want to calculate their edit distance % % Created by visionfans @ 2011.07.20 function dist = calcEditDist(s1,s2)    global word;if nargin == 1s2 = word;end%% calculate the edit distance with DPm = length(s1);n = length(s2);if m*n == 0dist = Inf;return;endtable = zeros(m,n);table(:,1) = 0:m-1;table(1,:) = 0:n-1;for i=2:mfor j=2:nif s1(i-1)==s2(j-1)table(i,j) = table(i-1,j-1);elsetable(i,j) = 1 + min([(min(table(i-1,j),table(i,j-1))),table(i-1,j-1)]);endendend%% set resultdist = table(m,n);return; end

    词典加载函数:

    %% this function is used to load the dictionary file % The dictionary file is a text file with the format of every line be a % single word. % % You can find a word list file with adequate common words here: %    Kevin's Word List Page - http://wordlist.sourceforge.net/ % % Created by visionfans @ 2011.07.20 function wordList = loadWordList(dictPath)fprintf('Loading word list ...\n');fid = fopen(dictPath);i = 1;tline = fgetl(fid);while ischar(tline)wordList{i,1} = tline;tline = fgetl(fid);i = i+1;endfclose(fid); end


    补充

    有很多更全的词库文件,在这里[7]可以找到很多.

    感谢Jukuu网工程师YNYS提供四六级word list, Thanks.

    已经长传到这里[8], 有兴趣的同学可以做测试.


    -----------------------------------------------------------------------个人使用,所以懒得改C了.


    References

    [1] Edit distance , http://nlp.stanford.edu/IR-book/html/htmledition/edit-distance-1.html

    [2] Levenshtein distance - Wikipedia, the free encyclopedia, http://en.wikipedia.org/wiki/Levenshtein_distance

    [3] How to Write a Spelling Corrector, http://norvig.com/spell-correct.html

    [4] Approximate string matching - Wikipedia, the free encyclopedia, http://en.wikipedia.org/wiki/Approximate_string_matching

    [5] Jaro–Winkler distance - Wikipedia, the free encyclopedia, http://en.wikipedia.org/wiki/Jaro-Winkler_distance

    [6] Soundex - Wikipedia, the free encyclopedia, http://en.wikipedia.org/wiki/Soundex

    [7] Dictionary & Glossary Links; Downloadable Word Lists, http://www.net-comber.com/wordurls.html

    [8] 四六级词汇表, http://download.csdn.net/source/3455828

    总结

    以上是如意编程网为你收集整理的使用Matlab实现英文单词的形近词查找的全部内容,希望文章能够帮你解决所遇到的问题。

    如果觉得如意编程网网站内容还不错,欢迎将如意编程网推荐给好友。