找回密码
 加入SEO研究中心

QQ登录

只需一步,快速开始

搜索
  • TA的每日心情
    无聊
    昨天 19:41
  • 签到天数: 160 天

    [LV.7]常住居民III

    1207

    主题

    2944

    帖子

    265

    威望

    管理员

    管理员金笔作者论坛荣誉勋章官方SEO讲师安全认证爱心达人论坛元老

    什么是TF-IDF及公式

    271 1
    2019-5-8 15:22:00
    显示全部楼层
    什么是TF-IDF

    词频 (term frequency, TF)  指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件。(同一个词语在长文件里可能会比短文件有更高的词频,而不管该词语重要与否。)


    但是, 需要注意, 一些通用的词语对于主题并没有太大的作用, 反倒是一些出现频率较少的词才能够表达文章的主题, 所以单纯使用是TF不合适的。权重的设计必须满足:一个词预测主题的能力越强,权重越大,反之,权重越小。所有统计的文章中,一些词只是在其中很少几篇文章中出现,那么这样的词对文章的主题的作用很大,这些词的权重应该设计的较大。IDF就是在完成这样的工作.


    公式:

                           

    逆向文件频率 (inverse document frequency, IDF)  IDF的主要思想是:如果包含词条t的文档越少, IDF越大,则说明词条具有很好的类别区分能力。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到。

    公式:

                  

      某一特定文件内的高词语频率,以及该词语在整个文件集合中的低文件频率,可以产生出高权重的TF-IDF。因此,TF-IDF倾向于过滤掉常见的词语,保留重要的词语。


            
                   




    官网: http://www.tfidf.com

    转载自互联网,扩展阅读  http://www.ruanyifeng.com/blog/2013/03/tf-idf.html


    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?加入SEO研究中心

    x
  • TA的每日心情
    无聊
    昨天 19:41
  • 签到天数: 160 天

    [LV.7]常住居民III

    1207

    主题

    2944

    帖子

    265

    威望

    管理员

    管理员金笔作者论坛荣誉勋章官方SEO讲师安全认证爱心达人论坛元老

    2019-5-10 19:14:51
    显示全部楼层
    顶起来哦,多看一看吧。
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 加入SEO研究中心