- A+
PS:你知道weibo问答的力量有多么的强大了吧???
==
总结我用过的网页正文抽取工具: decruft http://t.cn/S7bVEC python-readabilityhttp://t.cn/zYeoZ8b boilerpipe http://t.cn/h41EEs python-boilerpipehttp://t.cn/zYeoyPw pismo http://t.cn/zYeoyP2 Goose http://t.cn/zYeoZ8G Python Goose http://t.cn/zYeoZ8q
@丕子:有个测试链接:http://jimplush.com/blog/goose 测试了个链接,goose没提出来,cx-ectractor提出来了;不过goose的metadata以及image等不错;谁有空写个吧,两者优点结合一下。
@52nlp: 转cx-ectractor(http://t.cn/hDO2xf )的维护者 @陈鑫Shin @王利锋Fandy //@陈阿荣: cx-extractor //@马少平THU: 这个确实有难度,我们也没有什么好方法。@王利锋Fandy: 在我的硕士论文中给出了形式化数学表示,详细请见:http://t.cn/zYeAJSc,希望对大家有帮助
木子海波:自吹自擂一下。http://blog.csdn.net/marising/article/details/6101101
开源中国:可看看这个开源项目 http://t.cn/zYeL9Jn
数据挖掘研究院:h2w.iask.cn
licstar:NReadability http://t.cn/zYewPMn
我不是勒瑟:搜一下这篇论文:DOM Based Content Extraction via Text Density
@梁斌 推一下,各大公司都有做这个的,搜狗这个叫PA,page analysis,我也短期维护过,目前是某哥们再搞
最后:http://tomazkovacic.com/blog/56/list-of-resources-article-text-extraction-from-html-documents/
正文抽取的开源代码,基于文本密度的html2article: http://t.cn/8FvHNOY 基于标签比例的机器学习Dragnet: http://t.cn/RhnDNg0 专注新闻类网页提取的Newspaper:http://t.cn/RhnDNgW 集成goose等三种算法的readbilitybundle http://t.cn/RhnDNgO 我觉得最好的方法还可能是视觉系方法
原文地址:http://www.zhizhihu.com/html/y2013/4202.html
2016-05-20 下午9:09
夏天的风