linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > 小企鹅新闻图书馆 >

Facebook开源NLP建模框架PyText,从研究到生产变得更容易

时间:2018-12-17  来源:未知  作者:admin666

Facebook AI Research(FAIR)开源了 NLP 建模框架 PyText。

PyText 是一个基于 PyTorch 构建的深度学习 NLP 建模框架。PyText 通过为模型组件提供简单且可扩展的接口和抽象,以及使用 PyTorch 的 Caffe2 执行引擎导出模型进行推理的功能,模糊了实验与大规模部署之间的界限。其预训练模型包括文本分类、序列标注等。

PyTorch 是一个统一的框架,缩短了从研究到生产的路径,而基于 PyTorch 的 PyText 则着眼于满足 NLP 建模的特定需求。

核心特性:

适用于各种 NLP/NLU 任务的生产就绪模型

文本分类

Yoon Kim (2014): Convolutional Neural Networks for Sentence Classification

Lin et al. (2017): A Structured Self-attentive Sentence Embedding

序列标注

Lample et al. (2016): Neural Architectures for Named Entity Recognition

联合意图时隙模型(Joint intent-slot model)

Zhang et al. (2016): A Joint Model of Intent Determination and Slot Filling for Spoken Language Understanding

上下文意图-时隙模型(Contextual intent-slot models)

支持在 PyTorch 1.0 中基于新 C10d 后端构建的分布式训练

可扩展组件,可轻松创建新模型和任务

参考实现和预训练模型论文:Gupta et al. (2018): Semantic Parsing for Task Oriented Dialog using Hierarchical Representations

支持联合训练


项目地址:https://github.com/facebookresearch/pytext

了解更多:https://code.fb.com/ai-research/pytext-open-source-nlp-framework/

友情链接