pytorch 和nltk 结合训练的例子

对于任何一个深度学习的框架，都能够训练文本数据，当然NLTK在自然语言处理也占有一定的名声和权重

任何东西都离不开你我

来源 github

# 导入torch的模块 import torch import torch.nn as nn from torch.autograd import Variable import torch.optim as optim import torch.nn.functional as F import nltk import random import numpy as np from collections import Counter flatten = lambda l: [item for sublist in l for item in sublist] random.seed(1024) flatten([[1,2,3]]) # [1, 2, 3]

这个配置GPU的，我觉得CPU 也可以，速度不是很慢

# USE_CUDA = torch.cuda.is_available() # gpus = [0] # torch.cuda.set_device(gpus[0]) # FloatTensor = torch.cuda.FloatTensor if USE_CUDA else torch.FloatTensor # LongTensor = torch.cuda.LongTensor if USE_CUDA else torch.LongTensor # ByteTensor = torch.cuda.ByteTensor if USE_CUDA else torch.ByteTensor # 批处理 def getBatch(batch_size, train_data):random.shuffle(train_data)sindex = 0

总结

以上是生活随笔为你收集整理的pytorch 和nltk 结合训练的例子的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。