|
官方给出的fasttext预训练词向量下载地址：https://fasttext.cc/docs/en/english-vectors.html
我下载的是wiki-news-300d-1M.vec.zip，下载地址：
https://dl.fbaipublicfiles.com/fasttext/vectors-english/wiki-news-300d-1M.vec.zip
官方给出的格式是
import io
def load_vectors(fname):
fin = io.open(fname, 'r', encoding='utf-8', newline='\n', errors='ignore')
n, d = map(int, fin.readline().split())
data = {}
for line in fin:
tokens = line.rstrip().split(' ')
data[tokens[0]] = map(float, tokens[1:])
return data
但是我希望可以直接加载为模型，以为要下载.bin的格式，结果google查到可以用gensim包直接加载：
from gensim.models import KeyedVectors
FASTTEXTFILE="./fastText/wiki-news-300d-1M.vec"
FASTTEXT=KeyedVectors.load_word2vec_format(FASTTEXTFILE,limit=500000)
另外把.bin的加载方法也放在这对比下：
from gensim.models import FastText
FASTTEXTFILE = "./fastText/cc.en.300.bin"
FASTTEXT=FastText.load_fasttext_format(FASTTEXTFILE)
| 
转播
