讯飞汽车领域多语种迁移学习 打卡博客

• 步骤1：报名比赛2022 iFLYTEK A.I.开发者大赛-讯飞开放平台
• 步骤2：下载比赛数据（点击比赛页面的赛题数据）
• 步骤3：解压比赛数据，并使用pandas进行读取；
• 步骤4：查看训练集和测试集字段类型，并将数据读取代码写到博客；

import pandas as pd
import numpy as np


#任务一：读取数据
train_cn = pd.read_excel('data/中文_train.xlsx')
train_en = pd.read_excel('data/英文_train.xlsx')
train_jp = pd.read_excel('data/日语_train.xlsx')
test_jp = pd.read_excel('data/test_A.xlsx', sheet_name='日语_testA')
test_en = pd.read_excel('data/test_A.xlsx', sheet_name='英文_testA')

#查看数据
print(train_cn.head())

print(train_en.head())

print(train_jp.head())

#查看测试集数据
print(test_jp.head())
print(test_en.head())

• 步骤1：使用jieba对中文进行分词；

  import jieba
  
  
  def cutwords(txt):
      return jieba.lcut(txt)
  
  
  train_cn['phrase'] = train_cn['原始文本'].apply(cutwords)
  print(train_cn.head())

  lcut 将返回的对象转化为list对象返回

• 步骤2：使用negisa对日语进行分词

  import nagisa
  def cutjpwords(txt):
      words = nagisa.tagging(txt)
      return words.words
  
  
  train_jp['phrase'] = train_jp['原始文本'].apply(cutjpwords)
  
  print(train_jp.head())

   

• 任务3：TFIDF与文本分类
  • 步骤1：学习TFIDF的使用，提取语料的TFIDF特征；
  • 步骤2：使用逻辑回归结合TFIDF进行训练（所有的语言语料），并对测试集的意图进行分类；
  • 步骤3：将步骤2预测的结果文件提交到比赛，截图分数；