Начиная с 2000 года, с постоянным совершенствованием теории в искусственном интеллекте, искусственные нейронные сети стали новыми инструментами машинного перевода. По сравнению с традиционным SMT (статистическим машинным переводом) нейронная сеть NMT (нейронный машинный перевод) превосходит SMT во многих аспектах, таких как точность перевода, переупорядочение длинных предложений, синтаксис, толерантность к шумным данным и др. В 2014 году, с появлением моделей последовательность-к-последовательности (seq2seq) и механизмов внимания, введенных в модель, NMT был еще более усовершенствован, и его производительность становилась все лучше и лучше. В этой работе используется популярныйна данный момент подход последовательность-к-последовательности для построения модели перевода нейронных машин с английского на китайский. Кроме того, в работе вместо традиционной RNN (рекуррентной нейронной сети) используется LSTM (долгая краткосрочная память) для устранения эффекта исчезновения градиента и градиентного взрыва, которые в свою очередь находятся во временной зависимости. В эту работу был также включен механизм внимания. Этот механизм позволяет нейронным сетям уделять больше внимания соответствующим частям входных последовательностей и меньше к несвязанным частям при выполнении задач прогнозирования. В экспериментальной части используется TensorFlow для построения модели NMT.

• РЕФЕРАТ
• ABSTRACT
• Content
• 1. Introduction
  • 1.1 History of MT
    • 1.1.1 Creation (1930-1950)
    • 1.1.2 Budding (1950-1964)
    • 1.1.3 Silence (1964-1975)
    • 1.1.4 Recovery (1975-1989)
    • 1.1.5 Development (1990-now)
  • 1.2 The Quality of Machine Translation
    • 1.2.1 Inevitable error
    • 1.2.2 Bottleneck of MT
  • 1.3 Birth of NMT
  • 1.4 NMT or SMT
  • 1.5 Background of EN-CH Translation
  • 1.6 Difficulties Faced by EN-CH Machine Translation
  • 1.7 Motivation
• 2. Recurrent Neural Network
  • 2.1 Simple Recurrent Network
  • 2.2 Learning of Parameters
    • 2.2.1 Backpropagation through Time
    • 2.2.2 Real-Time Recurrent Learning
    • 2.2.3 Comparison of Two Algorithm
  • 2.3 Long-Term Dependencies Problem
    • 2.3.1 Improvement
  • 2.4 Long Short Term Memory
    • 2.4.1 What is LSTM
    • 2.4.2 Core Theory of LSTM
    • 2.4.3 Understanding LSTM
    • 2.4.4 Summarize Math Equations
  • 2.4 Stacked Recurrent Neural Network
  • 2.5 Bi-directional Recurrent Neural Network
• 3. Neural Machine Translation Model
  • 3.1 Encoder
  • 3.2 Attention Mechanism
  • 3.3 Decoder
  • 3.4 Generate Output
    • 3.4.1 Random Sampling
    • 3.4.2 one-best Search
    • 3.4.3 n-best Search
• 4. Environment Configuration
  • 4.1 Ubuntu 16.04 LTS
  • 4.2 Configure TensorFlow with GPU Support
    • 4.2.1 Configure NVIDIA Driver
    • 4.2.2 Configure JDK8
    • 4.2.3 Configure Bazel
    • 4.2.4 Configure CUDA 8.0
    • 4.2.5 Configure cuDNN 6.0
    • 4.2.6 Configure Anaconda
    • 4.2.7 Configure TensorFlow
    • 4.2.8 Configure PyCharm 2017
• 5. Data Source and Data Preprocessing
  • 5.1 Data Source
  • 5.2 Data Preprocessing
    • 5.2.1 Handling Training/Testing Data
    • 5.2.2 Handling Source Sentences
    • 5.2.3 Handling Dictionary
    • 5.2.4 Handling Unknown Words
    • 5.2.5 Handling Input Sequences
• 6. Experiments
  • 6.1 Python
    • 6.1.1 Programming is a Social Activities
    • 6.1.2 Python allows Users to Focus on Real-life Problems
    • 6.1.3 Python is more focused on Scientific Computing
    • 6.1.4 Python has Strict and Consistent Style
  • 6.2 Dependencies
  • 6.3 Structure of Seq2seq Model
  • 6.4 Experiments
    • 6.4.1 Structure of NMT Model
    • 6.4.2 Training Model
• 7. Result Analysis and Conclusion
  • 7.1 Result Analysis
    • 7.1.1 Cross Entropy Loss
    • 7.1.2 BLEU Score
    • 7.1.3 Efficacy of Model
  • 7.2 Conclusion
• Acknowledgement
• Abbreviation
• References
• Application: A
• Application: B
• Application: C