logi_2020/week10/1. Train_w2v_solve.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Как научить компьютер читать? \n",
    "\n",
    "В этой тетрадке мы обучим свой собственный word2vec. Делать мы это будем на каком-нибудь не очень большом тексте, который вам предстоит выбрать самому. На выбор есть [несколько сказок](https://github.com/nevmenandr/word2vec-russian-novels/tree/master/vector-school) и других [литературных штук](https://github.com/nevmenandr/word2vec-russian-novels/tree/master/books_before) из школьной программы. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Ссылка на выбранное вами произведение\n",
    "# Я взял преступление и наказание (ненвижу Достоевского)\n",
    "url = 'https://raw.githubusercontent.com/nevmenandr/word2vec-russian-novels/master/books_before/CrimeAndPunishment.txt'\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Спарсим текст из файлика."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "смотреть на эти семь лет, как на семь\n",
      "дней. Он даже и не знал того, что новая жизнь не даром же ему достается, что ее надо еще дорого купить, заплатить за нее великим, будущим подвигом...\n",
      "Но тут уж начинается новая история, история постепенного обновления человека, история постепенного перерождения его, постепенного перехода из одного мира в другой, знакомства с новою, доселе совершенно неведомою действительностью. Это могло бы составить тему нового рассказа, - но теперешний рассказ наш окончен.\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "\n",
    "resp = requests.get(url)\n",
    "text = resp.text \n",
    "\n",
    "# Последние 500 символов. Аккуратно! Спойлеры!\n",
    "print(text[-500:])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. Предобработка\n",
    "\n",
    "Теперь нам надо его немного предобработать.  Пусть все слова пишутся с маленькой буквы. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "text = text.lower()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Разобьём весь текст на предложения. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "13702"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from nltk.tokenize import sent_tokenize\n",
    "\n",
    "sents = sent_tokenize(text)\n",
    "len(sents)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'действительно, на его платье и даже в волосах кое-где виднелись прилипшие былинки сена.'"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sents[220]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Разобьём каждое предложение на отдельные слова."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['действительно',\n",
       " 'на',\n",
       " 'его',\n",
       " 'платье',\n",
       " 'и',\n",
       " 'даже',\n",
       " 'в',\n",
       " 'волосах',\n",
       " 'кое',\n",
       " 'где',\n",
       " 'виднелись',\n",
       " 'прилипшие',\n",
       " 'былинки',\n",
       " 'сена']"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from nltk.tokenize import RegexpTokenizer\n",
    "\n",
    "tokenizer = RegexpTokenizer('\\w+')\n",
    "tokenizer.tokenize(sents[220])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[['и',\n",
       "  'каждый',\n",
       "  'раз',\n",
       "  'молодой',\n",
       "  'человек',\n",
       "  'проходя',\n",
       "  'мимо',\n",
       "  'чувствовал',\n",
       "  'какое',\n",
       "  'то',\n",
       "  'болезненное',\n",
       "  'и',\n",
       "  'трусливое',\n",
       "  'ощущение',\n",
       "  'которого',\n",
       "  'стыдился',\n",
       "  'и',\n",
       "  'от',\n",
       "  'которого',\n",
       "  'морщился'],\n",
       " ['он',\n",
       "  'был',\n",
       "  'должен',\n",
       "  'кругом',\n",
       "  'хозяйке',\n",
       "  'и',\n",
       "  'боялся',\n",
       "  'с',\n",
       "  'нею',\n",
       "  'встретиться']]"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sents_tokenize = [tokenizer.tokenize(sent) for sent in sents]\n",
    "sents_tokenize[4:6]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Flatten без numpy :) \n",
    "words = [item for sent in  sents_tokenize for item in sent]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "173403"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(words) # всего слов"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "24925"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(set(words)) # уникальных слов"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Можно выбросить все стоп-слова. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['и', 'в', 'во', 'не', 'что', 'он', 'на', 'я', 'с', 'со']"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from nltk.corpus import stopwords\n",
    "\n",
    "stopwords_ru = stopwords.words('russian') \n",
    "stopwords_ru[:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "sents_tokenize = [[word for word in text_cur if word not in stopwords_ru] for text_cur in sents_tokenize]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Слов в корпусе не очень много. Давайте лемматизируем их.  В этом нам поможет библиотека **pymorphy2.**\n",
    "\n",
    "**pymorphy2** — это полноценный морфологический анализатор, целиком написанный на Python. Он также умеет ставить слова в нужную форму (спрягать и склонять). [Документация по pymorphy2.](https://pymorphy2.readthedocs.io/en/latest/)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'филипп пойти в авеньон и пленить папа'"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pymorphy2\n",
    "morph = pymorphy2.MorphAnalyzer()\n",
    "\n",
    "text = \"Филипп пошёл в Авеньон и пленил пап!\"\n",
    "tokens = tokenizer.tokenize(text)\n",
    "\n",
    "\" \".join(morph.normal_forms(token)[0] for token in tokens)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Parse(word='стали', tag=OpencorporaTag('VERB,perf,intr plur,past,indc'), normal_form='стать', score=0.984662, methods_stack=((<DictionaryAnalyzer>, 'стали', 904, 4),)),\n",
       " Parse(word='стали', tag=OpencorporaTag('NOUN,inan,femn sing,gent'), normal_form='сталь', score=0.003067, methods_stack=((<DictionaryAnalyzer>, 'стали', 13, 1),)),\n",
       " Parse(word='стали', tag=OpencorporaTag('NOUN,inan,femn sing,datv'), normal_form='сталь', score=0.003067, methods_stack=((<DictionaryAnalyzer>, 'стали', 13, 2),)),\n",
       " Parse(word='стали', tag=OpencorporaTag('NOUN,inan,femn sing,loct'), normal_form='сталь', score=0.003067, methods_stack=((<DictionaryAnalyzer>, 'стали', 13, 5),)),\n",
       " Parse(word='стали', tag=OpencorporaTag('NOUN,inan,femn plur,nomn'), normal_form='сталь', score=0.003067, methods_stack=((<DictionaryAnalyzer>, 'стали', 13, 6),)),\n",
       " Parse(word='стали', tag=OpencorporaTag('NOUN,inan,femn plur,accs'), normal_form='сталь', score=0.003067, methods_stack=((<DictionaryAnalyzer>, 'стали', 13, 9),))]"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "p = morph.parse('стали')\n",
    "p"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Обработаем все слова из датасета. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "sents_tokenize = [[morph.normal_forms(word)[0] for word in text_cur] for text_cur in sents_tokenize]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Flatten без numpy :) \n",
    "words = [item for sent in  sents_tokenize for item in sent]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "93069"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(words) # всего слов"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "11153"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(set(words)) # уникальных слов"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Хватит обработок! Мы тут не анализом текстов занимаемся, а нейросетками. Если хочешь больше предобработки, [читай мой мануал](https://nbviewer.jupyter.org/github/FUlyankin/hse_texts_do/blob/master/sem_1/texts_sem1.ipynb) об этом.  Давайте построим словарик с частотностями и перейдём к моделированию. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('это', 1481),\n",
       " ('весь', 1405),\n",
       " ('один', 659),\n",
       " ('раскольник', 567),\n",
       " ('свой', 549),\n",
       " ('сказать', 544),\n",
       " ('человек', 501),\n",
       " ('говорить', 498),\n",
       " ('пётр', 492),\n",
       " ('знать', 478),\n",
       " ('стать', 441),\n",
       " ('мочь', 441),\n",
       " ('который', 430),\n",
       " ('самый', 430),\n",
       " ('такой', 395),\n",
       " ('очень', 387),\n",
       " ('какой', 379),\n",
       " ('соня', 379),\n",
       " ('рука', 369),\n",
       " ('дело', 363)]"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from collections import Counter\n",
    "\n",
    "word_dict = Counter(words)\n",
    "word_dict.most_common()[:20]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "4793"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "words = word_dict.most_common()\n",
    "len([item for item in words if item[1] >= 3])  # совсем мало :) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2. Моделирование\n",
    "\n",
    "__Основные параметры:__\n",
    "\n",
    "* данные должны быть итерируемым объектом \n",
    "* `size` — размер вектора, \n",
    "* `window` — размер окна наблюдения,\n",
    "* `min_count` — мин. частотность слова в корпусе,\n",
    "* `sg` — используемый алгоритм обучения (0 — CBOW, 1 — Skip-gram),\n",
    "* `sample` — порог для downsampling'a высокочастотных слов,\n",
    "* `workers` — количество потоков,\n",
    "* `alpha` — learning rate,\n",
    "* `iter` — количество итераций,\n",
    "* `max_vocab_size` — позволяет выставить ограничение по памяти при создании словаря (т.е. если ограничение привышается, то низкочастотные слова будут выбрасываться). Для сравнения: 10 млн слов = 1Гб RAM."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 17.2 s, sys: 272 ms, total: 17.5 s\n",
      "Wall time: 8.94 s\n"
     ]
    }
   ],
   "source": [
    "%%time \n",
    "from gensim.models.word2vec import Word2Vec\n",
    "\n",
    "# size - размерность векторов, которые мы хотим обучить\n",
    "# window - ширина окна контекста\n",
    "# min_count - если слово встречается реже, для него не учим модель\n",
    "model = Word2Vec(size=100, window=2, min_count=3, workers=4)\n",
    "\n",
    "# строительство словаря, чтобы обучение шло быстрее\n",
    "model.build_vocab(sents_tokenize)\n",
    "\n",
    "# обучение модели \n",
    "# первый аргумент - наша выборка, генератор будет вкидывать в модель наши тексты, пока они не кончатся\n",
    "# второй аргумент - число примеров в выборке \n",
    "# третий аргумент - количество эпох обучения: сколько раз модель пройдётся по всему корпусу текстов\n",
    "model.train(sents_tokenize, total_examples=model.corpus_count, epochs=100)\n",
    "\n",
    "# !NB в ситуации, когда у нас огромный корпус, 100 эпох это слишком много! "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "13702"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.corpus_count # число примеров в обучающей выборке"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Смотрим, сколько в модели слов."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "4793"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(model.wv.vocab)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'старуха' in model.wv.vocab"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3. Свойства модели"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([-0.1891717 , -1.0078331 ,  0.02465007,  1.9336507 ,  0.9836627 ,\n",
       "       -0.5515374 , -2.1063323 , -1.1825562 , -2.1625562 , -0.8773531 ],\n",
       "      dtype=float32)"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# вектор слова\n",
    "model.wv['старуха'][:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(100,)"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# размерность вектора\n",
    "model.wv['старуха'].shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.13398334"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# похожести слов \n",
    "model.wv.similarity('тварь', 'право')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.42833737"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.wv.similarity('старуха', 'топор')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1.0"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.wv.similarity('тварь', 'тварь')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('лизавета', 0.5569199323654175),\n",
       " ('наклепать', 0.5483915209770203),\n",
       " ('близко', 0.4810512661933899),\n",
       " ('чиновница', 0.4743647575378418),\n",
       " ('топор', 0.42833733558654785),\n",
       " ('грабёж', 0.4256175458431244),\n",
       " ('красильщик', 0.4135328531265259),\n",
       " ('взмахнуть', 0.40772098302841187),\n",
       " ('маляр', 0.3881557881832123),\n",
       " ('раздумье', 0.3795427083969116)]"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# самые похожие\n",
    "model.wv.most_similar('старуха')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('ступенька', 0.5321828722953796),\n",
       " ('передний', 0.5138054490089417),\n",
       " ('всходить', 0.49897563457489014),\n",
       " ('смутно', 0.46502870321273804),\n",
       " ('ниже', 0.46335119009017944),\n",
       " ('спьяну', 0.4606303572654724),\n",
       " ('узенький', 0.45165687799453735),\n",
       " ('подниматься', 0.43760809302330017),\n",
       " ('прихожая', 0.436430424451828),\n",
       " ('площадка', 0.4237166941165924)]"
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.wv.most_similar('лестница')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/usr/local/lib/python3.7/site-packages/ipykernel_launcher.py:2: DeprecationWarning: Call to deprecated `most_similar` (Method will be removed in 4.0.0, use self.wv.most_similar() instead).\n",
      "  \n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[('короткий', 0.30038806796073914),\n",
       " ('заглянуть', 0.29947230219841003),\n",
       " ('заглядывать', 0.29084068536758423),\n",
       " ('кругом', 0.2831892669200897),\n",
       " ('разъяснить', 0.27985256910324097),\n",
       " ('остановиться', 0.2769550681114197),\n",
       " ('видеться', 0.2744836211204529),\n",
       " ('увидеть', 0.27435925602912903),\n",
       " ('хорошенько', 0.27119874954223633),\n",
       " ('бесцеремонно', 0.2687910795211792)]"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# арифметика\n",
    "model.most_similar(positive=['раскольников'], negative=['тварь'])[:10]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 4. Как дообучить модель? \n",
    "\n",
    "Ради чистоты эксперимента сохраним текущую модель и заново подгрузим её. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "model_path = \"./our_w2v.model\"\n",
    "model.save(model_path)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "metadata": {},
   "outputs": [],
   "source": [
    "our_model = Word2Vec.load(model_path)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Подгрузим другое произведение и сделаем для него предобработку. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      " узнает...\n",
      "В нем взыграло ретивое!\n",
      "\"Что я вижу? что такое?\n",
      "Как!\" - и дух в нем занялся...\n",
      "Царь слезами залился,\n",
      "Обнимает он царицу,\n",
      "И сынка, и молодицу,\n",
      "\n",
      "\n",
      "\n",
      "И садятся все за стол;\n",
      "И веселый пир пошел.\n",
      "А ткачиха с поварихой,\n",
      "С сватьей бабой Бабарихой\n",
      "Разбежались по углам;\n",
      "Их нашли насилу там.\n",
      "Тут во всем они признались,\n",
      "Повинились, разрыдались;\n",
      "Царь для радости такой\n",
      "Отпустил всех трех домой.\n",
      "День прошел - царя Салтана\n",
      "Уложили спать вполпьяна.\n",
      "Я там был; мед, пиво пил -\n",
      "И усы лишь обмочил.\n",
      "\n",
      "1831\n",
      "\n",
      "\n"
     ]
    }
   ],
   "source": [
    "url = 'https://raw.githubusercontent.com/nevmenandr/word2vec-russian-novels/master/vector-school/SkazkaOCareSaltane.txt'\n",
    "\n",
    "resp = requests.get(url)\n",
    "text2 = resp.text \n",
    "\n",
    "# Последние 500 символов. Аккуратно! Спойлеры!\n",
    "print(text2[-500:])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Предобработка."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {},
   "outputs": [],
   "source": [
    "text2 = text2.lower()\n",
    "sents2 = sent_tokenize(text2)\n",
    "\n",
    "sents_tokenize2 = [tokenizer.tokenize(sent) for sent in sents2]\n",
    "sents_tokenize2 = [[morph.normal_forms(word)[0] for word in text_cur if word not in stopwords_ru]\n",
    "                      for text_cur in sents_tokenize2]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['сени', 'выйти', 'царь', 'отец']"
      ]
     },
     "execution_count": 71,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sents_tokenize2[10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "254"
      ]
     },
     "execution_count": 72,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(sents_tokenize2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Дополняем модель."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 74,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(178206, 269000)"
      ]
     },
     "execution_count": 74,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# обновили словарь\n",
    "our_model.build_vocab(sents_tokenize2, update=True)\n",
    "\n",
    "# дообучили\n",
    "our_model.train(sents_tokenize2, total_examples=our_model.corpus_count, epochs=100)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 81,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "False"
      ]
     },
     "execution_count": 81,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'ядро' in model.wv.vocab"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 82,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "'ядро' in our_model.wv.vocab"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('скатерть', 0.6989225149154663),\n",
       " ('изумруд', 0.6974911093711853),\n",
       " ('золотой', 0.6087195873260498),\n",
       " ('грызть', 0.5864646434783936),\n",
       " ('камень', 0.5648640990257263),\n",
       " ('чистый', 0.5592674016952515),\n",
       " ('разбиться', 0.5529054403305054),\n",
       " ('пристань', 0.5513269901275635),\n",
       " ('научить', 0.5490145087242126),\n",
       " ('шкатулка', 0.5452994108200073)]"
      ]
     },
     "execution_count": 83,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "our_model.wv.most_similar('ядро')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пример со старым словом."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('обеспечить', 0.508002519607544),\n",
       " ('наущение', 0.49238407611846924),\n",
       " ('секрет', 0.49059611558914185),\n",
       " ('подвиг', 0.4897482097148895),\n",
       " ('благословить', 0.487861692905426),\n",
       " ('окончить', 0.4802014231681824),\n",
       " ('губерния', 0.4793137311935425),\n",
       " ('испытание', 0.4776143431663513),\n",
       " ('литературный', 0.47760239243507385),\n",
       " ('жених', 0.47474443912506104)]"
      ]
     },
     "execution_count": 88,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "our_model.wv.most_similar('сын')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('наущение', 0.5248565673828125),\n",
       " ('секрет', 0.5242533087730408),\n",
       " ('подвиг', 0.498577356338501),\n",
       " ('обеспечить', 0.491332471370697),\n",
       " ('интерес', 0.48974451422691345),\n",
       " ('приём', 0.4830693304538727),\n",
       " ('сестрица', 0.4647851884365082),\n",
       " ('положение', 0.46402543783187866),\n",
       " ('беспредельный', 0.46239274740219116),\n",
       " ('выздоровление', 0.46238258481025696)]"
      ]
     },
     "execution_count": 89,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.wv.most_similar('сын')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "  "
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}