openai-gym-cartpole-neuroevolution.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import gym\n",
    "import numpy as np\n",
    "import torch\n",
    "import matplotlib.pyplot as plt\n",
    "import time"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from gym.wrappers import Monitor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "import torch.nn as nn\n",
    "import torch.nn.functional as F\n",
    "import torch.optim as optim"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "import math\n",
    "import copy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "class CartPoleAI(nn.Module):\n",
    "        def __init__(self):\n",
    "            super().__init__()\n",
    "            self.fc = nn.Sequential(\n",
    "                        nn.Linear(4,128, bias=True),\n",
    "                        nn.ReLU(),\n",
    "                        nn.Linear(128,2, bias=True),\n",
    "                        nn.Softmax(dim=1)\n",
    "                        )\n",
    "\n",
    "                \n",
    "        def forward(self, inputs):\n",
    "            x = self.fc(inputs)\n",
    "            return x"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "def init_weights(m):\n",
    "    \n",
    "        # nn.Conv2d weights are of shape [16, 1, 3, 3] i.e. # number of filters, 1, stride, stride\n",
    "        # nn.Conv2d bias is of shape [16] i.e. # number of filters\n",
    "        \n",
    "        # nn.Linear weights are of shape [32, 24336] i.e. # number of input features, number of output features\n",
    "        # nn.Linear bias is of shape [32] i.e. # number of output features\n",
    "        \n",
    "        if ((type(m) == nn.Linear) | (type(m) == nn.Conv2d)):\n",
    "            torch.nn.init.xavier_uniform(m.weight)\n",
    "            m.bias.data.fill_(0.00)\n",
    "                "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "def return_random_agents(num_agents):\n",
    "    \n",
    "    agents = []\n",
    "    for _ in range(num_agents):\n",
    "        \n",
    "        agent = CartPoleAI()\n",
    "        \n",
    "        for param in agent.parameters():\n",
    "            param.requires_grad = False\n",
    "            \n",
    "        init_weights(agent)\n",
    "        agents.append(agent)\n",
    "        \n",
    "        \n",
    "    return agents\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "def run_agents(agents):\n",
    "    \n",
    "    reward_agents = []\n",
    "    env = gym.make(\"CartPole-v0\")\n",
    "    \n",
    "    for agent in agents:\n",
    "        agent.eval()\n",
    "    \n",
    "        observation = env.reset()\n",
    "        \n",
    "        r=0\n",
    "        s=0\n",
    "        \n",
    "        for _ in range(250):\n",
    "            \n",
    "            inp = torch.tensor(observation).type('torch.FloatTensor').view(1,-1)\n",
    "            output_probabilities = agent(inp).detach().numpy()[0]\n",
    "            action = np.random.choice(range(game_actions), 1, p=output_probabilities).item()\n",
    "            new_observation, reward, done, info = env.step(action)\n",
    "            r=r+reward\n",
    "            \n",
    "            s=s+1\n",
    "            observation = new_observation\n",
    "\n",
    "            if(done):\n",
    "                break\n",
    "\n",
    "        reward_agents.append(r)        \n",
    "        #reward_agents.append(s)\n",
    "        \n",
    "    \n",
    "    return reward_agents"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "def return_average_score(agent, runs):\n",
    "    score = 0.\n",
    "    for i in range(runs):\n",
    "        score += run_agents([agent])[0]\n",
    "    return score/runs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "def run_agents_n_times(agents, runs):\n",
    "    avg_score = []\n",
    "    for agent in agents:\n",
    "        avg_score.append(return_average_score(agent,runs))\n",
    "    return avg_score"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "def mutate(agent):\n",
    "\n",
    "    child_agent = copy.deepcopy(agent)\n",
    "    \n",
    "    mutation_power = 0.02 #hyper-parameter, set from https://arxiv.org/pdf/1712.06567.pdf\n",
    "            \n",
    "    for param in child_agent.parameters():\n",
    "    \n",
    "        if(len(param.shape)==4): #weights of Conv2D\n",
    "\n",
    "            for i0 in range(param.shape[0]):\n",
    "                for i1 in range(param.shape[1]):\n",
    "                    for i2 in range(param.shape[2]):\n",
    "                        for i3 in range(param.shape[3]):\n",
    "                            \n",
    "                            param[i0][i1][i2][i3]+= mutation_power * np.random.randn()\n",
    "                                \n",
    "                                    \n",
    "\n",
    "        elif(len(param.shape)==2): #weights of linear layer\n",
    "            for i0 in range(param.shape[0]):\n",
    "                for i1 in range(param.shape[1]):\n",
    "                    \n",
    "                    param[i0][i1]+= mutation_power * np.random.randn()\n",
    "                        \n",
    "\n",
    "        elif(len(param.shape)==1): #biases of linear layer or conv layer\n",
    "            for i0 in range(param.shape[0]):\n",
    "                \n",
    "                param[i0]+=mutation_power * np.random.randn()\n",
    "\n",
    "    return child_agent"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "def return_children(agents, sorted_parent_indexes, elite_index):\n",
    "    \n",
    "    children_agents = []\n",
    "    \n",
    "    #first take selected parents from sorted_parent_indexes and generate N-1 children\n",
    "    for i in range(len(agents)-1):\n",
    "        \n",
    "        selected_agent_index = sorted_parent_indexes[np.random.randint(len(sorted_parent_indexes))]\n",
    "        children_agents.append(mutate(agents[selected_agent_index]))\n",
    "\n",
    "    #now add one elite\n",
    "    elite_child = add_elite(agents, sorted_parent_indexes, elite_index)\n",
    "    children_agents.append(elite_child)\n",
    "    elite_index=len(children_agents)-1 #it is the last one\n",
    "    \n",
    "    return children_agents, elite_index"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "def add_elite(agents, sorted_parent_indexes, elite_index=None, only_consider_top_n=10):\n",
    "    \n",
    "    candidate_elite_index = sorted_parent_indexes[:only_consider_top_n]\n",
    "    \n",
    "    if(elite_index is not None):\n",
    "        candidate_elite_index = np.append(candidate_elite_index,[elite_index])\n",
    "        \n",
    "    top_score = None\n",
    "    top_elite_index = None\n",
    "    \n",
    "    for i in candidate_elite_index:\n",
    "        score = return_average_score(agents[i],runs=5)\n",
    "        print(\"Score for elite i \", i, \" is \", score)\n",
    "        \n",
    "        if(top_score is None):\n",
    "            top_score = score\n",
    "            top_elite_index = i\n",
    "        elif(score > top_score):\n",
    "            top_score = score\n",
    "            top_elite_index = i\n",
    "            \n",
    "    print(\"Elite selected with index \",top_elite_index, \" and score\", top_score)\n",
    "    \n",
    "    child_agent = copy.deepcopy(agents[top_elite_index])\n",
    "    return child_agent\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "def softmax(x):\n",
    "    \"\"\"Compute softmax values for each sets of scores in x.\"\"\"\n",
    "    return np.exp(x) / np.sum(np.exp(x), axis=0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "Generation  0  | Mean rewards:  21.627333333333336  | Mean of top 5:  45.266666666666666\n",
      "Top  20  scores [404 491 382 456 172 236 271 321 173 415 265 376 279 178  80 445  26 467\n",
      " 433 134]\n",
      "Rewards for top:  [48.333333333333336, 46.666666666666664, 45.0, 43.666666666666664, 42.666666666666664, 41.666666666666664, 41.333333333333336, 41.0, 40.0, 39.0, 39.0, 39.0, 38.333333333333336, 38.333333333333336, 38.0, 37.333333333333336, 37.333333333333336, 37.0, 36.333333333333336, 36.333333333333336]\n",
      "Score for elite i  404  is  18.0\n",
      "Score for elite i  491  is  25.2\n",
      "Score for elite i  382  is  15.2\n",
      "Score for elite i  456  is  20.4\n",
      "Score for elite i  172  is  31.8\n",
      "Score for elite i  236  is  22.8\n",
      "Score for elite i  271  is  16.2\n",
      "Score for elite i  321  is  19.2\n",
      "Score for elite i  173  is  21.4\n",
      "Score for elite i  415  is  17.0\n",
      "Elite selected with index  172  and score 31.8\n",
      "\n",
      "\n",
      "Generation  1  | Mean rewards:  23.249333333333333  | Mean of top 5:  47.53333333333334\n",
      "Top  20  scores [376 121 259  24 451 260 126  85 396 227  21 385 405 108 452 292 409 407\n",
      "  42 299]\n",
      "Rewards for top:  [55.0, 47.666666666666664, 45.333333333333336, 45.333333333333336, 44.333333333333336, 43.666666666666664, 43.333333333333336, 42.666666666666664, 41.666666666666664, 41.333333333333336, 41.333333333333336, 41.0, 40.666666666666664, 40.666666666666664, 40.333333333333336, 40.333333333333336, 40.0, 40.0, 39.666666666666664, 39.333333333333336]\n",
      "Score for elite i  376  is  37.2\n",
      "Score for elite i  121  is  21.0\n",
      "Score for elite i  259  is  20.4\n",
      "Score for elite i  24  is  20.0\n",
      "Score for elite i  451  is  31.6\n",
      "Score for elite i  260  is  18.6\n",
      "Score for elite i  126  is  16.6\n",
      "Score for elite i  85  is  21.4\n",
      "Score for elite i  396  is  23.2\n",
      "Score for elite i  227  is  35.4\n",
      "Score for elite i  499  is  27.4\n",
      "Elite selected with index  376  and score 37.2\n",
      "\n",
      "\n",
      "Generation  2  | Mean rewards:  24.584  | Mean of top 5:  62.666666666666664\n",
      "Top  20  scores [357  69 378 127 373 362  19  45 470 161 330 400 449 442  13 188  83  41\n",
      "  99  96]\n",
      "Rewards for top:  [86.66666666666667, 64.33333333333333, 56.333333333333336, 54.666666666666664, 51.333333333333336, 50.666666666666664, 49.666666666666664, 49.0, 47.333333333333336, 47.333333333333336, 45.666666666666664, 45.0, 44.666666666666664, 44.666666666666664, 44.333333333333336, 44.333333333333336, 44.333333333333336, 44.333333333333336, 44.333333333333336, 44.0]\n",
      "Score for elite i  357  is  23.8\n",
      "Score for elite i  69  is  35.8\n",
      "Score for elite i  378  is  26.6\n",
      "Score for elite i  127  is  23.0\n",
      "Score for elite i  373  is  32.0\n",
      "Score for elite i  362  is  27.0\n",
      "Score for elite i  19  is  25.2\n",
      "Score for elite i  45  is  19.8\n",
      "Score for elite i  470  is  26.2\n",
      "Score for elite i  161  is  27.0\n",
      "Score for elite i  499  is  19.0\n",
      "Elite selected with index  69  and score 35.8\n",
      "\n",
      "\n",
      "Generation  3  | Mean rewards:  26.139333333333333  | Mean of top 5:  60.93333333333332\n",
      "Top  20  scores [131 408  26  43 259 459 348 407 314 149 480 293 155 429  53   8 227 489\n",
      " 260 379]\n",
      "Rewards for top:  [65.0, 62.0, 61.666666666666664, 59.666666666666664, 56.333333333333336, 54.666666666666664, 54.666666666666664, 54.666666666666664, 53.0, 51.0, 49.666666666666664, 48.666666666666664, 48.0, 48.0, 47.0, 46.333333333333336, 46.0, 45.333333333333336, 44.666666666666664, 44.666666666666664]\n",
      "Score for elite i  131  is  27.0\n",
      "Score for elite i  408  is  43.6\n",
      "Score for elite i  26  is  31.8\n",
      "Score for elite i  43  is  26.6\n",
      "Score for elite i  259  is  38.2\n",
      "Score for elite i  459  is  24.6\n",
      "Score for elite i  348  is  17.6\n",
      "Score for elite i  407  is  30.8\n",
      "Score for elite i  314  is  18.2\n",
      "Score for elite i  149  is  32.8\n",
      "Score for elite i  499  is  24.0\n",
      "Elite selected with index  408  and score 43.6\n",
      "\n",
      "\n",
      "Generation  4  | Mean rewards:  27.836  | Mean of top 5:  68.73333333333332\n",
      "Top  20  scores [ 27  64 369 316 296 119  72 226  43 214 423 151 108  49 264 376 252 261\n",
      " 417 491]\n",
      "Rewards for top:  [74.33333333333333, 73.66666666666667, 69.33333333333333, 68.33333333333333, 58.0, 57.666666666666664, 57.666666666666664, 56.666666666666664, 56.333333333333336, 53.666666666666664, 53.0, 51.666666666666664, 50.666666666666664, 50.666666666666664, 50.333333333333336, 49.666666666666664, 49.666666666666664, 49.333333333333336, 49.333333333333336, 48.666666666666664]\n",
      "Score for elite i  27  is  27.2\n",
      "Score for elite i  64  is  51.8\n",
      "Score for elite i  369  is  23.8\n",
      "Score for elite i  316  is  23.6\n",
      "Score for elite i  296  is  36.0\n",
      "Score for elite i  119  is  24.6\n",
      "Score for elite i  72  is  25.2\n",
      "Score for elite i  226  is  20.4\n",
      "Score for elite i  43  is  35.8\n",
      "Score for elite i  214  is  30.6\n",
      "Score for elite i  499  is  49.0\n",
      "Elite selected with index  64  and score 51.8\n",
      "\n",
      "\n",
      "Generation  5  | Mean rewards:  30.398  | Mean of top 5:  70.46666666666667\n",
      "Top  20  scores [113 260 398 411 331 324  77 263 107 248 203 211 484 234 268 259 310  96\n",
      "   3 298]\n",
      "Rewards for top:  [86.66666666666667, 72.0, 65.66666666666667, 64.66666666666667, 63.333333333333336, 61.0, 57.0, 56.0, 56.0, 54.666666666666664, 54.0, 54.0, 53.666666666666664, 53.333333333333336, 53.333333333333336, 53.0, 53.0, 52.666666666666664, 52.333333333333336, 52.0]\n",
      "Score for elite i  113  is  31.8\n",
      "Score for elite i  260  is  28.0\n",
      "Score for elite i  398  is  35.6\n",
      "Score for elite i  411  is  26.4\n",
      "Score for elite i  331  is  26.0\n",
      "Score for elite i  324  is  27.8\n",
      "Score for elite i  77  is  25.6\n",
      "Score for elite i  263  is  26.6\n",
      "Score for elite i  107  is  19.6\n",
      "Score for elite i  248  is  49.2\n",
      "Score for elite i  499  is  34.0\n",
      "Elite selected with index  248  and score 49.2\n",
      "\n",
      "\n",
      "Generation  6  | Mean rewards:  30.642  | Mean of top 5:  65.0\n",
      "Top  20  scores [175 457 194 187 124 181 252 158  41 339 489  26 213 459 393 224  56 144\n",
      " 394 322]\n",
      "Rewards for top:  [75.66666666666667, 63.666666666666664, 63.666666666666664, 63.333333333333336, 58.666666666666664, 58.333333333333336, 57.333333333333336, 56.666666666666664, 56.666666666666664, 56.333333333333336, 56.333333333333336, 55.666666666666664, 54.333333333333336, 53.666666666666664, 53.333333333333336, 53.0, 51.333333333333336, 51.333333333333336, 51.333333333333336, 50.666666666666664]\n",
      "Score for elite i  175  is  55.8\n",
      "Score for elite i  457  is  29.4\n",
      "Score for elite i  194  is  17.8\n",
      "Score for elite i  187  is  36.4\n",
      "Score for elite i  124  is  25.2\n",
      "Score for elite i  181  is  27.2\n",
      "Score for elite i  252  is  28.0\n",
      "Score for elite i  158  is  26.6\n",
      "Score for elite i  41  is  38.8\n",
      "Score for elite i  339  is  38.8\n",
      "Score for elite i  499  is  31.4\n",
      "Elite selected with index  175  and score 55.8\n",
      "\n",
      "\n",
      "Generation  7  | Mean rewards:  31.379333333333335  | Mean of top 5:  62.733333333333334\n",
      "Top  20  scores [ 40  91  45 305  62 468 363  60 264  18 413 316 388 364 320  36 174 215\n",
      " 395 499]\n",
      "Rewards for top:  [67.66666666666667, 64.0, 61.333333333333336, 61.0, 59.666666666666664, 59.333333333333336, 59.0, 58.666666666666664, 58.333333333333336, 58.0, 57.666666666666664, 57.333333333333336, 56.333333333333336, 56.0, 55.333333333333336, 55.333333333333336, 55.0, 55.0, 54.333333333333336, 53.0]\n",
      "Score for elite i  40  is  33.2\n",
      "Score for elite i  91  is  35.4\n",
      "Score for elite i  45  is  25.2\n",
      "Score for elite i  305  is  30.6\n",
      "Score for elite i  62  is  26.0\n",
      "Score for elite i  468  is  35.2\n",
      "Score for elite i  363  is  30.0\n",
      "Score for elite i  60  is  47.2\n",
      "Score for elite i  264  is  19.6\n",
      "Score for elite i  18  is  34.4\n",
      "Score for elite i  499  is  32.8\n",
      "Elite selected with index  60  and score 47.2\n",
      "\n",
      "\n",
      "Generation  8  | Mean rewards:  31.154  | Mean of top 5:  72.86666666666666\n",
      "Top  20  scores [428 384 287 186 377   9 458 354 163 119 388 375 411  38 271 180 402 195\n",
      " 194 432]\n",
      "Rewards for top:  [84.33333333333333, 75.33333333333333, 69.0, 68.66666666666667, 67.0, 65.66666666666667, 64.66666666666667, 61.333333333333336, 59.666666666666664, 59.333333333333336, 58.333333333333336, 58.0, 57.0, 56.333333333333336, 56.333333333333336, 55.333333333333336, 55.0, 54.666666666666664, 54.666666666666664, 53.0]\n",
      "Score for elite i  428  is  37.2\n",
      "Score for elite i  384  is  35.0\n",
      "Score for elite i  287  is  39.0\n",
      "Score for elite i  186  is  38.4\n",
      "Score for elite i  377  is  32.4\n",
      "Score for elite i  9  is  18.4\n",
      "Score for elite i  458  is  25.2\n",
      "Score for elite i  354  is  19.2\n",
      "Score for elite i  163  is  42.0\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Score for elite i  119  is  24.8\n",
      "Score for elite i  499  is  49.0\n",
      "Elite selected with index  499  and score 49.0\n",
      "\n",
      "\n",
      "Generation  9  | Mean rewards:  31.91133333333333  | Mean of top 5:  65.86666666666666\n",
      "Top  20  scores [127 439 263 225 436 398 218 145  80 327 282 449 357  94 442 479 494 109\n",
      " 394 437]\n",
      "Rewards for top:  [75.0, 66.33333333333333, 66.0, 62.333333333333336, 59.666666666666664, 58.666666666666664, 58.666666666666664, 58.333333333333336, 58.333333333333336, 58.0, 57.333333333333336, 57.333333333333336, 57.333333333333336, 56.666666666666664, 56.666666666666664, 56.333333333333336, 56.333333333333336, 56.0, 55.333333333333336, 55.333333333333336]\n",
      "Score for elite i  127  is  25.4\n",
      "Score for elite i  439  is  29.4\n",
      "Score for elite i  263  is  28.4\n",
      "Score for elite i  225  is  29.4\n",
      "Score for elite i  436  is  23.0\n",
      "Score for elite i  398  is  29.0\n",
      "Score for elite i  218  is  46.4\n",
      "Score for elite i  145  is  19.6\n",
      "Score for elite i  80  is  33.2\n",
      "Score for elite i  327  is  48.6\n",
      "Score for elite i  499  is  24.2\n",
      "Elite selected with index  327  and score 48.6\n",
      "\n",
      "\n",
      "Generation  10  | Mean rewards:  31.928  | Mean of top 5:  73.80000000000001\n",
      "Top  20  scores [157 324 448  69  38 246  15 186 253  67 173 430  76  87 127  99 474 330\n",
      " 240 390]\n",
      "Rewards for top:  [80.66666666666667, 73.0, 72.66666666666667, 71.66666666666667, 71.0, 71.0, 64.0, 62.0, 61.333333333333336, 61.0, 60.333333333333336, 59.666666666666664, 59.666666666666664, 59.333333333333336, 59.333333333333336, 59.333333333333336, 57.333333333333336, 57.0, 57.0, 56.666666666666664]\n",
      "Score for elite i  157  is  29.2\n",
      "Score for elite i  324  is  22.0\n",
      "Score for elite i  448  is  48.6\n",
      "Score for elite i  69  is  36.2\n",
      "Score for elite i  38  is  45.4\n",
      "Score for elite i  246  is  24.2\n",
      "Score for elite i  15  is  23.0\n",
      "Score for elite i  186  is  46.0\n",
      "Score for elite i  253  is  34.8\n",
      "Score for elite i  67  is  34.8\n",
      "Score for elite i  499  is  23.6\n",
      "Elite selected with index  448  and score 48.6\n",
      "\n",
      "\n",
      "Generation  11  | Mean rewards:  34.898  | Mean of top 5:  78.66666666666667\n",
      "Top  20  scores [223 235  26 460 424 185 136 446 132 452 473 467  56 336 286 264 220 367\n",
      "  78 154]\n",
      "Rewards for top:  [85.66666666666667, 82.66666666666667, 81.33333333333333, 72.66666666666667, 71.0, 68.0, 67.66666666666667, 65.33333333333333, 64.33333333333333, 64.0, 63.0, 62.333333333333336, 61.0, 60.333333333333336, 59.666666666666664, 58.333333333333336, 58.333333333333336, 58.0, 57.666666666666664, 57.333333333333336]\n",
      "Score for elite i  223  is  30.2\n",
      "Score for elite i  235  is  44.6\n",
      "Score for elite i  26  is  19.6\n",
      "Score for elite i  460  is  30.4\n",
      "Score for elite i  424  is  29.6\n",
      "Score for elite i  185  is  42.4\n",
      "Score for elite i  136  is  39.6\n",
      "Score for elite i  446  is  24.0\n",
      "Score for elite i  132  is  31.8\n",
      "Score for elite i  452  is  29.6\n",
      "Score for elite i  499  is  41.2\n",
      "Elite selected with index  235  and score 44.6\n",
      "\n",
      "\n",
      "Generation  12  | Mean rewards:  34.966  | Mean of top 5:  86.93333333333334\n",
      "Top  20  scores [261 188 371  47 322 104 407 411 307 220 418 105 327  24 221 235 108  36\n",
      " 434 440]\n",
      "Rewards for top:  [111.33333333333333, 89.33333333333333, 79.33333333333333, 78.0, 76.66666666666667, 74.66666666666667, 70.66666666666667, 70.33333333333333, 68.66666666666667, 67.66666666666667, 67.0, 66.66666666666667, 66.33333333333333, 65.33333333333333, 64.66666666666667, 63.666666666666664, 63.333333333333336, 62.666666666666664, 62.333333333333336, 62.333333333333336]\n",
      "Score for elite i  261  is  38.0\n",
      "Score for elite i  188  is  19.8\n",
      "Score for elite i  371  is  38.0\n",
      "Score for elite i  47  is  40.4\n",
      "Score for elite i  322  is  39.0\n",
      "Score for elite i  104  is  29.6\n",
      "Score for elite i  407  is  68.6\n",
      "Score for elite i  411  is  34.0\n",
      "Score for elite i  307  is  39.8\n",
      "Score for elite i  220  is  24.8\n",
      "Score for elite i  499  is  44.4\n",
      "Elite selected with index  407  and score 68.6\n",
      "\n",
      "\n",
      "Generation  13  | Mean rewards:  38.53866666666667  | Mean of top 5:  90.33333333333334\n",
      "Top  20  scores [382 286 136 345 164 116 473 452  89 228 186  39  53 384  86   1 222 351\n",
      " 292 245]\n",
      "Rewards for top:  [101.0, 88.66666666666667, 87.66666666666667, 87.33333333333333, 87.0, 80.66666666666667, 79.33333333333333, 78.0, 76.66666666666667, 75.66666666666667, 74.33333333333333, 73.66666666666667, 73.0, 72.66666666666667, 72.33333333333333, 72.0, 71.66666666666667, 70.66666666666667, 70.66666666666667, 69.66666666666667]\n",
      "Score for elite i  382  is  43.2\n",
      "Score for elite i  286  is  42.0\n",
      "Score for elite i  136  is  44.2\n",
      "Score for elite i  345  is  72.8\n",
      "Score for elite i  164  is  25.8\n",
      "Score for elite i  116  is  48.2\n",
      "Score for elite i  473  is  23.6\n",
      "Score for elite i  452  is  25.4\n",
      "Score for elite i  89  is  37.8\n",
      "Score for elite i  228  is  65.4\n",
      "Score for elite i  499  is  34.2\n",
      "Elite selected with index  345  and score 72.8\n",
      "\n",
      "\n",
      "Generation  14  | Mean rewards:  39.584666666666664  | Mean of top 5:  100.13333333333334\n",
      "Top  20  scores [151 190  47  46 450 410 420 320 143  50  38 493  60 330 458  17   0 438\n",
      " 200 373]\n",
      "Rewards for top:  [122.0, 108.0, 98.0, 89.0, 83.66666666666667, 83.33333333333333, 82.66666666666667, 80.0, 80.0, 77.0, 76.0, 75.0, 74.0, 73.0, 72.33333333333333, 72.33333333333333, 71.33333333333333, 69.66666666666667, 69.33333333333333, 67.33333333333333]\n",
      "Score for elite i  151  is  32.6\n",
      "Score for elite i  190  is  54.4\n",
      "Score for elite i  47  is  22.8\n",
      "Score for elite i  46  is  44.0\n",
      "Score for elite i  450  is  53.0\n",
      "Score for elite i  410  is  34.4\n",
      "Score for elite i  420  is  33.8\n",
      "Score for elite i  320  is  48.4\n",
      "Score for elite i  143  is  31.2\n",
      "Score for elite i  50  is  39.4\n",
      "Score for elite i  499  is  29.2\n",
      "Elite selected with index  190  and score 54.4\n",
      "\n",
      "\n",
      "Generation  15  | Mean rewards:  40.38466666666666  | Mean of top 5:  87.66666666666666\n",
      "Top  20  scores [458 461 244 158 267 236  60 238 439 209 353 400 151  14 471 256   3 474\n",
      " 143 319]\n",
      "Rewards for top:  [91.33333333333333, 89.33333333333333, 87.0, 86.66666666666667, 84.0, 83.33333333333333, 80.66666666666667, 79.33333333333333, 78.66666666666667, 78.66666666666667, 77.33333333333333, 77.0, 76.33333333333333, 72.33333333333333, 71.33333333333333, 71.33333333333333, 70.66666666666667, 70.66666666666667, 70.0, 69.66666666666667]\n",
      "Score for elite i  458  is  41.0\n",
      "Score for elite i  461  is  45.2\n",
      "Score for elite i  244  is  32.8\n",
      "Score for elite i  158  is  60.8\n",
      "Score for elite i  267  is  22.4\n",
      "Score for elite i  236  is  32.4\n",
      "Score for elite i  60  is  37.6\n",
      "Score for elite i  238  is  66.0\n",
      "Score for elite i  439  is  53.4\n",
      "Score for elite i  209  is  40.4\n",
      "Score for elite i  499  is  36.2\n",
      "Elite selected with index  238  and score 66.0\n",
      "\n",
      "\n",
      "Generation  16  | Mean rewards:  41.02066666666666  | Mean of top 5:  99.6\n",
      "Top  20  scores [159  78 212 209 144 381 493 423 145 219 320 263 306 440 327 466 462 403\n",
      " 355  38]\n",
      "Rewards for top:  [123.0, 94.66666666666667, 94.33333333333333, 93.33333333333333, 92.66666666666667, 92.33333333333333, 92.0, 90.66666666666667, 84.66666666666667, 83.0, 82.66666666666667, 82.33333333333333, 81.0, 80.66666666666667, 80.66666666666667, 80.66666666666667, 77.33333333333333, 74.0, 73.33333333333333, 73.0]\n",
      "Score for elite i  159  is  52.2\n",
      "Score for elite i  78  is  39.2\n",
      "Score for elite i  212  is  70.6\n",
      "Score for elite i  209  is  52.8\n",
      "Score for elite i  144  is  30.6\n",
      "Score for elite i  381  is  52.8\n",
      "Score for elite i  493  is  22.2\n",
      "Score for elite i  423  is  46.6\n",
      "Score for elite i  145  is  33.2\n",
      "Score for elite i  219  is  47.2\n",
      "Score for elite i  499  is  37.6\n",
      "Elite selected with index  212  and score 70.6\n",
      "\n",
      "\n",
      "Generation  17  | Mean rewards:  42.77333333333333  | Mean of top 5:  96.46666666666667\n",
      "Top  20  scores [252 397  64 438 405 162 283 407 137  83 183 232  73  88  69 301  40 164\n",
      " 240 462]\n",
      "Rewards for top:  [111.66666666666667, 96.0, 94.33333333333333, 90.66666666666667, 89.66666666666667, 89.33333333333333, 85.0, 83.33333333333333, 82.33333333333333, 82.0, 82.0, 79.33333333333333, 77.0, 77.0, 77.0, 75.66666666666667, 75.66666666666667, 74.33333333333333, 73.33333333333333, 73.0]\n",
      "Score for elite i  252  is  34.2\n",
      "Score for elite i  397  is  41.8\n",
      "Score for elite i  64  is  54.4\n",
      "Score for elite i  438  is  50.4\n",
      "Score for elite i  405  is  58.6\n",
      "Score for elite i  162  is  42.6\n",
      "Score for elite i  283  is  52.6\n",
      "Score for elite i  407  is  42.2\n",
      "Score for elite i  137  is  41.2\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Score for elite i  83  is  20.2\n",
      "Score for elite i  499  is  56.8\n",
      "Elite selected with index  405  and score 58.6\n",
      "\n",
      "\n",
      "Generation  18  | Mean rewards:  44.675333333333334  | Mean of top 5:  93.26666666666668\n",
      "Top  20  scores [111 189  37  70 300 367 220 331  29  91 188 365 323 342 235 144  49 483\n",
      " 283 481]\n",
      "Rewards for top:  [101.33333333333333, 92.0, 91.66666666666667, 90.66666666666667, 90.66666666666667, 90.0, 87.0, 86.66666666666667, 86.33333333333333, 85.66666666666667, 84.66666666666667, 82.0, 81.66666666666667, 81.0, 79.33333333333333, 79.33333333333333, 78.33333333333333, 77.0, 76.66666666666667, 76.33333333333333]\n",
      "Score for elite i  111  is  50.4\n",
      "Score for elite i  189  is  45.8\n",
      "Score for elite i  37  is  65.0\n",
      "Score for elite i  70  is  29.8\n",
      "Score for elite i  300  is  52.8\n",
      "Score for elite i  367  is  35.0\n",
      "Score for elite i  220  is  38.8\n",
      "Score for elite i  331  is  48.8\n",
      "Score for elite i  29  is  42.8\n",
      "Score for elite i  91  is  40.6\n",
      "Score for elite i  499  is  34.6\n",
      "Elite selected with index  37  and score 65.0\n",
      "\n",
      "\n",
      "Generation  19  | Mean rewards:  45.83866666666666  | Mean of top 5:  102.13333333333334\n",
      "Top  20  scores [222 243 479 477 418 395 151 353  43 232  14 398 149 458 376  67 235 366\n",
      " 488 158]\n",
      "Rewards for top:  [114.0, 110.0, 101.66666666666667, 93.33333333333333, 91.66666666666667, 91.33333333333333, 88.66666666666667, 88.33333333333333, 88.33333333333333, 88.0, 87.66666666666667, 87.66666666666667, 85.0, 85.0, 84.66666666666667, 84.66666666666667, 84.33333333333333, 83.66666666666667, 82.66666666666667, 82.66666666666667]\n",
      "Score for elite i  222  is  45.4\n",
      "Score for elite i  243  is  43.2\n",
      "Score for elite i  479  is  57.0\n",
      "Score for elite i  477  is  43.2\n",
      "Score for elite i  418  is  29.6\n",
      "Score for elite i  395  is  50.8\n",
      "Score for elite i  151  is  47.0\n",
      "Score for elite i  353  is  51.6\n",
      "Score for elite i  43  is  45.0\n",
      "Score for elite i  232  is  74.4\n",
      "Score for elite i  499  is  49.0\n",
      "Elite selected with index  232  and score 74.4\n",
      "\n",
      "\n",
      "Generation  20  | Mean rewards:  46.547333333333334  | Mean of top 5:  103.6\n",
      "Top  20  scores [  8 139 108 293 334 415 420  76 179  48  80 186 235 185 272 251 212 431\n",
      " 351 268]\n",
      "Rewards for top:  [108.0, 107.33333333333333, 105.33333333333333, 100.0, 97.33333333333333, 96.66666666666667, 96.33333333333333, 93.66666666666667, 92.0, 89.66666666666667, 89.0, 87.0, 84.33333333333333, 84.0, 83.33333333333333, 83.0, 82.33333333333333, 81.33333333333333, 81.0, 80.66666666666667]\n",
      "Score for elite i  8  is  29.6\n",
      "Score for elite i  139  is  54.8\n",
      "Score for elite i  108  is  45.0\n",
      "Score for elite i  293  is  41.4\n",
      "Score for elite i  334  is  37.4\n",
      "Score for elite i  415  is  76.8\n",
      "Score for elite i  420  is  42.2\n",
      "Score for elite i  76  is  42.0\n",
      "Score for elite i  179  is  38.8\n",
      "Score for elite i  48  is  50.0\n",
      "Score for elite i  499  is  34.8\n",
      "Elite selected with index  415  and score 76.8\n",
      "\n",
      "\n",
      "Generation  21  | Mean rewards:  48.14333333333333  | Mean of top 5:  108.0\n",
      "Top  20  scores [ 79   8 406  72 378 463 374 300 163   1 161 212 131 223  93 456 262 133\n",
      "  19 116]\n",
      "Rewards for top:  [117.0, 108.66666666666667, 108.0, 105.0, 101.33333333333333, 100.66666666666667, 100.0, 97.0, 94.0, 93.0, 92.66666666666667, 92.33333333333333, 91.0, 89.66666666666667, 87.0, 86.0, 86.0, 84.66666666666667, 83.66666666666667, 83.33333333333333]\n",
      "Score for elite i  79  is  61.4\n",
      "Score for elite i  8  is  33.8\n",
      "Score for elite i  406  is  33.6\n",
      "Score for elite i  72  is  53.2\n",
      "Score for elite i  378  is  33.8\n",
      "Score for elite i  463  is  45.4\n",
      "Score for elite i  374  is  45.8\n",
      "Score for elite i  300  is  45.6\n",
      "Score for elite i  163  is  48.4\n",
      "Score for elite i  1  is  34.0\n",
      "Score for elite i  499  is  27.4\n",
      "Elite selected with index  79  and score 61.4\n",
      "\n",
      "\n",
      "Generation  22  | Mean rewards:  49.828  | Mean of top 5:  102.13333333333335\n",
      "Top  20  scores [161  74 419 342 383  31 314 488 425 291 408 198   0   4 347  22 119 454\n",
      " 205   8]\n",
      "Rewards for top:  [122.0, 99.66666666666667, 97.66666666666667, 97.66666666666667, 93.66666666666667, 93.0, 92.66666666666667, 92.0, 91.66666666666667, 90.66666666666667, 88.0, 87.66666666666667, 87.33333333333333, 86.0, 85.66666666666667, 85.66666666666667, 85.33333333333333, 84.66666666666667, 84.33333333333333, 83.66666666666667]\n",
      "Score for elite i  161  is  46.0\n",
      "Score for elite i  74  is  39.4\n",
      "Score for elite i  419  is  39.6\n",
      "Score for elite i  342  is  53.6\n",
      "Score for elite i  383  is  38.4\n",
      "Score for elite i  31  is  55.4\n",
      "Score for elite i  314  is  43.6\n",
      "Score for elite i  488  is  46.2\n",
      "Score for elite i  425  is  34.4\n",
      "Score for elite i  291  is  48.2\n",
      "Score for elite i  499  is  77.2\n",
      "Elite selected with index  499  and score 77.2\n",
      "\n",
      "\n",
      "Generation  23  | Mean rewards:  50.786  | Mean of top 5:  106.4\n",
      "Top  20  scores [420 298 312 369  97 201 168 490 152 394  36 371  55 477 160 462 317 187\n",
      " 345 463]\n",
      "Rewards for top:  [117.33333333333333, 106.33333333333333, 104.66666666666667, 102.66666666666667, 101.0, 100.0, 100.0, 99.33333333333333, 98.33333333333333, 98.33333333333333, 97.33333333333333, 97.0, 96.66666666666667, 96.66666666666667, 96.33333333333333, 94.66666666666667, 93.0, 92.0, 90.33333333333333, 88.66666666666667]\n",
      "Score for elite i  420  is  48.8\n",
      "Score for elite i  298  is  30.2\n",
      "Score for elite i  312  is  37.2\n",
      "Score for elite i  369  is  36.0\n",
      "Score for elite i  97  is  46.2\n",
      "Score for elite i  201  is  63.6\n",
      "Score for elite i  168  is  63.8\n",
      "Score for elite i  490  is  48.0\n",
      "Score for elite i  152  is  56.6\n",
      "Score for elite i  394  is  57.4\n",
      "Score for elite i  499  is  55.4\n",
      "Elite selected with index  168  and score 63.8\n",
      "\n",
      "\n",
      "Generation  24  | Mean rewards:  53.346666666666664  | Mean of top 5:  108.4\n",
      "Top  20  scores [206   8 136 345 394 490  77  39 256 321 450 229 339 447 139 237  93 385\n",
      " 409 399]\n",
      "Rewards for top:  [115.66666666666667, 108.0, 107.33333333333333, 105.66666666666667, 105.33333333333333, 104.33333333333333, 104.0, 103.66666666666667, 99.66666666666667, 99.66666666666667, 99.33333333333333, 99.0, 98.66666666666667, 93.33333333333333, 93.33333333333333, 92.66666666666667, 90.33333333333333, 90.33333333333333, 90.0, 89.0]\n",
      "Score for elite i  206  is  84.8\n",
      "Score for elite i  8  is  68.0\n",
      "Score for elite i  136  is  51.0\n",
      "Score for elite i  345  is  45.6\n",
      "Score for elite i  394  is  39.6\n",
      "Score for elite i  490  is  57.4\n",
      "Score for elite i  77  is  35.6\n",
      "Score for elite i  39  is  58.8\n",
      "Score for elite i  256  is  67.0\n",
      "Score for elite i  321  is  50.0\n",
      "Score for elite i  499  is  40.6\n",
      "Elite selected with index  206  and score 84.8\n",
      "\n",
      "\n",
      "Generation  25  | Mean rewards:  52.22533333333333  | Mean of top 5:  122.4\n",
      "Top  20  scores [336  85 311  28 428 179 126 292 365 122  21 415   7  36 328 322 358 475\n",
      " 249 171]\n",
      "Rewards for top:  [154.33333333333334, 120.66666666666667, 116.0, 114.33333333333333, 106.66666666666667, 102.66666666666667, 101.33333333333333, 100.0, 99.0, 98.0, 97.0, 93.66666666666667, 93.33333333333333, 91.66666666666667, 90.66666666666667, 90.33333333333333, 90.33333333333333, 89.33333333333333, 89.0, 87.0]\n",
      "Score for elite i  336  is  66.8\n",
      "Score for elite i  85  is  48.0\n",
      "Score for elite i  311  is  59.8\n",
      "Score for elite i  28  is  93.4\n",
      "Score for elite i  428  is  62.6\n",
      "Score for elite i  179  is  55.2\n",
      "Score for elite i  126  is  37.4\n",
      "Score for elite i  292  is  42.0\n",
      "Score for elite i  365  is  41.6\n",
      "Score for elite i  122  is  52.0\n",
      "Score for elite i  499  is  51.6\n",
      "Elite selected with index  28  and score 93.4\n",
      "\n",
      "\n",
      "Generation  26  | Mean rewards:  53.62066666666667  | Mean of top 5:  111.73333333333335\n",
      "Top  20  scores [278 354 218   8 359 424 313 267 311 428  73 284 220 414   9 294 165 469\n",
      " 353 255]\n",
      "Rewards for top:  [121.0, 113.0, 109.66666666666667, 108.0, 107.0, 103.66666666666667, 103.33333333333333, 102.0, 100.0, 100.0, 97.33333333333333, 96.66666666666667, 96.0, 95.66666666666667, 95.0, 95.0, 94.0, 93.66666666666667, 92.0, 91.66666666666667]\n",
      "Score for elite i  278  is  53.8\n",
      "Score for elite i  354  is  63.2\n",
      "Score for elite i  218  is  40.6\n",
      "Score for elite i  8  is  30.0\n",
      "Score for elite i  359  is  47.6\n",
      "Score for elite i  424  is  48.4\n",
      "Score for elite i  313  is  71.8\n",
      "Score for elite i  267  is  50.4\n",
      "Score for elite i  311  is  63.2\n",
      "Score for elite i  428  is  65.0\n",
      "Score for elite i  499  is  44.2\n",
      "Elite selected with index  313  and score 71.8\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "Generation  27  | Mean rewards:  51.16333333333333  | Mean of top 5:  112.66666666666667\n",
      "Top  20  scores [285 152 103 390 139 483 269 477 365 267 247  88 173 147 441 128 275 199\n",
      "  18 291]\n",
      "Rewards for top:  [119.33333333333333, 117.0, 117.0, 105.66666666666667, 104.33333333333333, 102.0, 95.66666666666667, 95.66666666666667, 94.66666666666667, 94.33333333333333, 94.33333333333333, 92.66666666666667, 91.66666666666667, 91.66666666666667, 91.33333333333333, 91.33333333333333, 91.0, 91.0, 90.33333333333333, 90.33333333333333]\n",
      "Score for elite i  285  is  44.8\n",
      "Score for elite i  152  is  55.8\n",
      "Score for elite i  103  is  56.2\n",
      "Score for elite i  390  is  68.8\n",
      "Score for elite i  139  is  62.0\n",
      "Score for elite i  483  is  69.6\n",
      "Score for elite i  269  is  99.6\n",
      "Score for elite i  477  is  57.6\n",
      "Score for elite i  365  is  58.2\n",
      "Score for elite i  267  is  46.8\n",
      "Score for elite i  499  is  68.2\n",
      "Elite selected with index  269  and score 99.6\n",
      "\n",
      "\n",
      "Generation  28  | Mean rewards:  57.14933333333334  | Mean of top 5:  124.26666666666668\n",
      "Top  20  scores [475 396 484 172 119 227 110 211 155 198 270 460 151 156 299 163  52 342\n",
      " 268 186]\n",
      "Rewards for top:  [146.33333333333334, 124.0, 121.66666666666667, 116.66666666666667, 112.66666666666667, 107.66666666666667, 107.66666666666667, 102.33333333333333, 102.0, 101.66666666666667, 101.33333333333333, 101.0, 100.33333333333333, 99.33333333333333, 99.0, 97.66666666666667, 97.66666666666667, 95.0, 93.0, 92.66666666666667]\n",
      "Score for elite i  475  is  37.2\n",
      "Score for elite i  396  is  65.0\n",
      "Score for elite i  484  is  43.2\n",
      "Score for elite i  172  is  45.8\n",
      "Score for elite i  119  is  50.4\n",
      "Score for elite i  227  is  65.8\n",
      "Score for elite i  110  is  71.0\n",
      "Score for elite i  211  is  39.0\n",
      "Score for elite i  155  is  46.0\n",
      "Score for elite i  198  is  65.8\n",
      "Score for elite i  499  is  47.6\n",
      "Elite selected with index  110  and score 71.0\n",
      "\n",
      "\n",
      "Generation  29  | Mean rewards:  54.96666666666667  | Mean of top 5:  124.13333333333333\n",
      "Top  20  scores [495  10 393 143 242 136 180 447 145 208 198 190 160  98 221  33 277 350\n",
      " 149 458]\n",
      "Rewards for top:  [136.66666666666666, 135.0, 119.66666666666667, 117.0, 112.33333333333333, 111.0, 107.33333333333333, 104.66666666666667, 103.0, 102.66666666666667, 99.33333333333333, 99.33333333333333, 99.0, 98.66666666666667, 98.66666666666667, 98.33333333333333, 97.66666666666667, 97.66666666666667, 97.33333333333333, 94.66666666666667]\n",
      "Score for elite i  495  is  52.6\n",
      "Score for elite i  10  is  60.4\n",
      "Score for elite i  393  is  57.4\n",
      "Score for elite i  143  is  75.6\n",
      "Score for elite i  242  is  68.0\n",
      "Score for elite i  136  is  65.8\n",
      "Score for elite i  180  is  34.4\n",
      "Score for elite i  447  is  50.8\n",
      "Score for elite i  145  is  74.8\n",
      "Score for elite i  208  is  50.8\n",
      "Score for elite i  499  is  45.4\n",
      "Elite selected with index  143  and score 75.6\n",
      "\n",
      "\n",
      "Generation  30  | Mean rewards:  54.425999999999995  | Mean of top 5:  115.06666666666668\n",
      "Top  20  scores [499 224 147 281 494 152 443  63 338 267 355 229 123 482 407 125 127  62\n",
      " 189  49]\n",
      "Rewards for top:  [124.66666666666667, 118.0, 112.0, 111.0, 109.66666666666667, 108.0, 105.66666666666667, 103.33333333333333, 103.0, 100.33333333333333, 100.0, 98.66666666666667, 98.33333333333333, 98.33333333333333, 98.33333333333333, 96.33333333333333, 95.66666666666667, 95.66666666666667, 95.33333333333333, 94.0]\n",
      "Score for elite i  499  is  54.6\n",
      "Score for elite i  224  is  47.2\n",
      "Score for elite i  147  is  82.2\n",
      "Score for elite i  281  is  53.6\n",
      "Score for elite i  494  is  75.2\n",
      "Score for elite i  152  is  53.0\n",
      "Score for elite i  443  is  65.8\n",
      "Score for elite i  63  is  45.6\n",
      "Score for elite i  338  is  85.6\n",
      "Score for elite i  267  is  79.6\n",
      "Score for elite i  499  is  67.2\n",
      "Elite selected with index  338  and score 85.6\n",
      "\n",
      "\n",
      "Generation  31  | Mean rewards:  60.21066666666667  | Mean of top 5:  136.93333333333334\n",
      "Top  20  scores [310  58 359 458 171 151 109  42 332 192 475 377 107 361 296 221  26  51\n",
      " 440 431]\n",
      "Rewards for top:  [158.0, 139.33333333333334, 133.33333333333334, 127.33333333333333, 126.66666666666667, 126.33333333333333, 121.66666666666667, 120.66666666666667, 117.66666666666667, 115.33333333333333, 114.0, 112.0, 111.66666666666667, 111.0, 111.0, 107.33333333333333, 107.0, 106.66666666666667, 106.33333333333333, 103.33333333333333]\n",
      "Score for elite i  310  is  46.8\n",
      "Score for elite i  58  is  70.0\n",
      "Score for elite i  359  is  79.4\n",
      "Score for elite i  458  is  47.0\n",
      "Score for elite i  171  is  61.0\n",
      "Score for elite i  151  is  66.8\n",
      "Score for elite i  109  is  77.2\n",
      "Score for elite i  42  is  63.2\n",
      "Score for elite i  332  is  66.6\n",
      "Score for elite i  192  is  59.2\n",
      "Score for elite i  499  is  53.8\n",
      "Elite selected with index  359  and score 79.4\n",
      "\n",
      "\n",
      "Generation  32  | Mean rewards:  61.74266666666667  | Mean of top 5:  140.53333333333336\n",
      "Top  20  scores [179  66  35  79 225 172  95 459 444 359 362  22 131 475  70  29   1 478\n",
      " 269   7]\n",
      "Rewards for top:  [150.0, 143.0, 141.33333333333334, 136.0, 132.33333333333334, 126.33333333333333, 124.0, 122.33333333333333, 121.0, 118.66666666666667, 118.33333333333333, 118.0, 115.66666666666667, 115.0, 114.66666666666667, 114.33333333333333, 114.33333333333333, 111.66666666666667, 111.0, 111.0]\n",
      "Score for elite i  179  is  44.6\n",
      "Score for elite i  66  is  60.4\n",
      "Score for elite i  35  is  77.8\n",
      "Score for elite i  79  is  63.2\n",
      "Score for elite i  225  is  45.6\n",
      "Score for elite i  172  is  103.8\n",
      "Score for elite i  95  is  46.6\n",
      "Score for elite i  459  is  51.4\n",
      "Score for elite i  444  is  90.8\n",
      "Score for elite i  359  is  45.6\n",
      "Score for elite i  499  is  47.6\n",
      "Elite selected with index  172  and score 103.8\n",
      "\n",
      "\n",
      "Generation  33  | Mean rewards:  61.42533333333333  | Mean of top 5:  125.2\n",
      "Top  20  scores [394 330 175 467 285 454  85 336  99 174 202 155 472 102 457 140 211 358\n",
      " 304 122]\n",
      "Rewards for top:  [133.0, 130.33333333333334, 122.33333333333333, 120.66666666666667, 119.66666666666667, 118.33333333333333, 118.0, 112.0, 111.66666666666667, 108.66666666666667, 106.66666666666667, 106.33333333333333, 106.0, 105.66666666666667, 105.0, 104.66666666666667, 104.33333333333333, 104.33333333333333, 102.33333333333333, 102.0]\n",
      "Score for elite i  394  is  57.4\n",
      "Score for elite i  330  is  61.4\n",
      "Score for elite i  175  is  60.4\n",
      "Score for elite i  467  is  48.4\n",
      "Score for elite i  285  is  58.6\n",
      "Score for elite i  454  is  77.4\n",
      "Score for elite i  85  is  44.2\n",
      "Score for elite i  336  is  43.6\n",
      "Score for elite i  99  is  52.2\n",
      "Score for elite i  174  is  48.2\n",
      "Score for elite i  499  is  87.8\n",
      "Elite selected with index  499  and score 87.8\n",
      "\n",
      "\n",
      "Generation  34  | Mean rewards:  61.948  | Mean of top 5:  124.46666666666665\n",
      "Top  20  scores [339  71 114 110 291 235 160 362 496 302  17 161 109 356 215 427  55 300\n",
      " 122  43]\n",
      "Rewards for top:  [135.66666666666666, 125.66666666666667, 124.33333333333333, 120.0, 116.66666666666667, 115.0, 112.0, 111.0, 109.66666666666667, 109.0, 108.0, 107.66666666666667, 107.0, 106.33333333333333, 106.0, 105.0, 104.66666666666667, 104.33333333333333, 103.33333333333333, 102.0]\n",
      "Score for elite i  339  is  77.0\n",
      "Score for elite i  71  is  48.0\n",
      "Score for elite i  114  is  54.0\n",
      "Score for elite i  110  is  50.0\n",
      "Score for elite i  291  is  116.2\n",
      "Score for elite i  235  is  62.8\n",
      "Score for elite i  160  is  82.0\n",
      "Score for elite i  362  is  54.8\n",
      "Score for elite i  496  is  84.8\n",
      "Score for elite i  302  is  70.4\n",
      "Score for elite i  499  is  53.8\n",
      "Elite selected with index  291  and score 116.2\n",
      "\n",
      "\n",
      "Generation  35  | Mean rewards:  64.624  | Mean of top 5:  130.33333333333331\n",
      "Top  20  scores [139 202 319 220 289 267 326 119 360 253  71 344 355 196 225 364  47 241\n",
      " 183 248]\n",
      "Rewards for top:  [135.33333333333334, 133.66666666666666, 128.66666666666666, 128.33333333333334, 125.66666666666667, 125.0, 119.66666666666667, 119.33333333333333, 118.33333333333333, 117.33333333333333, 116.66666666666667, 116.33333333333333, 113.33333333333333, 113.0, 110.66666666666667, 107.66666666666667, 107.33333333333333, 106.66666666666667, 106.66666666666667, 106.33333333333333]\n",
      "Score for elite i  139  is  63.4\n",
      "Score for elite i  202  is  64.8\n",
      "Score for elite i  319  is  45.2\n",
      "Score for elite i  220  is  70.4\n",
      "Score for elite i  289  is  83.6\n",
      "Score for elite i  267  is  50.4\n",
      "Score for elite i  326  is  56.6\n",
      "Score for elite i  119  is  62.4\n",
      "Score for elite i  360  is  75.4\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Score for elite i  253  is  75.6\n",
      "Score for elite i  499  is  47.8\n",
      "Elite selected with index  289  and score 83.6\n"
     ]
    },
    {
     "ename": "KeyboardInterrupt",
     "evalue": "",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-17-8295552f6900>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[1;32m     19\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     20\u001b[0m     \u001b[0;31m# return rewards of agents\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 21\u001b[0;31m     \u001b[0mrewards\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mrun_agents_n_times\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0magents\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;36m3\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;31m#return average of 3 runs\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     22\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     23\u001b[0m     \u001b[0;31m# sort by rewards\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m<ipython-input-11-00889bc3cebb>\u001b[0m in \u001b[0;36mrun_agents_n_times\u001b[0;34m(agents, runs)\u001b[0m\n\u001b[1;32m      2\u001b[0m     \u001b[0mavg_score\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;34m[\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      3\u001b[0m     \u001b[0;32mfor\u001b[0m \u001b[0magent\u001b[0m \u001b[0;32min\u001b[0m \u001b[0magents\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 4\u001b[0;31m         \u001b[0mavg_score\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mappend\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mreturn_average_score\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0magent\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0mruns\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      5\u001b[0m     \u001b[0;32mreturn\u001b[0m \u001b[0mavg_score\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m<ipython-input-10-d0bf248736d3>\u001b[0m in \u001b[0;36mreturn_average_score\u001b[0;34m(agent, runs)\u001b[0m\n\u001b[1;32m      2\u001b[0m     \u001b[0mscore\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;36m0.\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      3\u001b[0m     \u001b[0;32mfor\u001b[0m \u001b[0mi\u001b[0m \u001b[0;32min\u001b[0m \u001b[0mrange\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mruns\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 4\u001b[0;31m         \u001b[0mscore\u001b[0m \u001b[0;34m+=\u001b[0m \u001b[0mrun_agents\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0magent\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;36m0\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      5\u001b[0m     \u001b[0;32mreturn\u001b[0m \u001b[0mscore\u001b[0m\u001b[0;34m/\u001b[0m\u001b[0mruns\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m<ipython-input-9-effc1cd08c8d>\u001b[0m in \u001b[0;36mrun_agents\u001b[0;34m(agents)\u001b[0m\n\u001b[1;32m     16\u001b[0m             \u001b[0minp\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mtorch\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mtensor\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mobservation\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mtype\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'torch.FloatTensor'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mview\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m-\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     17\u001b[0m             \u001b[0moutput_probabilities\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0magent\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0minp\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mdetach\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mnumpy\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;36m0\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 18\u001b[0;31m             \u001b[0maction\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mnp\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mrandom\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mchoice\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mrange\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mgame_actions\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;36m1\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mp\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0moutput_probabilities\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mitem\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     19\u001b[0m             \u001b[0mnew_observation\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mreward\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mdone\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0minfo\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0menv\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mstep\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0maction\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     20\u001b[0m             \u001b[0mr\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mr\u001b[0m\u001b[0;34m+\u001b[0m\u001b[0mreward\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32mmtrand.pyx\u001b[0m in \u001b[0;36mmtrand.RandomState.choice\u001b[0;34m()\u001b[0m\n",
      "\u001b[0;32m~/miniconda3/lib/python3.7/site-packages/numpy/core/fromnumeric.py\u001b[0m in \u001b[0;36mprod\u001b[0;34m(a, axis, dtype, out, keepdims, initial)\u001b[0m\n\u001b[1;32m   2476\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   2477\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 2478\u001b[0;31m \u001b[0;32mdef\u001b[0m \u001b[0mprod\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0ma\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0maxis\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;32mNone\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mdtype\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;32mNone\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mout\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;32mNone\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mkeepdims\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mnp\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_NoValue\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0minitial\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mnp\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_NoValue\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   2479\u001b[0m     \"\"\"\n\u001b[1;32m   2480\u001b[0m     \u001b[0mReturn\u001b[0m \u001b[0mthe\u001b[0m \u001b[0mproduct\u001b[0m \u001b[0mof\u001b[0m \u001b[0marray\u001b[0m \u001b[0melements\u001b[0m \u001b[0mover\u001b[0m \u001b[0ma\u001b[0m \u001b[0mgiven\u001b[0m \u001b[0maxis\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m: "
     ]
    }
   ],
   "source": [
    "game_actions = 2 #2 actions possible: left or right\n",
    "\n",
    "#disable gradients as we will not use them\n",
    "torch.set_grad_enabled(False)\n",
    "\n",
    "# initialize N number of agents\n",
    "num_agents = 500\n",
    "agents = return_random_agents(num_agents)\n",
    "\n",
    "# How many top agents to consider as parents\n",
    "top_limit = 20\n",
    "\n",
    "# run evolution until X generations\n",
    "generations = 1000\n",
    "\n",
    "elite_index = None\n",
    "\n",
    "for generation in range(generations):\n",
    "\n",
    "    # return rewards of agents\n",
    "    rewards = run_agents_n_times(agents, 3) #return average of 3 runs\n",
    "\n",
    "    # sort by rewards\n",
    "    sorted_parent_indexes = np.argsort(rewards)[::-1][:top_limit] #reverses and gives top values (argsort sorts by ascending by default) https://stackoverflow.com/questions/16486252/is-it-possible-to-use-argsort-in-descending-order\n",
    "    print(\"\")\n",
    "    print(\"\")\n",
    "    \n",
    "    top_rewards = []\n",
    "    for best_parent in sorted_parent_indexes:\n",
    "        top_rewards.append(rewards[best_parent])\n",
    "    \n",
    "    print(\"Generation \", generation, \" | Mean rewards: \", np.mean(rewards), \" | Mean of top 5: \",np.mean(top_rewards[:5]))\n",
    "    #print(rewards)\n",
    "    print(\"Top \",top_limit,\" scores\", sorted_parent_indexes)\n",
    "    print(\"Rewards for top: \",top_rewards)\n",
    "    \n",
    "    # setup an empty list for containing children agents\n",
    "    children_agents, elite_index = return_children(agents, sorted_parent_indexes, elite_index)\n",
    "\n",
    "    # kill all agents, and replace them with their children\n",
    "    agents = children_agents"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 75,
   "metadata": {},
   "outputs": [],
   "source": [
    "def play_agent(agent):\n",
    "    try: #try and exception block because, render hangs if an erorr occurs, we must do env.close to continue working    \n",
    "        env = gym.make(\"CartPole-v0\")\n",
    "        \n",
    "        env_record = Monitor(env, './video', force=True)\n",
    "        observation = env_record.reset()\n",
    "        last_observation = observation\n",
    "        r=0\n",
    "        for _ in range(250):\n",
    "            env_record.render()\n",
    "            inp = torch.tensor(observation).type('torch.FloatTensor').view(1,-1)\n",
    "            output_probabilities = agent(inp).detach().numpy()[0]\n",
    "            action = np.random.choice(range(game_actions), 1, p=output_probabilities).item()\n",
    "            new_observation, reward, done, info = env_record.step(action)\n",
    "            r=r+reward\n",
    "            observation = new_observation\n",
    "\n",
    "            if(done):\n",
    "                break\n",
    "\n",
    "        env_record.close()\n",
    "        print(\"Rewards: \",r)\n",
    "\n",
    "    except Exception as e:\n",
    "        env_record.close()\n",
    "        print(e.__doc__)\n",
    "        print(e.message)        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Rewards:  70.0\n"
     ]
    }
   ],
   "source": [
    "play_agent(agents[96])"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}