Taxi_enviroment.py

import gym
import numpy as np
import random

env = gym.make('Taxi-v3').env

#Q-Table
q_table =np.zeros([env.observation_space.n , env.action_space.n]) # 500x6 lık 0 matrisi oluşturdum.

#Hyperparameters - bizim ayarlamamız gereken discount rate , learning rate ,epsilon rate(keşif parametresi) değerleri

alpha = 0.1
gamma = 0.9
epsilon = 0.1

#Plotting metrix

reward_list = []
dropouts_list = []


episode_number  = 2000
for i in range(1,episode_number): #agent'ım 10000 kere eğitilsin
    
    #initialize enviroment -enviroment her episode'da initial etmem lazımki bir önceki enviromente devam etmiş gibi olur.
    state = env.reset()
    
    reward_count = 0
    dropouts = 0
    
    while(True):  #Taksi müşteriyi yanlış yerde bırakırsa episode bitmiş oluyor(yanmış oluyoruz.)Yeni episode başlıyoruz.
        
        # exploit vs explore to find action
        # %10 explore , %90 exploit
        
        if random.uniform(0,1) < epsilon:     #Cesaretli olma ve olmama için rastgele karar verelim diye random fonk.kullandık.
            action = env.action_space.sample()  #cesaretli olma durumu
        else:
            action = np.argmax(q_table[state])  #ben cesaretsizim q tablede maksimum ne ise onu alırım.
        
        # action process and take reward/take observation
            
        next_state , reward , done ,_ = env.step(action)
        
        # Q-Learning Function
        old_value = q_table[state,action]
        next_max = np.max(q_table[next_state])
        
        next_value = (1-alpha)*old_value + alpha*(reward + gamma*next_max)
        
        # Q-Table update
        q_table[state,action] = next_value    # artık s1 statenda action'ın(ne ise artık örneğin -> olsun) yeni değeri budur.
        

        # Update state
        state = next_state
        
        # Find wrong dropouts
        if reward  == -10:    # yanlış yerde indirdiğinde(wrong dropout) -10 ceza alır enviroment sağlıyor bunu bize.
            dropouts+=1

        if done:  #yanma koşulunu burada test ediyorum.Yanmışsam breakliyip while'dan çıkıyorum.
            break
     
        reward_count += reward
        
    if i %10==0:   
        dropouts_list.append(dropouts)
        reward_list.append(reward_count)
        print("Episode {}, Reward {} , Wrong Dropouts {}".format(i , reward_count , dropouts))