Base model is https://github.com/zjukg/DOZSL



        Data                           Emotion Extract                                                            ontology Encode                       Ontology
#######################         #############################                                                  ####################              ######################
##Image <---> Caption##  ---->  ##Caption --> Emotion state##                                                  ## KG base Encode ##     <---     ## Emotion -- cause ##
#######################         #############################                     Matching                     ####################              ######################
                                             |                  ##################################################       |                                                 
                                             --------------------Emotion State                    Encoded ontoloty--------
                                                                ##################################################
                                                                                       |
                                                                                       |
                                                                                       |
                                                                        [Emotion State - cause of emotions]
                                                                        
                                                                        
                                                                        
                                                     
## Date collection
Dell2 model or GAN base model

## Image <--> Caption
Image captioning with GPT