Merge pull request #49 from CodeWithKyrian/43-regex-for-detecting-language-codes-incorrect

fix: improve regex for detecting language codes in NllbTokenizer

Author: CodeWithKyrian

examples/pipelines/translation.php

@@ -11,11 +11,13 @@
 
 ini_set('memory_limit', -1);
 
-$translator = pipeline('translation', 'Xenova/m2m100_418M');
+//$translator = pipeline('translation', 'Xenova/m2m100_418M');
+$translator = pipeline('translation', 'Xenova/nllb-200-distilled-600M');
 
 $streamer = StdOutStreamer::make();
 
-$output = $translator('生活就像一盒巧克力。', streamer: $streamer, tgtLang: 'en');
+//$output = $translator('生活就像一盒巧克力。', streamer: $streamer, tgtLang: 'en');
+$output = $translator('जीवन एक चॉकलेट बॉक्स की तरह है।', streamer: $streamer, tgtLang: 'fra_Latn');
 //$output = $translator('जीवन एक चॉकलेट बॉक्स की तरह है।', streamer: $streamer, tgtLang: 'fr');
 //$output = $translator('संयुक्त राष्ट्र के प्रमुख का कहना है कि सीरिया में कोई सैन्य समाधान नहीं है', streamer: $streamer, tgtLang: 'fr', maxNewTokens: 256);
 

src/Normalizers/Replace.php

@@ -2,7 +2,6 @@
 
 declare(strict_types=1);
 
-
 namespace Codewithkyrian\Transformers\Normalizers;
 
 /**

src/PretrainedTokenizers/NllbTokenizer.php

@@ -10,7 +10,7 @@
 
 class NllbTokenizer extends PretrainedTokenizer
 {
-    protected string $languageRegex = '/^[a-z]{3}_[A-Z]{3}$/';
+    protected string $languageRegex = '/^[a-z]{3}_[a-zA-Z]{3,4}$/';
 
     protected array $languageCodes = [];
     protected \Closure $langToToken;