Merge pull request #289 from KisaragiEffective/perf/do-not-allocate-s…

…rc-in-lexer

docs/syntax.md

@@ -10,6 +10,8 @@
 
 ## 改行
 
+改行コードはLF (`\n`) または CRLF (`\r\n`) をサポートします。どちらもトークン化の際は単なる改行として取り扱われます。
+
 現状余計な改行を入れることはできません。これは実装の都合によります。将来的には、この制限事項は解除される予定です。
 
 ただし、`block`式の`block`キーワードの直後だけは例外です。

package/origlang-compiler/src/lexer.rs

@@ -33,30 +33,26 @@ impl<T> AssociateWithPos for T {
 }
 
 #[derive(Debug)]
-pub struct Lexer {
+pub struct Lexer<'src> {
     source_bytes_nth: Cell<Utf8CharBoundaryStartByte>,
-    source: String,
+    source: &'src str,
     line: Cell<NonZeroUsize>,
     column: Cell<NonZeroUsize>,
 }
 
-impl Lexer {
+impl<'src> Lexer<'src> {
     #[must_use = "Lexer do nothing unless calling parsing function"]
-    pub fn create(source: &str) -> Self {
-        let src: Cow<'_, str> = if cfg!(windows) {
-            source.replace("\r\n", "\n").into()
-        } else {
-            Cow::Borrowed(source)
-        };
-
+    pub fn create(source: &'src str) -> Self {
         Self {
             source_bytes_nth: Cell::new(Utf8CharBoundaryStartByte::new(0)),
-            source: src.to_string(),
+            source,
             line: Cell::new(NonZeroUsize::new(1).unwrap()),
             column: Cell::new(NonZeroUsize::new(1).unwrap()),
         }
     }
+}
 
+impl Lexer<'_> {
     fn drain_space(&self) {
         trace!("drain_space: start vvvvvvvvvvvvvvvvvvv");
         while !self.reached_end() {
@@ -105,6 +101,7 @@ impl Lexer {
             } else {
                 None
             }
+            .or_else(|| self.try_and_eat_str("\r\n").expect("huh?").map(|_| Token::NewLine))
             .or_else(|| self.try_and_eat_str("\n").expect("huh?").map(|_| Token::NewLine))
             .or_else(||
                 fold!(

package/origlang-compiler/src/lexer/tests.rs

@@ -95,6 +95,7 @@ fn parse_string_literal_mixed_4_3() {
 
 use std::num::NonZeroUsize;
 use origlang_source_span::{Pointed, SourcePosition};
+use crate::chars::boundary::Utf8CharBoundaryStartByte;
 
 #[test]
 fn token_location() {
@@ -198,3 +199,21 @@ fn digit_regression() {
     let lexer = Lexer::create(EMPTY);
     assert_eq!(lexer.next().data, Token::EndOfFile);
 }
+
+#[test]
+fn crlf_positive() {
+    const S: &str = "\r\n";
+    let lexer = Lexer::create(S);
+    assert_eq!(lexer.next().data, Token::NewLine);
+    assert_eq!(lexer.next().data, Token::EndOfFile);
+}
+
+#[test]
+fn crlf_negative() {
+    const S: &str = "\r";
+    let lexer = Lexer::create(S);
+    assert_eq!(lexer.next().data, Token::UnexpectedChar {
+        index: Utf8CharBoundaryStartByte::new(0),
+        char: '\r',
+    });
+}

package/origlang-compiler/src/parser.rs

@@ -128,18 +128,20 @@ impl TokenKind {
     }
 }
 
-pub struct Parser {
-    lexer: Lexer,
+pub struct Parser<'src> {
+    lexer: Lexer<'src>,
 }
 
-impl Parser {
+impl<'src> Parser<'src> {
     #[must_use = "Parser do nothing unless calling parsing function"]
-    pub fn create(source: &str) -> Self {
+    pub fn create(source: &'src str) -> Self {
         Self {
             lexer: Lexer::create(source)
         }
     }
+}
 
+impl Parser<'_> {
     /// プログラムが文の列とみなしてパースを試みる。
     /// 事前条件: プログラム全体が任意個の文として分解できる
     /// # Errors