斷詞意思

斷詞，又稱“斷取”、“斷詞取義”。它是指形式上用的是大家比較熟悉的固定詞組（或比較穩固的短句）；表意上卻是有意識地把這個詞或詞組切“斷”，只抓住其中一部分顏色、 ...

斷詞（Tokenize)：這個動詞的意思就是希望可以將一個句子藉由工程方式，切割成一個一個的字元。 英文(歐美語系) 和中文(東亞語系) 的斷詞有很大的差異，英文僅需利用空白自 ...

那麼，問題來了，如果聰明的人類都會誤解複雜的語言，那麼只懂011000110 的電腦有可能學會斷詞、甚至理解同一個詞在不同上下文的意思嗎？其實，這就是自然 ...

中研院資訊科學研究所的馬偉雲助研究員說明：以中文來說，最基本的，要先教電腦學會「斷詞」和「理解詞的意思」。 如何理解一種語言？ 小時候學習中文，會 ...