ทุกคนเคยสงสัยกันไหมว่า ?? ทำไมคอมพิวเตอร์ถึงเข้าใจภาษาที่เราพูดกันได้อยู่ทุกวันนี้ ทั้งที่ตอนเราเขียนโปรแกรม เรายังต้องใส่คำสั่งที่เป็นภาษาเครื่องอยู่เลย 😖
.
ซึ่งการที่คอมพิวเตอร์นั้นสามารถเข้าใจเราได้เพราะใช้ NLP ในการวิเคราะห์นั่นเอง !! 🖥️
.
และในวันนี้แอดได้มีเนื้อหาเกี่ยวกับ NLP เบื้องต้นมาแนะนำให้กับทุกคนได้รู้จักกัน จะมีเนื้อหาเป็นอย่างไรนั้น ไปดูกันเลยยย !!
.
🗣️ NLP ถ้าให้แปลเป็นไทยก็คือ การประมวลผลภาษาธรรมชาตินั่นเอง ซึ่งหลักการของเจ้าตัวนี้ก็ตามชื่อเลย คือการประมวลผลภาษาที่เราสื่อสารกัน ให้เป็นภาษาที่คอมพิวเตอร์สามารถเข้าใจได้ด้วย
.
ซึ่งหลักการทำงานทั่วไปของตัว NLP คือ
🔸 Tokenization
🔸 Parsing
🔸 Lemmatization/Stemming
🔸 Part-of-speech Tagging
🔸 Language Detection
🔸 Identification of Semantic Relationships
.
จากที่มอง ๆ ดูแล้ว คล้ายกับการที่ให้ครูสอนภาษาให้กับเราในตอนวัยเด็กเลย ไม่ว่าจะเป็น การแบ่งคำ รูปแบบประโยคต่าง ๆ อันไหน ประธาน กิริยา กรรม
.
👉 สรุปง่าย ๆ เลยก็คือ NLP จะทำหน้าที่ย่อยข้อความภาษาคน ลงเป็นส่วนเล็ก ๆ ที่ง่ายต่อการทำความเข้าใจของเครื่อง และค่อยนำมาวิเคราะห์หาความสัมพันธ์ระหว่างแต่ละส่วน แล้วนำมารวมกัน เพื่อตีความหมายนั่นเอง
.
ซึ่งประโยชน์การนำไปใช้งาน ก็มีอยู่มากมายเลยทีเดียว เพราะถ้าหากคอมพิวเตอร์สามารถเข้าใจถึงภาษาคนเราที่พูดคุยกันอยู่ทุกวันได้แล้ว การทำงานต่าง ๆ ในชีวิตก็จะง่ายขึ้นเป็นอย่างมาก
.
📑 ยกตัวอย่างเช่น การตรวจหาข้อมูลที่มีประโยชน์ในอีเมลหรือเอกสารรายงาน เพื่อตรวจจับปัญหาอาชญากรรม , การจัดกลุ่มเนื้อหาเป็นหมวดหมู่เอง, การจัดแบ่งประเภท Email เองว่าอันไหนเป็น สแปม
.
ซึ่งเนื้อหาเกี่ยวกับ Natural Language Processing นั้นยังมีอยู่อีกมากมาย นี่ยังคงเป็นแค่ส่วนหนึ่งเท่านั้นเอง
.
ซึ่งเจ้าตัว NLP ปัจจุบันนั้นมีตัว Library ให้เราสามารถนำไปใช้งานกันได้ด้วยนะ สำครับใครที่ไม่อยากเสียเวลาที่จะมานั่งคิดค้นเอง 😂 (ของเขามีก็ต้องเอามาใช้งานสิ) ในที่นี้จะยกตัวอย่าง Library ของ Python มาให้ทุกคนลองนำไปใช้งานกันดู
.
⚡ Natural Language Toolkit (NLTK) - เป็น Library ยอดฮิตที่คนนิยมใช้งานกันอยู่มาก ที่สำคัญเลยใช้งานกันได้ฟรี ๆ ใครที่อยากลองหัดทำ NLP ลองไปศึกษาเพิ่มเติมได้จากที่นี่เลย
https://www.nltk.org/
.
⚡ TextBlob - เป็นอีก 1 ตัวที่คนนิยมใช้กันอยู่ทั่วหลาย เหมาะกับคนที่หัดลองเล่นกับ NLP ใหม่ ๆ ใช้งานง่าย มีคู่มือสอนอยุ่มากมาย หากใครสนใจสามารถอ่านรายละเอียดต่อได้ที่นี่เลย
https://textblob.readthedocs.io/en/dev/
.
⚡ CoreNLP - เป็น Library ที่ถูกพัฒนาจาก Stanford University สามารถรองรับได้หลายภาษาเลย รวมถึง Python ด้วยเช่นกัน สามารถใช้งานได้ง่าย และอีกทั้งรวดเร็วอีกด้วย หากใครสนใจสามารถอ่านรายละเอียดเพิ่มเติ่มได้ที่นี่เลย
https://stanfordnlp.github.io/CoreNLP/
.
หวังว่าจะเป็นประโยชน์กับเพื่อน ๆ น้าาาา หากชอบอย่าลืมกดไลก์ กดแชร์ ให้กับพวกเราด้วย 🥰
.
borntoDev - 🦖 สร้างการเรียนรู้ที่ดีสำหรับสายไอทีในทุกวัน
#NPL #NaturalLanguageProcessing #BorntoDev
tokenization python 在 Text Tokenization — ENC2045 Computational Linguistics 的推薦與評價
These smaller linguistic units are usually easier to deal with computationally and semantically. Sentence Tokenization¶. from nltk.tokenize import sent_tokenize ... <看更多>