ทฤษฎีสารสนเทศ

จากวิกิพีเดีย สารานุกรมเสรี

ลิงก์ข้ามภาษาที่แทรกในบทความนี้ ผู้เขียนอาจใส่ไว้เพื่อความสะดวกสำหรับผู้อ่านและผู้ร่วมปรับปรุงแก้ไขบทความ ให้โยงไปถึงบทความที่เกี่ยวข้องในภาษาอื่นเพื่อการตรวจสอบหรืออ่านเพิ่มเติม เนื่องจากคำ หรือวลีนั้นๆ ยังไม่มีคำแปลหรือคำอธิบายที่เหมาะสมในภาษาไทย เมื่อหมดความจำเป็นแล้ว ลิงก์ข้ามภาษาจะถูกตัดออกหรือเปลี่ยนเป็นข้อความที่ไม่มีลิงก์แทน ทั้งนี้ เพื่อให้เป็นไปตามมาตรฐานวิกิพีเดียไทย

สำหรับความหมายอื่น ดูที่ ทฤษฎีข้อมูล

ทฤษฎีสารสนเทศ (information theory) เป็นสาขาหนึ่งใน ทฤษฎีความน่าจะเป็น (probability theory) และ คณิตศาสตร์เชิงสถิติ (mathematical statistics) ขอบข่ายเนื้อหาของทฤษฎีนี้จะเกี่ยวข้องกับ สารสนเทศ (information) , เอนโทรปีของสารสนเทศ (information entropy) , ระบบการสื่อสาร (communication systems) , การส่งข้อมูล (data transmission) , ทฤษฎีอัตราการบิดเบือน (rate distortion theory) , วิทยาการเข้ารหัสลับ (cryptography) , สัดส่วนสัญญาณต่อสัญญาณรบกวน (signal-to-noise ratios) , การบีบอัดข้อมูล (data compression) , การแก้ความผิดพลาด (error correction) , และหัวข้ออื่นๆที่เกี่ยวข้อง

คำแปลที่ตามราชบัณฑิต คือ "ทฤษฎีสารสนเทศ" นี้ มาจากคำว่า "information theory" ซึ่งคำว่า information เป็นคำเดียวกันกับที่หมายถึง สารสนเทศ แต่เนื่องจากความหมายของ information theory นั้นจะเกี่ยวเนื่องกับ เนื้อความในแง่ของสัญญาณ จึงอาจจะใช้คำว่า ทฤษฎีข้อมูล แทนความหมายของสารสนเทศ ที่เป็นในแง่ของเนื้อหาข่าวสาร และ สื่อตัวกลาง หรือสื่อบันทึกในบางกรณี

ตัวอย่างของการนำทฤษฎีสารสนเทศมาประยุกต์ใช้ ได้แก่ ZIP Files, เครื่องเล่นเอ็มพีสาม , อินเทอร์เน็ตความเร็วสูงดีเอสแอล, อุปกรณ์สื่อสารไร้สาย อาทิ โทรศัพท์มือถือ วิทยุสื่อสาร, เครื่องเล่นซีดี และการศึกษาเกี่ยวกับหลุมดำ เป็นต้น

เนื้อหา

1 ประวัติ
2 ความสัมพันธ์กับ เอนโทรปี ของ อุณหพลศาสตร์
3 ดูเพิ่ม
4 อ้างอิง

[แก้] ประวัติ

คลาวด์ อี. แชนนอน (Claude E. Shannon) (1916-2001) ได้รับการขนานนามว่าเป็น "บิดาแห่งทฤษฎีสารสนเทศ" ทฤษฎีของแชนนอนนี้ เป็นทฤษฎีแรกที่ได้ทำการวินิจฉัยปัญหาทางการสื่อสาร ในรูปของปัญหาคณิตศาสตร์เชิงสถิติ เป็นทฤษฎีที่ได้เปิดหนทาง ให้วิศวกรการสื่อสาร สามารถคำนวณขนาด หรือปริมาณสูงสุดของช่องสัญญาณ ออกมาในหน่วยบิต (bits)

ทฤษฎีสารสนเทศที่เรารู้จักอยู่ในทุกวันนี้ เป็นที่ยอมรับโดยทั่วไปว่า เริ่มต้นจากผลงานตีพิมพ์ของแชนนอนเรื่องทฤษฎีเชิงคณิตศาสตร์ของการสื่อสาร (The Mathematical Theory of Communication) ลงในวารสารทางเทคนิคเบลล์ซิสเต็ม (Bell System Technical Journal) ฉบับเดือนมิถุนายน ในปี พ.ศ. 2491 (ค.ศ. 1948) ซึ่งงานชิ้นนี้นั้น เป็นงานที่ได้สร้างเสริมต่อมาจาก ผลงานของ แฮร์รี นายควิสท์ (Harry Nyquist) และ ราล์ฟ ฮาร์ทลีย์ (Ralph Hartley)

ในงานของแชนนอน ที่ทำให้วิศวกรระบบสื่อสาร สามารถออกแบบระบบสื่อสารที่มีประสิทธิภาพสูงขึ้นได้นั้น แชนนอนได้นิยามเอนโทรปีของสารสนเทศเท่ากับ

$\mathbf{H}=-\sum_{i}p_i\log p_i$

สูตรนี้เมื่อนำไปใช้กับ แหล่งกำเนิดสารสนเทศ จะทำให้สามารถคำนวณขนาดของช่องสัญญาณ ที่จำเป็นต้องใช้ในการส่งข้อมูลนั้น ในรูปของรหัสฐานสองได้ โดยถ้าลอการิทึมในสมการข้างต้น เป็นฐานสอง เอนโทรปีที่วัดจะอยู่ในหน่วยบิตเช่นกัน แต่ถ้าเป็น ลอการิทึมฐานธรรมชาติ หรือ ฐาน $e$ เอนโทรปีที่วัดจะอยู่ในหน่วย แนท (nats) [1] การวัดเอนโทรปีของแชนนอน เป็นการวัดขนาดของสารสนเทศซึ่งอยู่ในข้อความ

เมื่อไม่นานมานี้ ได้ปรากฏหลักฐานว่า เอนโทรปี นั้นได้ถูกค้นพบและนิยามในช่วงสงครามโลกครั้งที่สอง โดยแอลัน ทัวริง ที่ เบล็ทชลีย์ พาร์ค (Bletchley Park) ทัวริง ได้ตั้งชื่อปริมาณนี้ว่าน้ำหนักของหลักฐาน (weight of evidence) และใช้หน่วยวัดเป็น bans และ decibans (อย่าสับสนคำ "weight of evidence" นี้กับคำเดียวกันที่ใช้ในบทความทางด้านการอนุมานทางสถิติ หรือ statistical inference บัญญัติขึ้นโดย กู๊ด (I.J. Good) ซึ่งมีความหมายตรงกับคำที่ทัวริงใช้คือ "log-odds" หรือ "lods") ถึงแม้ว่า ทัวริง และ แชนนอน นั้นได้ทำงานร่วมกันในช่วงสงครามแต่ดูเหมือนว่าทั้งคู่นั้นต่างคนต่างพัฒนาแนวความคิดนี้ขึ้นมาด้วยตนเอง (สำหรับเอกสารอ้างอิงดู Alan Turing: The Enigma โดย แอนดรูว์ ฮอดจส์ Andrew Hodges)

[แก้] ความสัมพันธ์กับ เอนโทรปี ของ อุณหพลศาสตร์

เอนโทรปีของสารสนเทศ ที่พัฒนาต่อมาจากแนวความคิดดั้งเดิมของ แชนนอน นั้นมีความสัมพันธ์อย่างใกล้ชิดกับ เอนโทรปี ของ อุณหพลศาสตร์

ลุดวิก โบลทซ์แมน (Ludwig Boltzmann และ วิลลาร์ด กิบส์ (Willard Gibbs) นั้นมีส่วนสำคัญในการพัฒนาทางด้าน อุณหพลศาสตร์เชิงสถิติ (statistical thermodynamics) งานของเขานั้นเกิดจากความพยายามในการที่จะนำคำ เอนโทรปี จาก ทฤษฎีสารสนเทศมาใช้ เอนโทรปี จากแนวความคิดของ ทฤษฎีสารสนเทศ และ แนวความคิดของ อุณหพลศาสตร์เชิงสถิติ นี้มีความสัมพันธ์กันที่ลึกซึ้ง ตัวอย่างหนึ่งที่ใช้แสดงความสัมพันธ์ระหว่าง สารสนเทศ และ เอนโทรปีของอุณหพลศาสตร์ คือ ปีศาจของแมกซ์เวลล์ (Maxwell's demon) ซึ่งเป็นปิศาจเฝ้าทวารควบคุมการเลือกผ่านของโมเลกุล เพื่อสร้างการไหลของพลังงานสวนทางกับเอนโทรปีของอุณหพลศาสตร์ ในการแหกกฎข้อที่สองของอุณหพลศาสตร์ แต่ในขณะเดียวกัน ในการคุมทวารนั้นปีศาจก็ต้องการข้อมูล ที่แม่นยำ ซึ่งทั้งสองนี้หักล้างกันไปทำให้ปิศาจไม่สามารถสร้างความได้เปรียบทางอุณหพลศาสตร์สวนกฎข้อที่สองได้

ปริมาณที่ใช้วัดข้อมูลที่มีประโยชน์ อีกปริมาณหนึ่งก็คือ สารสนเทศร่วม (mutual information) ซึ่งเป็นปริมาณที่บ่งบอกถึงความขึ้นแก่กันทางสถิติของตัวแปรสุ่ม(random variable) สองตัว นิยามของสารสนเทศที่เกิดร่วมกันของเหตุการณ์ $X$ และ $Y$ คือ

$I (X; Y) = H (X) + H (Y) - H (X, Y) = H (X) - H (X|Y) = H (Y) - H (Y|X) \,$

โดยที่ $H (X, Y)$ คือ เอนโทรปีร่วม นิยามโดย

$H (X, Y) = - \sum_{x, y} p (x, y) \log p (x, y) \,$

และ $H (X | Y)$ คือ เอนโทรปีตามเงื่อนไข (conditional entropy) ของ $X$ มีเงื่อนไขขึ้นกับค่าสังเกตการณ์ของ $Y$ ดังนั้น สารสนเทศร่วม สามารถตีความ หมายถึง ปริมาณของความไม่แน่นอนของค่า $X$ ที่ลดลงเมื่อรู้ค่าที่แน่นอนของ $Y$ และในทางกลับกัน