Sự ngẫu nhiên, sự rối loạn, sự không chắc chắn

Trong một lá thư gửi Vannevar Bush năm 1939, Shannon viết: "Thỉnh thoảng, tôi tiến hành phân tích những đặc tính cơ bản của những hệ thống chuyển giao tin tức, bao gồm điện thoại, đài phát thanh, truyền hình, điện báo,..." Lá thư này cũng mô tả bước khởi đầu của lý thuyết thông tin. Rốt cuộc Shannon nhận ra lý thuyết về thông tin liên lạc của mình có liên quan một cách đáng ngạc nhiên với sự sống còn của những tay chơi bạc.

Trước Shannon, hầu hết các kỹ sư không hề nhận ra mối quan hệ giữa các phương tiện truyền thông khác nhau. Những gì được áp dụng cho ti vi thường sẽ không đem áp dụng cho máy điện báo. Bằng cách tự mò mẫm, các kỹ sư thông tin đã tìm ra những giới hạn về mặt kỹ thuật của từng phương tiện, cũng giống cái cách mà những người thợ xây nhà thờ thời Trung cổ học về cấu trúc một ngôi nhà.

Shannon hiểu rằng lĩnh vực này cần phải được nghiên cứu một cách tổng thể và tự tiếp cận đề tài này mà không cần sự gợi ý hay hướng dẫn nào từ Bush, trước khi ông đến làm việc cho Bell Labs, nơi mà rõ ràng lĩnh vực mà ông đang theo đuổi rất có giá trị về mặt kinh tế đối với AT&T.

Ở nhà, bạn có thể có một sợi cáp quang để truyền tải các kênh truyền hình, âm nhạc, trang web, điện thoại và tất cả những dạng thông tin khác. Dây cáp này là một ví dụ cho "kênh thông tin". Nó là một cái đường ống chuyển những thông điệp. Nói cách khác, nó giống như đường ống dẫn nước vào nhà bạn vậy. Đường ống hay dây cáp đều có thể chuyển tải được rất nhiều nhưng vẫn ở trong một giới hạn nhất định, gọi là dung lượng. Với đường ống dẫn nước, dung lượng đơn giản chỉ là thiết diện của đường ống. Đối với một kênh truyền thông, dung lượng được gọi là độ rộng dải tần (bandwidth).

Dòng nước chảy trong đường ống bị giới hạn không chỉ bởi dung lượng của nó mà còn bởi lực ma sát. Sự tiếp xúc giữa nước và thành ống gây nên sức cản và sự chuyển động không đều của nước, dần đến hạn chế dòng chảy. Tương tự như vậy, những kênh truyền thông cũng phụ thuộc vào tiếng ồn, nó có thể bóp méo hoặc hạn chế dòng thông tin được truyền tải, đây là kết luận mà các kỹ sư đã rút ra. Ở nơi nào có quá nhiều tiếng ồn thì nơi đó thông tin có thể bị gián đoạn.

Có một sự khác nhau vô cùng quan trọng giữa đường ống dẫn nước và dây cáp quang (hay bất kỳ đường truyền thông tin nào khác). Đó là nước thì không thể nén lại được, hay ít nhất hệ thống ống nước gia đình cũng không thể đủ áp suất để làm điều này. Một ga lông (3,78 lít) nước luôn luôn chiếm một thể tích tương đương đường ống. Bạn không thể nhét một ga lông nước vào 1 panh (0,473 lít) để có thể chuyển được nhiều nước hơn trong cùng một đường ống đó. Nhưng thông tin lại khác, có thể hoàn toàn được rút ngắn hay nén lại mà không hề làm mất đi ý nghĩa.

Những dường dây điện báo đầu tiên quả thực là những thiết bị kì diệu. Các nhà điều hành dịch vụ này ở thế kỷ 19 đã giới hạn thông tin bằng cách lược bỏ bớt những từ, chữ cái và dấu câu không cần thiết. Những người sử dụng điện thoại di động hiện nay cũng làm tương tự trong khi soạn tin nhắn văn bản và sử dụng kí hiệu hay từ viết tắt. Chừng nào người nhận còn hiểu được ý người gửi muốn nói thì tin nhắn đó còn "xài được".

Bạn có thể so sánh những tin nhắn với nước cam ép. Những nhà sản xuất nước cam ở Braxin cô đặc nước cam lại thành nước xi rô rồi vận chuyển sang Mỹ để tiết kiệm chi phí vận chuyển. Ở công đoạn cuối cùng, người ta thêm nước vào và họ sẽ có được thứ nước gần như ban đầu. Quá trình gửi đi một thông tin cũng liên quan đến việc nén và khôi phục lại thông tin. Tất nhiên, đối với thông tin cũng như nước cam, yêu cầu đặt ra là làm sao giữ được sắc thái cốt lõi ban đầu của sản phẩm.

Một cách đặc biệt hiệu quả để nén thông tin là mã hóa chúng. Điện thoại di động và Internet thực hiện quá trình này một cách tự động. Một hệ thống mã hóa tốt có thể nén được nhiều dữ liệu.

Trong trường hợp này, bảng mã Morse rất hữu dụng vì chữ cái phổ biến nhất - E - được biểu diễn bằng mã ngắn nhất: một dấu chấm. Những chữ cái không thông dụng khác như z thì được biểu diễn bằng mã dài hơn với nhiều dấu chấm và gạch ngang. So với những hệ thống mật mã trước đây, bảng mã Morse giúp cho hầu hết các thông tin trở nên rất ngắn gọn và súc tích. Bảng mã này, cùng với nhiều hệ thống tinh vi khác ngày nay vẫn được dùng để nén hình ảnh, âm thanh và phim ảnh kỹ thuật số.

Sự thành công của những hệ thống nén tin này cho thấy thông tin tựa như bọt biển, hầu như chỉ toàn "khí", rất ít "vật chất". Chừng nào bạn còn giữ lại được phần "vật chất" thì bạn còn có thể lược bỏ bớt phần "khí".

Một câu hỏi mà tất cả những người đi trước Shannon đều cố gắng tìm ra đáp án là: Cái gì là "vật chất" của một thông tin - phần nhất thiết không được lược bỏ? Hầu hết câu trả lời đều là phần nghĩa của thông tin. Bạn có thể lược bỏ bất cứ cái gì khỏi một tin nhắn ngoại trừ nghĩa của nó. Thông tin không có nghĩa tức là không có sự truyền đạt thông tin.

Quan điểm tiến bộ nhất của Shannon là phần nghĩa thì chẳng có liên quan gì. Theo như lời lý giải của Laplace, ý nghĩa là một giả thuyết mà Shannon không cần đến. Khái niệm của Shannon về thông tin được gắn chặt với sự tình cờ. Không phải chỉ vì những tiếng ồn có thể ngẫu nhiên làm gián đoạn thông tin. Thông tin chỉ xuất hiện khi người tiếp nhận chưa hề biết về nó và không thể đoán trước. Vì thông tin thực sự là không thể đoán trước nên về cơ bản, nó là một chuỗi sự kiện ngẫu nhiên như những vòng quay của bánh xe roulette hay những lần tung súc sắc.

Nếu như trong lý thuyết của Shannon, ý nghĩa bị loại trừ thì cái gì mới là phần "vật chất" buộc phải được giữ nguyên trong tất cả những thông tin? Shannon cho rằng phần vật chất này có thể được miêu tả bằng những thuật ngữ thống kê. Chúng ta chỉ phải tính mức độ không thể dự đoán của những kí hiệu dùng soạn thảo thông tin đó

Cách đây không lâu, một công ty điện thoại đã cho phát một chương trình quảng cáo với nội dung là tình huống hiểu lầm hài hước do tiếng ồn qua điện thoại di động gây nên. Người chủ trại nuôi gia súc gọi điện để đặt "200 con bò". Do chất lượng âm thanh tồi, rốt cuộc ông ta nhận được "200 con chó chồn" - loài động vật không hề hữu ích chút nào trong việc kéo cày! Tình huống thứ hai, người vợ gọi đến văn phòng của ông chồng và nhờ ông này mua hộ lọ dầu gội đầu, thế nhưng thay vì đem về lọ dầu gội (shampoo) thì ông ta đem về một con cá voi Shamu!

Sự hài hước trong mục quảng cáo trên xuất phát từ những điểm mấu chốt trong quan điểm của Shannon, đó là người ta vẫn có thể trao đổi thông tin cho nhau bất kể họ có hiểu nó hay không. Thử phân tích xem điều gì đã xảy ra trong mục quảng cáo Shamu: (1) Người vợ nói "Mua shampoo (dầu gội đầu)", (2) Người chồng lại nghe "Mua Shamu", (3) Người chồng kết thúc cuộc nói chuyện, tạm biệt, và trên đường về ông ta mua một con cá voi.

Điều thứ ba mới đáng buồn cười. Kì cục ở chỗ "Mua một con cá voi Shamu!" là một thông tin cực kỳ ít khả năng xảy ra. Trong thực tế, mỗi khi giao tiếp chúng ta đều cố gắng đoán biết ý của người đối thoại. Trong não chúng ta luôn luôn nghĩ xem cuộc hội thoại xảy ra ở đâu, đối phương sẽ nói cái gì tiếp theo, điều gì không phù hợp với tình huống, ngữ cảnh. Hai người đối thoại càng ở gần nhau (về khoảng cách địa lý và văn hóa giao tiếp) thì càng dễ tránh được sự hiểu lầm. Một cặp vợ chồng chung sống đã lâu hoàn toàn có thể hiểu được ý của nhau ngay cả khi một người chưa nói hết câu. những đôi bạn thân tuổi teen có thể cười ngặt nghẽo chỉ vì một tin nhắn vẻn vẹn ba kí tự.

Sẽ không khôn ngoan chút nào nếu nói chuyện với một người lạ hay một ai đó không cùng chung văn hóa giao tiếp với mình mà lại dùng lối trả lời tiết kiệm chữ như trên. Giả sử bạn muốn chồng (hoặc vợ) mình mang về một con cá voi Shamu, bạn không thể chỉ nói "Mua Shamu!" Bạn phải giải thích cặn kẽ. Thông tin càng không có khả năng sẽ xảy ra thì càng khó để nén được nhiều và độ rộng dải tần cần để chuyển tải thông tin càng lớn. Đây cũng là nội dung quan điểm của Shannon: điều cốt lõi của một thông tin là tính không xác thực của nó.

Shannon không phải là người đầu tiên định nghĩa thông tin theo cách này. Hai nhà khoa học tiền bối có ảnh hưởng đến ông nhất là Harry Nyquist và Ralph Hartley cũng từng làm việc tại Bell Labs vào những năm 1920. Shannon đã đọc những tài liệu nghiên cứu của Hartley ở trường đại học và thú nhận rằng chúng "có ảnh hưởng quan trọng đến cuộc đời tôi."

Trong khi phát triển các ý tưởng của mình, Shannon cần một cái tên để đặt cho phần cốt lõi không thể nén lại của thông tin. Nyquist thì dùng từ “intelligence" còn Hartley dùng từ "information". Trong những tài liệu đầu tiên, Shannon ủng hộ thuật ngữ của Nyquist. Ý nghĩa về mặt quân sự của từ "intelligence" cũng phù hợp với công việc giải mật mã. "Intelligence" cũng được áp dụng cho một nghĩa khác mà lý thuyết của Shannon không hề đề cập đến.

John von Neumann của Viện nghiên cứu chuyên sâu ở Princeton khuyên Shannon nên dùng từ "entropy". Entropy là một thuật ngữ vật lý, được dùng với ý nghĩa như thước do độ ngẫu nhiên, bất ổn định và không chắc chắn. Khái niệm entropy được phát triển từ những nghiên cứu về động cơ hơi nước. Người ta nhận ra rằng không thể chuyển hóa toàn bộ nhiệt năng từ đầu máy hơi nước thành năng lượng có ích. Mỗi đầu máy hơi nước lại cần một sự chênh lệch về nhiệt độ để vận hành (hơi nóng đẩy pit tông tương phản với hơi lạnh của bầu không khí). Dần dần, sự chênh lệch này giảm xuống rồi dừng lại. Các nhà vật lý học miêu tả quá trình này như là sự tăng lên trong entropy. Định luật thứ hai về nhiệt động lực học nói rằng, trong bất kì một quá trình tự diễn biến nào, entropy tổng của hệ và môi trường xung quanh luôn tăng.

Sử dụng thuật ngữ "entropy" và anh sẽ không thua trong bất kì cuộc tranh luận nào, von Neumann đã nói như thế với Shannon -bởi một lẽ chẳng ai thực sự hiểu "entropy" nghĩa là gì cả, Ý tưởng của Von Neumann hoàn toàn không phải là chuyện đùa chút nào. Phương trình cho entropy trong vật lý cũng có cùng một công thức với phương trình thông tin trong lý thuyết của Shannon.

Shannon đồng ý sử dụng gợi ý của Neumann. Ông dùng cả từ "entropy" và kí hiệu đại số H của nó. Sau đó, ông đã đặt tên cho ngôi nhà ở Massachusetts của mình là "Entropy House " - cái tên mà bất cứ ai đã từng nhìn thấy bên trong ngôi nhà cũng đều thấy nó rất phù hợp.

Robert Fano nói: "Tôi không thích từ "lý thuyết thông tin", Claude cũng thế." Nhưng cái từ quen thuộc "thông tin" lại quá quyến rũ. Chính thuật ngữ này đã gắn chặt với cả thuyết của Shannon và việc đo nội dung thông tin của nó.