Hệ thống lưu trữ On-line (iSCSI SAN)

 Sự gia tăng nhanh chóng khối lượng tư liệu truyền hình sẽ nảy sinh nhu cầu về hệ thống lưu trữ cũng như các công cụ quản lý, khai thác và phân phối nội dung, nhằm đạt hiệu quả cao hơn trong quá trình sản xuất và phân phối nội dung chương trình.

Hệ thống lưu trữ trung tâm và quản lý tư liệu truyền hình đóng một vai trò hạt nhân vô cùng quan trọng trong chuỗi quy trình sản xuất và phát sóng chương trình của bất kỳ Đài truyền hình nào. Việc thiết kế hệ thống lưu trữ và quản lý tư liệu truyền hình sẽ ảnh hưởng trực tiếp đến hiệu suất hoạt động, mức độ an toàn dữ liệu cũng như khả năng đáp ứng dịch vụ của toàn bộ hệ thống.

Một hệ thống lưu trữ theo kiến trúc chuẩn trong các Đài Truyền hình thường được phân chia thành 3 khu vực như sau:

(*) Hệ thống lưu trữ On-line

(*) Hệ thống lưu trữ Near-line

(*) Hệ thống lưu trữ Off-line

Việc quản lý & khai thác tư liệu lưu trữ trong 3 hệ thống trên sẽ được thực hiện thông qua các chức năng và qui trình làm việc (functions/workflows) của hệ thống MAM & HSM (archiving).

Hệ thống lưu trữ On-line/Near-line – Lưu trữ ngắn hạn trên đĩa cứng (Disk Storage): Hệ thống cho phép lưu trữ những tư liệu thường xuyên được sử dụng trong hệ thống. Các tư liệu thường xuyên được sử dụng như các tư liệu đã và đang được Ingest, các chương trình cần biên tập lại, các chương trình phát sóng hàng ngày cũng như các tư liệu thường xuyên được các ứng dụng khác trên hệ thống truy xuất.

Hệ thống lưu trữ Off-line – Lưu trữ dài hạn trên băng từ số (Digital Tape Library/LTO):  Hệ thống cho phép lưu trữ các tư liệu không thường xuyên được các ứng dụng truy xuất, hoặc các tư liệu cần được sao lưu vĩnh viễn.

Giai đoạn đầu đối với các Đài truyền hình chúng tôi xin đề xuất tập trung vào việc phân tích & đưa ra thiết kế chuẩn cho toàn hệ thống, đầu tư một phần hệ thống lưu trữ On-line (iSCSI SAN) trước và một số chức năng chính của hệ thống MAM. Sau đó giai đoạn tiếp theo sẽ hoàn thiện hệ thống lưu trữ trung tâm (On-line, Near-line, Off-line) và các functions/workflows của hệ thống MAM& hệ thống CMS.

Hệ thống sẽ được thiết kế theo kiến trúc mở, đảm bảo linh hoạt trong việc phân chia giai đoạn đầu tư, và tối ưu hoá chi phí đầu tư cho từng giai đoạn.

(1)  Hệ thống lưu trữ On-line sử dụng iSCSI SAN

Hệ thống lưu trữOnline (SAN) cung cấp kết nối vật lý tốc độ cao đến thiết bị chuyển mạch mạng trung tâm (network switch), sử dụng kết nối Ethernet 10Gbps.

Hệ thống lưu trữOn-line cung cấp đủ băng thông lưu trữ (storage bandwidth) cho tất cả các trạm Ingest, trạm Editing, máy chủ phát sóng, v.v… kết nối trực tiếp đồng thời cùng một thời điểm để thực hiện các tác vụ xử lý liên quan.

Hệ thống lưu trữ On-linechúng tôi đề xuất có một số đặc tính kỹ thuật sau:

Hệ thống lưu trữ On-line chuẩn SAN iSCSI, sử dụng 100% hạ tầng của mạng Ethernet. Không sử dụng mạng cáp quang FC.

Hệ thống lưu trữ SAN iSCSI được thiết kế dựa trên công nghệ tiên tiến về lưu trữ, tách riêng máy chủ quản lý metadata (head server) và module lưu trữ.

Kiến trúc thiết kế dạng Stand-alone hoặc theo mô hình Cluster và Redundancy với 2 Head Server. Với kiến trúc 2 Head Servers đảm bảo hệ thống chạy an toàn, cơ chế back-up 1+1. Nếu Head Server chính (main) bị lỗi, Head Server dự phòng (backup) sẽ thay thế ngay lập tức, đảm bảo tính sẵn sàng & an toàn cho hệ thống lưu trữ SAN iSCSI.

Sử dụng chuẩnfile hệ thống tiên tiến, có khả năng tận dụng 100% băng thông mạng 1GbE. Tốc độ ghi (write) có thể đạt tới ~110 MB/s, tốc độ đọc (read) có thể đạt tới ~120 MB/s trên cổng mạng 1GbE iSCSI.

Hệ thống lưu trữ SAN iSCSI hỗ trợ tính năng MCS (Multiple Connection per Session). Tính năng cho phép sử dụng 2 card mạng 1GbE kết hợp với nhau. Khi đó tốc độ ghi (write) có thể đạt tới ~210 MB/s, tốc độ đọc (read) có thể đạt tới ~ 215 MB/s trên 2 cổng mạng 1GbE iSCSI. (tuỳ chọn này đủ storage bandwidth để làm việc với 10Bit HD uncompressed Video).

Hệ thống lưu trữ SAN iSCSI hỗ trợ kết nối 10GbE để làm việc với định dạng film/video 2K, 4K. Nếu sử dụng kết nối 10GbE, tốc độ ghi (write) của hệ thốnglưu trữ SAN iSCSI có thể đạt tới ~915 MB/s, tốc độ đọc (read) có thể đạt tới ~960 MB/s.

Hệ thống lưu trữ SAN iSCSI bao gồm một hoặc nhiều kết nối 10 Gbps iSCSI đến network switch trung tâm (có tuỳ chọn sử dụng 6 cổng 1GbE), một hoặc nhiều kết nối 1Gbps iSCSI từ các máy trạm Ingest/Edit/Graphic/Playout đến network switch trung tâm.

Trong trường hợp cần setup các máy trạm dựng video định dạng HD với bitrate từ 150-200MB/s, có thể cấu hình máy trạm dựng với  2 card mạng 1GbE NIC's để cung cấp tới 215MB/s storage bandwidth.

Trong trường hợp nếu có nhu cầu làm việc với định dạng HD 10-bit Uncompressed 1080i60 @154.67 MB/sec, 3 layers, có thể mở rộng hệ thống lưu trữ SAN iSCSI và cấu hình các trạm làm việc sử dụng card 10GbE iSCSI để cung cấp đủ storage bandwidth cũng như network bandwidth theo yêu cầu.

Hệ thống lưu trữ SAN iSCSI không sử dụng các loại đĩa cứng thông dụng như SATA. Hệ thống lưu trữ SAN iSCSI sử dụng loại đĩa cứng SATA chuyên dụng (enterprise drive). Nếu hệ thống phải cung cấp storage bandwidth lớn, có thể lựa chọn đĩa cứng loại SAS, hoặc SSD. (Đĩa cứng SAS và SSD có chi phí cao nhưng cung cấp storage bandwidth gấp nhiều lần đĩa cứng SATA.)

Hệ thống lưu trữ SAN iSCSI có khả năng mở rộng đến trên 3000ổ cứng SATA (enterprise drive), nếu sử dụng loại ổ 2TB thì tổng dung lượng lưu trữ với cấu hình 2 Head Server sẽ là ~6.5PB

Hệ thống lưu trữ SAN iSCSI hoàn toàn có khả năng đáp ứng yêu cầu của các hệ thống làm phim 2K, 4K, 8K cần storage bandwidth cao.

Hệ thống lưu trữ SAN iSCSIcung cấp các chức năng, các công cụ cho phép quản trị hệ thống dễ dàng. Khả năng quản lý người dùng, nhóm người dùng. Khả năng giới hạn storage bandwidth cho các trạm làm việc.

Hệ thống lưu trữ SAN iSCSI sử dụng công nghệ MAID sẽ tối ưu hoá và giảm được nguồn điện năng tiêu thụ.

Với các đặc tính kỹ thuật nổi bật của hệ thống lưu trữ On-line SAN iSCSI, rất phù hợp để các Đài truyền hình đầu tư thiết bị nhằm nâng cao hiệu năng và tính ổn định của toàn hệ thống.

(2)  Hệ thống quản lý & khai thác tư liệu truyền hình (MAM & CMS)

Media Asset Management (MAM) – là một hệ thống phần mềm được sử dụng để tổ chức (organize) và xử lý (process) các tài nguyên kỹ thuật số như video, audio, images và documents.

Hệ thống MAM thường cung cấp các chức năng như nhập liệu (ingesting), chuyển đổi định dạng (transcoding), phân loại (cataloging), quản lý (managing), tìm kiếm (searching), lưu trữ (archiving) và khôi phục (restoring) tư liệu số.

MAM là sự kết hợp quy trình sản xuất/quản lý (workflow), hệ thống phần cứng (hardware), hệ thống phần mềm (software) để tạo lên một giải pháp quản lý nội dung multimedia hoàn thiện và cung cấp các chức năng chuyên biệt cho các đài phát thanh, truyền hình cũng như các công ty sản xuất chương trình truyền hình.

Hệ thống quản lý & khai thác tư liệu truyền hình (MAM & CMS) bao gồm một số tính năng và modules chính như sau:

	Multimedia library – Thư viện tư liệu số Quản lý toàn bộ tư liệu số bao gồm: tổ chức lưu trữ tư liệu (organize), chia sẻ tư liệu (share), và phân phối dữ tư liệu (transfer).
	Acquisition – Tiếp nhận tư liệu Điều khiển các thiết bị VTR/DVD, Camera, Studio, Video Server, v.v…để phục vụ việc số hoá tư liệu. Cung cấp công cụ cho phép lập lịch và quản lý các tiến trình tiếp nhận tư liệu.
	File Ingest – Tiếp nhận tư liệu files based Khả năng import tư liệu dưới dạng files based vào trong hệ thống. Hệ thống chấp nhận ingest nhiều định dạng phổ biến trong sản xuất chương trình. Tự động import các trường dữ liệu mô tả sẵn có.
	Identification and preview – Thông tin mô tả tư liệu Tạo và chỉnh sửa các thông tin mô tả dữ liệu (metadata). Duyệt nội dung tư liệu trước khi đưa vào hệ thống.
	Semantic search – Tìm kiếm tư liệu Chức năng search luôn được tích hợp vào hệ thống MAM. Khả năng tìm kiếm theo tên tư liệu, hoặc khả năng tìm kiếm theo các trường thông tin tin mô tả (metadata). Khả năng tìm kiếm và trả lại tư liệu theo nhiều tiêu chí khác nhau.
	Quality Check – Kiểm tra chất lượng tư liệu Khả năng kiểm tra chất lượng tư liệu trong hệ thống. Khả năng phát hiện các tư liệu bị lỗi ở mức vật lý, tạo ra report kiểm soát chất lượng.
	Workflow – Quy trình sản xuất & Quản lý Tự động hóa quy trình sản xuất, quản lý chương trình. Công cụ thiết kế quy trình mạnh mẽ, giúp giám sát và kiểm soát từng bước các công đoạn và tác vụ của hệ thống sản xuất chương trình và khai thác nội dung tư liệu số.
	Transfer – Phân phối tư liệu Phân phối tư liệu cho các mục đích và các dịch vụ khác nhau. Quản lý movement’s file như copy, deletes, archive, restore, transfer to an external storage. Tương tác với hệ thống lưu trữ Online (SAN iSCSI), lưu trữ Nearline (NAS), lưu trữ Offline (Tape LTO).

Hệ thống quản lý & khai thác tư liệu truyền hình (MAM & CMS) sẽ được thiết kế theo kiến trúc mở, đảm bảo việc tích hợp và nâng cấp sau này hoàn toàn dễ dàng. Hệ thống MAM & CMS có khả năng tương tác với một số ứng dụng của hãng thứ 3 (3rdparties), dễ dàng quản lý và phân phối cùng một nội dung đến các dịch vụ khác nhau.Ví dụ từ hệ thống dựng NLE, người dùng có thể export trực tiếp vào MAM, hoặc từ MAM người dùng có thể tìm kiếm và drag trực tiếp vào time-line của phần mềm dựng.

Hệ thống lưu trữ và quản lý lưu trữ đóng vai trò nền tảng của quá trình tin học hóa qui trình làm việc của Đài truyền hình. Trên đây chúng tôi đề cập đến hệ thống lưu trữ On-line và hệ thống quản lý lưu trữ MAM. Phần tiếp theo chúng tôi sẽ đề cập đến hệ thống lưu trữ Near-line và Off-line cũng như vai trò của chúng trong quá trình sản xuất, quản lý, khai thác và phân phối nội dung - tài sản giá trị nhất của một Đài truyền hình.