PPL: Tugas 9 - Pertemuan 13

Nama: Ferza Noveri

NRP: 5025211097

Kelas: PPL-A

Desain Sistem Aplikasi Instagram

1. Deskripsi Singkat 

Instagram adalah layanan jejaring sosial berbagi foto dan video Amerika yang dimiliki oleh Meta Platforms. Hal ini memungkinkan pengguna untuk mengunggah media yang dapat diedit dengan filter, diatur berdasarkan hashtag, dan dikaitkan dengan lokasi melalui penandaan geografis. Postingan dapat dibagikan secara publik atau dengan pengikut yang telah disetujui sebelumnya.

2. Kebutuhan

2.1 Kebutuhan Fungsional

Pada Kebutuhan Fungsional, kami tidak akan membahas halaman login atau pendaftaran Instagram. Arsitektur Login dan Pendaftaran sama untuk semua orang. Kami akan mencari lebih lanjut seperti memposting foto, dll.

• Posting foto dan video: Pengguna dapat memposting foto dan video di Instagram.
• Ikuti dan berhenti mengikuti pengguna: Pengguna dapat mengikuti dan berhenti mengikuti pengguna lain di Instagram.
• Menyukai atau tidak menyukai postingan: Pengguna dapat menyukai atau tidak menyukai postingan dari akun yang mereka ikuti.
• Cari foto dan video: Pengguna dapat mencari foto dan video berdasarkan keterangan dan lokasi.
• Hasilkan umpan berita: Pengguna dapat melihat umpan berita yang terdiri dari foto dan video (dalam urutan kronologis) dari semua pengguna yang mereka ikuti.

2.2 Kebutuhan Non-Fungsional

• Skalabilitas: Sistem harus dapat diskalakan untuk menangani jutaan pengguna dalam hal sumber daya komputasi dan penyimpanan.
• Latensi: Latensi untuk menghasilkan umpan berita harus rendah.
• Ketersediaan: Sistem harus sangat tersedia.
• Daya Tahan: Konten apa pun yang diunggah (foto dan video) tidak boleh hilang.
• Konsistensi: Kita bisa sedikit berkompromi pada konsistensi. Dapat diterima jika konten (foto atau video) memerlukan waktu untuk ditampilkan di feed pengikut yang berada di wilayah yang jauh.
• Keandalan: Sistem harus mampu mentolerir kegagalan perangkat keras dan perangkat lunak.

3. Estimasi Kapasitas

Instagram memiliki 1 miliar pengguna, dengan 500 juta pengguna aktif harian. Asumsikan 60 juta foto dan 35 juta video dibagikan di Instagram setiap hari. Kami dapat menganggap 3 MB sebagai ukuran maksimum setiap foto dan 150 MB sebagai ukuran maksimum setiap video yang diunggah di Instagram. Rata-rata, setiap pengguna mengirimkan 20 permintaan (jenis apa pun) per hari ke layanan kami.

3.1 Penyimpanan Per Hari

Foto: 60 juta foto/hari * 3 MB = 180 TeraBytes / hari

Video: 35 juta video/hari * 150 MB = 5250 TB/hari

Total ukuran konten = 180 + 5250 = 5430 TB

Total Ruang yang dibutuhkan untuk Setahun:

5430 TB/hari * 365 (hari dalam setahun) = 1981950 TB = 1981,95 PetaBytes

3.2 Estimasi Bandwith

5430 TB/(24 * 60* 60) = 5430 TB/86400 detik ~= 62,84 GB/dtk ~= 502,8 Gbps

Bandwidth masuk ~= 502,8 Gbps

Katakanlah rasio pembaca dan penulis adalah 100:1.

Bandwidth keluar yang diperlukan ~= 100 * 502,8 Gbps ~= 50,28 Tbps

4. Use Case Diagram

Pada Diagram di atas kita telah membahas tentang diagram use case Instagram:

• Jika pengguna baru, mereka akan mendaftar terlebih dahulu, kemudian disimpan di database, mereka akan memverifikasi profilnya.
• Jika pengguna sudah mendaftar, mereka akan memberikan Id email dan Kata Sandi.
• Di halaman beranda mereka akan mendapatkan foto dan video, serta halaman cerita.
• Postingan yang diposting sekarang, akan muncul di bagian atas. Pengguna dapat mengikuti atau berhenti mengikuti orang tersebut. Pengguna bisa siaran langsung. Itu semua tergantung pada mereka.
• Akan ada pengaturan, di mana pengguna dapat melihat cerita masa lalu atau postingan yang telah diarsipkan. Pengguna dapat membuka blokir orang yang bisa mendapatkan akun terverifikasi, setelah membayar.

5. Low-Level Design (LLD)

Berikut rincian komponen dan interaksi utama untuk desain tingkat rendah Instagram:

• Layanan Pengguna:
• Menangani pendaftaran pengguna, login, otentikasi, dan manajemen profil.
• Menyimpan data pengguna seperti nama pengguna, email, bio, gambar profil, dll.
• Terintegrasi dengan penyedia otentikasi sosial (misalnya, Facebook, Google).
• Layanan Pos:
• Menangani pengunggahan, pengeditan, dan penghapusan foto dan video.
• Menyimpan metadata postingan seperti keterangan, tagar, lokasi, stempel waktu, dll. Memproses media yang diunggah untuk mengubah ukuran, memfilter, dan membuat thumbnail.
• Mengelola transcoding foto dan video untuk perangkat dan resolusi berbeda.
• Layanan Pakan:
• Menghasilkan umpan berita yang dipersonalisasi untuk setiap pengguna berdasarkan pengikut, suka, aktivitas, dan keterlibatan mereka.
• Memanfaatkan sistem terdistribusi seperti Apache Kafka atau RabbitMQ untuk pembaruan dan pemberitahuan waktu nyata.
• Memanfaatkan lapisan cache seperti Redis untuk pengambilan feed cepat dan mengurangi beban database.
• Layanan Penyimpanan:
• Menyimpan foto dan video yang diunggah secara efisien dan andal.
• Memanfaatkan solusi penyimpanan objek yang dapat diskalakan seperti Amazon S3, Google Cloud Storage, atau Azure Blob Storage.
• Menerapkan mekanisme redundansi dan pemulihan bencana untuk perlindungan data.
• Layanan Pencarian:
• Memungkinkan pencarian pengguna, hashtag, dan lokasi.
• Mengindeks pengguna, postingan, dan hashtag berdasarkan parameter yang relevan.
• Menggunakan algoritma pengindeksan dan pencarian yang efisien untuk hasil yang cepat dan akurat.
• Layanan Komentar:
• Menangani penambahan, pengeditan, dan penghapusan komentar pada postingan.
• Melacak rangkaian komentar dan hubungan orang tua-anak.
• Memberi tahu pengguna tentang komentar baru pada postingan mereka sendiri atau komentar yang mereka ikuti.
• Layanan Pemberitahuan:
• Memberi tahu pengguna tentang peristiwa yang relevan seperti suka, komentar, sebutan, dan mengikuti.
• Mengirimkan notifikasi ke perangkat seluler melalui platform seperti Firebase Cloud Messaging atau Amazon SNS.
• Memanfaatkan sistem antrian untuk pengiriman notifikasi asinkron.
• Layanan Analisis:
• Melacak keterlibatan pengguna, kinerja postingan, dan penggunaan platform secara keseluruhan.
• Mengumpulkan data tentang tampilan, suka, komentar, berbagi, dan klik.
• Memberikan wawasan untuk meningkatkan pengalaman pengguna, mengoptimalkan rekomendasi konten, dan menargetkan iklan.

Mengapa kita memerlukan caching untuk menyimpan data?

• Simpan data dalam cache untuk menangani jutaan pembacaan. Ini meningkatkan pengalaman pengguna dengan mempercepat proses pengambilan. Kami juga akan memilih pemuatan lambat, yang meminimalkan waktu tunggu klien.
• Ini memungkinkan kami memuat konten saat pengguna menggulir dan karenanya menghemat bandwidth dan fokus memuat konten yang sedang dilihat pengguna. Ini meningkatkan latensi untuk melihat atau mencari foto atau video tertentu di Instagram.

6. High-Level Design (HLD)

Sistem kami harus memungkinkan kami mengunggah, melihat, dan mencari gambar dan video pada tingkat tinggi. Untuk mengunggah gambar dan video, kita perlu menyimpannya, dan saat mengambilnya, kita perlu mengambil data dari penyimpanan. Selain itu, pengguna juga harus diperbolehkan untuk mengikuti satu sama lain.

Pada tingkat tinggi, Instagram dapat dipandang sebagai sebuah sistem dengan komponen dan interaksi utama berikut:

Komponen:

• Klien: Aplikasi seluler, aplikasi web, dan API yang menyediakan antarmuka bagi pengguna untuk berinteraksi dengan sistem.
• Otentikasi & Otorisasi: Menangani login pengguna, registrasi, dan kontrol akses.
• Manajemen Konten: Mengelola konten buatan pengguna seperti foto, video, streaming langsung, cerita, dan pesan.
• Pembuatan Umpan: Mempersonalisasi umpan berita untuk setiap pengguna berdasarkan pengikut, aktivitas, dan keterlibatan mereka.
• Grafik Sosial: Melacak hubungan antar pengguna (pengikut, pengikut, teman).
• Penemuan & Pencarian: Memungkinkan pencarian pengguna, hashtag, lokasi, dan konten.
• Notifikasi: Memberi tahu pengguna tentang peristiwa relevan seperti suka, komentar, sebutan, dan mengikuti.
• Analisis & Pelaporan: Melacak keterlibatan pengguna, kinerja konten, dan penggunaan platform secara keseluruhan.

Interaksi:

• Pengguna membuat konten:
• Klien mengunggah foto/video.
• Manajemen Konten menyimpan media dan metadata.
• Pembuatan Umpan memperbarui umpan pengguna dan pengikut yang relevan.
• Pemberitahuan menginformasikan pengguna yang tertarik.
• Interaksi pengguna dengan konten:
• Klien mengirimkan tindakan suka/komentar/berbagi.
• Manajemen Konten dan Grafik Sosial memperbarui data yang relevan.
• Pembuatan Feed berpotensi merombak feed berdasarkan interaksi baru.
• Pemberitahuan menginformasikan pengguna yang tertarik.
• Pengguna menemukan konten baru:
• Klien menggunakan fungsi pencarian.
• Discovery & Search mengidentifikasi konten yang relevan.
• Klien menampilkan hasil pencarian.
• Pengguna mengelola koneksi:
• Klien mengirimkan permintaan mengikuti/berhenti mengikuti.
• Grafik Sosial memperbarui koneksi.
• Pembuatan Umpan menyesuaikan berdasarkan perubahan hubungan.
• Pengguna memantau aktivitas:
• Klien memeriksa umpan notifikasi.
• Pemberitahuan memberikan pembaruan tentang peristiwa yang relevan.

Pertimbangan Desain Utama:

Skalabilitas: Sistem harus menangani jutaan pengguna dan volume data yang sangat besar.

Kinerja: Memberikan waktu respons yang cepat untuk interaksi pengguna dan pengiriman konten.

Keandalan: Pastikan ketersediaan tinggi dan cegah kehilangan data.

Keamanan: Melindungi data dan privasi pengguna.

Keterlibatan: Fitur desain yang mendorong interaksi pengguna dan pembuatan konten.

7. Database Desain

Kami membutuhkan tabel berikut untuk menyimpan data kami:

7.1 User

Tabel untuk menyimpan data user – User

{

userId: string[HashKey]

name: string

emailId: string

creationDateInUtc: long

}

7.2 User_Follow

Tabel untuk menyimpan data pengikut – User_follows

{

followingUserId_followerUserId: string [HashKey]

followingUserId: string [RangeKey]

followerUserId: string

creationDateInUtc: long

}

7.3 User Uploads

Tabel untuk menyimpan unggahan pengguna – User_uploads

{

uploadId: string[Hashkey]

userId: string[RangeKey]

imageLocation: string

uploadDateInUtc: long

caption: string

}

7.4 User Feed

Tabel untuk menyimpan data feed pengguna – User_feed

{

userId: string[Hashkey]

uploadId: string

creationDateInUtc: long[RangeKey]

}

8. Mikroservices untuk Desain Sistem Instagram

Layanan pembuatan Gambar dan Umpan digunakan sebagai arsitektur layanan mikro.

Microservices – juga dikenal sebagai arsitektur layanan mikro – adalah gaya arsitektur yang menyusun aplikasi sebagai kumpulan layanan yang:

• Dapat diterapkan secara independen
• Hubungan renggang
• Diorganisir berdasarkan kemampuan bisnis
• Dimiliki oleh tim kecil

Arsitektur layanan mikro memungkinkan organisasi untuk menghadirkan aplikasi yang besar dan kompleks dengan cepat, sering, andal, dan berkelanjutan – suatu keharusan untuk bersaing dan menang di dunia saat ini.

9. Skalabilitas untuk Desain Sistem Instagram

Skalabilitas mengacu pada kemampuan suatu organisasi (atau sistem, seperti jaringan komputer) untuk bekerja dengan baik di bawah beban kerja yang meningkat atau meluas. Sebuah sistem yang memiliki skala yang baik akan mampu mempertahankan atau meningkatkan tingkat kinerjanya meskipun diuji oleh tuntutan operasional yang semakin besar.

Kami dapat menambahkan lebih banyak server ke lapisan layanan aplikasi untuk membuat skalabilitas lebih baik dan menangani banyak permintaan dari klien. Kami juga dapat menambah jumlah database untuk menyimpan data pengguna yang terus bertambah.

Persyaratan ini telah dipenuhi:

• Skalabilitas: Kami dapat menambahkan lebih banyak server ke lapisan layanan aplikasi untuk membuat skalabilitas lebih baik dan menangani banyak permintaan dari klien. Kami juga dapat menambah jumlah database untuk menyimpan data pengguna yang terus bertambah.
• Latensi: Penggunaan cache dan CDN telah mengurangi waktu pengambilan konten.
• Ketersediaan: Kami telah membuat sistem tersedia bagi pengguna dengan menggunakan penyimpanan dan database yang direplikasi di seluruh dunia.
• Daya Tahan: Kami memiliki penyimpanan persisten yang menyimpan cadangan data sehingga konten apa pun yang diunggah (foto dan video) tidak akan hilang.
• Konsistensi: Kami telah menggunakan penyimpanan seperti penyimpanan blob dan database untuk menjaga konsistensi data kami secara global.
• Keandalan: Basis data kami menangani replikasi dan redundansi, sehingga sistem kami tetap andal dan data tidak hilang. Lapisan penyeimbang beban merutekan permintaan di sekitar server yang gagal.