NLP Cypher | 03.28.21 – Menuju AI – Teknologi, Sains, dan Teknik Terbaik

Penulis: status kuantum

Pasangan Menatap Bulan | Friedrich

PENGOLAHAN BAHASA ALAM (NLP) WEEKLY NEWSLETTER

Sebuah Langkah Maju dalam Open Sourcing GPT-3

Dalam buletin 02.21.21, kami menyoroti ambisi EleutherAI untuk membangun versi sumber terbuka dari model param GPT-3 175B uber besar. Dan minggu ini, mereka merilis dua versi dalam ukuran 1.3B dan 2.7B params sebagai batu loncatan menuju surga. Berikut bagaimana model GPT saat ini disusun. πŸ‘‡

β€œRilisnya meliputi:

Kode pemodelan lengkap, ditulis dalam Mesh TensorFlow dan dirancang untuk dijalankan pada TPU.

Anak timbangan model terlatih.

Status pengoptimal, yang memungkinkan Anda untuk terus melatih model dari bagian yang ditinggalkan EleutherAI.

Notebook Google Colab yang menunjukkan kepada Anda cara menggunakan basis kode untuk melatih, menyempurnakan, dan mengambil sampel dari suatu model. ”

Notebook mereka memerlukan keranjang penyimpanan Google untuk mengakses datanya karena TPU tidak dapat dibaca dari sistem file lokal. Anda dapat menyiapkan uji coba gratis dengan cukup mudah, mereka menyediakan tautan di buku catatan.

Colab:

Google Collaboratory

Kode:

EleutherAI / gpt-neo

Catatan Sisi Peretas:

Awal tahun ini, EleutherAI tampaknya mengalami serangan DDOS. Connor Leahy, salah satu pendiri, men-tweet visualisasi lalu lintas abnormal yang menerima sekumpulan HTTP 403 pada set data tumpukan. Jika Anda ingin membantu menyumbang untuk tujuan mereka (dan menuju hosting yang aman), buka di sini: SITE.

Visualisasi lalu lintas abnormal

Jutaan Kalimat Diterjemahkan dalam 188 Bahasa

Woah, banyak sekali corpora yang diterjemahkan. Koleksi Helsinki-NLP mengancam pengumpulan data satu bahasa yang meliputi:

β€œTerjemahan Wikipedia, WikiSource, WikiBooks, WikiNews dan WikiQuote (jika tersedia untuk bahasa sumber yang kami terjemahkan)”

Helsinki-NLP / Tatoeba-Challenge

AI Backprop | Finetune dan Deploy Model ML

Library dapat menyempurnakan model dengan 1 baris kode.

Fitur:

Menjawab pertanyaan percakapan dalam Bahasa Inggris Klasifikasi Teks dalam 100+ bahasa Klasifikasi Gambar Vektorisasi Teks dalam 50+ bahasa Peringkasan Vektorisasi Gambar dalam Bahasa Inggris Deteksi emosi dalam Pembuatan Teks Bahasa Inggris

backprop-ai / backprop

TorchSort

Tuan Koker meretas perpustakaan Google untuk menyortir dan memberi peringkat dan mengubahnya menjadi PyTorch, (lebih cepat dari aslinya) πŸ™‰. Area tempat peringkat digunakan: Koefisien korelasi peringkat Spearman, akurasi top-k, dan keuntungan kumulatif diskon (NDCG) yang dinormalisasi.

Tolak ukur:

teddykoker / obor

Dive Into Graphs (DIG) | Perpustakaan Grafik Baru

Perpustakaan baru ini membantu dalam empat bidang penelitian:

divelab / DIG

Koran Luar Biasa | Sumber Data yang Mungkin?

Daftar surat kabar online yang meliputi 79 bahasa dan 7.102 sumber. Data belum dikikis, hanya mengindeks sumbernya.

divkakwani / koran-keren

Status Pencarian | Koneksi DeepSet

DeepSet memandu Anda menyusuri jalur memori di qa / pencarian domain terbuka. Dimulai dengan 2 tahap Retriever Reader (ha! Ingat membaca makalah Chen et al. 2017?), Lalu ke RAG atau tanggapan yang dihasilkan (bukan ekstraktif), dan terakhir menuju ringkasan (menggunakan Pegasus), dan “Pipelines “Inisiatif. Mereka juga membahas inisiatif masa depan menggunakan pengklasifikasi kueri untuk mengklasifikasikan jenis pengambilan yang harus digunakan perangkat lunak mereka (padat vs. dangkal). Ini sangat keren karena menunjukkan ketertarikan mereka dalam menggunakan hierarki dalam pengambilan keputusan AI dengan menggunakan… AI. πŸ‘€

Haystack: The State of Search pada tahun 2021

Stanford’s Ode to Peeps in Intelligence Community to Adopt AI

Buku putih 🧐 menarik dari Stanford yang memberikan nasihat dan peringatan kepada komunitas intelijen AS tentang mengadopsi AI dan tetap mengikuti perkembangan bidang yang bergerak cepat agar tetap kompetitif. Mereka juga merekomendasikan badan intelijen open source. 🧐

β€œβ€¦ Satu studi Stanford melaporkan bahwa algoritme pembelajaran mesin dapat menghitung truk yang transit dari China ke Korea Utara pada ratusan citra satelit 225 kali lebih cepat daripada analis pencitraan manusia yang berpengalaman – dengan akurasi yang sama.”

HAI_USIntelligence_FINAL.pdf

Perkalian Matriks – Mencapai NΒ²

Apa yang diperlukan untuk mengalikan sepasang matriks n-oleh-n hanya dalam n2 langkah ??

FYI, perkalian matriks adalah mesin dari semua jaringan neural dalam. Peningkatan terbaru, “memangkas sekitar seratus ribu dari eksponen nilai terbaik sebelumnya.” Ambil Elon itu!

Perkalian Matriks Inci Lebih Dekat ke Tujuan Mythic

https://medium.com/media/da38369f7ce147fa04b720f03f9cec84/href

Repo Cypher πŸ‘¨β€πŸ’»

Koleksi repo yang baru-baru ini dirilis yang menangkap our kami

GENRE (Pengambilan Entitas Generatif)

GENRE menggunakan pendekatan urutan-ke-urutan untuk pengambilan entitas (misalnya, menghubungkan), berdasarkan arsitektur BART yang disetel dengan baik. Termasuk dukungan Fairseq dan Hugging Face.

facebookresearch / GENRE

Makalah Terhubung πŸ“ˆ

GNN bayangan

Sebuah perpustakaan untuk pembelajaran representasi grafik. Saat ini mendukung enam arsitektur berbeda: GCN, GraphSAGE, GAT, GIN, JK-Net dan SGC.

facebookresearch / shaDow_GNN

Makalah Terhubung πŸ“ˆ

Unicorn di Rainbow | Tolok Ukur Penalaran yang Masuk Akal

Rainbow menyatukan enam tolok ukur penalaran akal sehat yang sudah ada sebelumnya: aNLI, Cosmos QA, HellaSWAG, Physical IQa, Social IQa, dan WinoGrande. Tolok ukur penalaran yang masuk akal ini menjangkau baik akal sehat fisik maupun sosial.

allenai / pelangi

Makalah Terhubung πŸ“ˆ

TAPAS [Extended Capabilities]

Makalah baru-baru ini menjelaskan perluasan kemampuan parsing tabel TAPAS Google ke QA domain terbuka !!

google-riset / tapas

Makalah Terhubung πŸ“ˆ

MMT-Retrieval: Image Retrieval dan lainnya menggunakan Multimodal Transformers

Perpustakaan untuk menggunakan transformator multi-modal terlatih seperti OSCAR, UNITER / VILLA atau M3P (multibahasa!) Untuk pencarian gambar dan banyak lagi.

UKPLab / MMT-Retrieval

Makalah Terhubung πŸ“ˆ

AdaptSum: Menuju Adaptasi Domain Sumber Daya Rendah untuk Peringkasan Abstraktif

Tolok ukur pertama untuk mensimulasikan setelan Adaptasi domain sumber daya rendah untuk sistem Peringkasan abstraktif dengan kombinasi kumpulan data yang ada di enam domain berbeda :, email, ulasan film, debat, media sosial, dan sains, dan untuk setiap domain, kami mengurangi jumlahnya sampel pelatihan dalam jumlah kecil untuk membuat skenario sumber daya rendah.

UKPLab / MMT-Retrieval

Makalah Terhubung πŸ“ˆ

Biji cokelat

CoCoA adalah kerangka kerja dialog yang menyediakan alat untuk pengumpulan data melalui antarmuka obrolan berbasis teks dan pengembangan model di PyTorch (sebagian besar didasarkan pada OpenNMT).

stanfordnlp / cocoa

Makalah Terhubung πŸ“ˆ

Kumpulan Data Minggu Ini: MasakhaNER

Apa itu?

Kumpulan 10 kumpulan data NER untuk bahasa Afrika tertentu: Amharik, Hausa, Igbo, Kinyarwanda, Luganda, Naija Pidgin, Swahili, Wolof, dan Yoruba. Repo juga berisi skrip pelatihan model.

Dimana itu?

masakhane-io / masakhane-ner

Setiap hari Minggu kami melakukan pengumpulan mingguan berita NLP dan penurunan kode dari para peneliti di seluruh dunia.

Untuk liputan lengkap, ikuti Twitter kami: @Quantum_Stat

keadaan kuantum

NLP Cypher | 03.28.21 awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyorot dan menanggapi cerita ini.

Diterbitkan melalui Towards AI

Leave a Reply