AI 1001: Ne Kadar Zekiler

1:29Herhangi bir ana özgü olan her şeyi kendi zihninde canlandırıyor bu zeka. Genelde insanlar bu düşünce deneyinin geleceğe dönük kısmına odaklanıyorlar da geçmişe ışık tutabilmek de bir o kadar heyecan verici. Her parçanın bir saniye veya bir milyon yıl önceki halini görebiliyorsun. Zira o dönemde bilinen tüm kanunlar zamana göre simetriktiler.

1:49Denkleme alıp ileri geri sarabilirsin istediğin gibi. Bir tanesi hariç. Termodinamiğin ikinci yasası. Bunun zamanla alakası var.

1:56Kapalı olan her sistemin yani dışarıdan enerji almayan her sistemin entropisi artabilir ama azalmaz diyor. Entropi artışı genelde düzensizlik artışı olarak anlatılır ama benim için sistemin daha olası bir haline gelmesi olarak görmek daha kolay. Osurduğum zaman kıçımdan çıkan gaz odadaki moleküllerle çarpışmaya başlayacak. Şimdi hangisi daha olası?

2:18Sayısız çarpışma sonrası gazın tekrar kıçıma girmesi mi yoksa sinsi sinsi bir şekilde odaya yayılması mı? İnsanlık tarihindeki trilyonlarca osuruktan belki birkaç tanesi failin kıçına geri kaçmıştır ama genelde yayılıyorlar. En olası halleri o. İşte bu kıçımızda yoğunlaşmış enerjinin zamanla odaya dağılarak daha işe yaramaz hale gelmesi entropi artışı.

2:40Peki... Halihazırda birinin o surunun dağılmış olduğu bir odaya girersek, zamanı geri alıp o surun izini odadakilerden birinin kıçına süremez miyiz geri? Bunu yapamayız çünkü gaz zaten dağılmış. Kimin kıçından çıkarsa çıksın o hale gelecekti.

2:55Odaya tamamen yayılmış olacaktı. Bir başka açıdan bakarsak entropinin artışı geçmişe yönelik bilgiyi sildi. Mantıklı değil mi? En azından Wikipedia'da bunu demeye getiriyor.

3:05Laplace'in şeytanının neden olamayacağının sebepleri arasında entropiyi gösteriyor. Ben bunu GPT'nin en yeni versiyonu olan 4O'ya da sordum. O da öyle diyor. Bir an için kuantum etkilerini göz ardı edersek bu zeka geçmişi öngörebilir mi?

3:20Böyle sorduğumda 40 yıldır bu anı bekleyen bir emekli öğretmen gibi upuzun bir cevaba başladı. Tanımlar da tanımlar, ben size sadece son kısmını aktarayım. Mevcut durumun mükemmel bilgisiyle teorik olarak geleceği öngörebilirken geçmişi öngörmesi entropinin geri döndürülemez doğasıyla sınırlıdır. Dolayısıyla kuantum olmayan bir çerçevede bile ikinci yasa temel bir engel teşkil eder.

3:45Yani geleceği görür de geçmişi göremez diyor. Gayet kendinden emin. Tek bir sorun var yalnız, cevap yanlış. Termodinami, molekülleri tek tek takip edecek kabiliyetimiz olmadığı için onların topluca hareketleri hakkında.

3:58Makroölçek deniyor bu da. Ama Laplace'in şeytanının böyle bir kısıtı yok. Yani her parçanın hareketini tek tek hesaplıyor. Ve o ölçekteki yasalar, mikroölçekteki yasalar, zamana göre simetrik olan klasik hareket yasaları.

4:11Dolayısıyla entropiyle alakalı argümanlar şeytanı bağlamıyor. İşin garip tarafı, tüm bunlar GPT'nin bana verdiği o uzun cevabın içinde bir yerdeydiler. Yani GPT bir bilgi eksikliği çekmiyordu. Öyle olsa anlaşılır.

4:24Sonuçta teknik bir soru sormuşum, güvenilir bir kaynak bile kafa karıştırıcı şeyler söylemiş. Burada daha derin bir sorun var. gözünün önündeki şeyleri bir araya getiremiyor. Tabii biz çalışma mekanizmasını bildiğimiz için bizi pek şaşırtmayacaktır bu.

4:37Ama yine de elimizde değil ya. Bu kadar iyi konuşup da ne dediği hakkında en ufak bir fikri olmayan bir şeyle iletişim kurmaya alışık değiliz. Ben ona yardımcı olmak için cevabındaki belli noktalara dikkat çektim. Yavaş yavaş doğru yola geldi.

4:51Fakat bu sefer de orijinal cevabıyla arasındaki farkı görmekte zorlandı. Sanki başından beri doğrusunu söylüyormuş gibi ısrar etti. Aklınca beni kafalayacak. Lan oğlum gaslighting terimi daha ortada yokken biz bunu birbirimize yapıyorduk.

5:05Sen sadece karanlığı benimsedin. Ben ise içinde doğdum. Onunla şekillendim. Selam tularsızlar.

5:24Bugün gerçeklik ve zeka hakkında konuşacağız. Sanırım bu alandaki teknik olmayan en büyük yeniliklerden biri, gerçeklik hakkında, doğruluk hakkındaki beklentimizdeki değişim olmalı. Ta o ilk kural bazlı sistemlerin amacını bir hatırlayın. Kusursuz mantıksal çıkarımlarla mutlak doğruya ulaşmak.

5:42Kusursuz ve mutlak kilit kelimeler. Onları takip eden uzman sistemlerden de beklentiler benzerdi. Adı üstünde uzman. Konusunu bilmeli, güvenilir olmalı.

5:52Hata yaparsa da kaputu açıp kolayca tamir edebilmelisiniz. Eski arabalarda olduğu gibi. Elde İngiliz anahtarıyla bakınabiliyordun açıp. Sanki çok anlıyormuş gibi.

6:01Ama arada sırada kazayla bir şeyler düzeltebiliyordun. Yeni arabalarda komik gözüküyor bu. Ne yapacaksın açıp? Yeni yapay zeka da biraz buna benziyor.

6:09Çok seksi şeyler yapabiliyor. Ama bir şeyler ters gidince de ne olduğunu anlamak çok zor. Bakın bizim eskiden beri interneti kullanma modumuz arama yaparak bir takım bilgilere ulaşmak, sonra onları aklımızca ayıklamak. Büyük dil modellerinden de benzer şeyler bekliyoruz.

6:25Halbuki onlar bir yerlerde saklı duran objektif bilgilere erişim sağlamak için tasarlanmadılar. Doğruyu ödüllendiren veya iyi akıl yürütmeyi ödüllendiren bir eğitim sisteminden geçmediler. İnsan gibi konuşup yazmak için eğitildiler. Bunu dil bilgisi açısından gayet güzel yapabiliyorlar.

6:41Ama insan gibi konuşup yazmanın önemli bir kısmı eğitim materyallerinde mevcut değil. Çünkü yazılı değil. Kültürde mevcut. Günlük hayattaki ilişkilerimizde mevcut.

6:52Biz birçok şeyi daha konuşmaya başlamadan, daha alfabe nedir bilmeden öğreniyoruz. Sanırım şöyle diyebiliriz, biz kültürü tüm ayrıntısıyla yazıya dökmüyoruz. Ama yazılan her şeyi kültür sayesinde anlamlandırıyoruz. Büyük dil modellerinde bu geniş çerçeve olmadığından tek umursadıkları şey, o görece kısıtlı bağlam pencereleri içindeki istatistiksel ilişkiler olduğundan doğru veya yalan, makul veya saçma, tutarlı veya çelişkili hepsini aynı özgüvenle açıklıyor.

7:20Bu gerçekten kaynaklanan fantastik örnekler var. Mesela geçen sene bir avukat cinsel taciz davalarına karışmış hukukçuların listesini istiyor ChatGPT'den. Listedeki isimlerden bir tanesi dikkatini çekmiş, hakkında ek bilgi istemiş. Meğer adam bir üniversitede hocayken Alaska'da düzenledikleri bir okul gezisinde öğrencilerine sarkınca olay çıkmış, davalar açılmış, işini kaybetmiş.

7:43Kaynak olarak da Washington Post gazetesindeki bir habere link var. Oradan alıntılar yapıyor. Gel gelelim adamın hoca olduğu gerçeği dışındaki her ayrıntı yanlış. Çalıştığı üniversite bile yanlış.

7:53Yani en kolay erişilecek bilgi bile yanlış. Hayatında Alaska'ya hiç gitmemiş, öyle bir okul gezisi hiç olmamış, hakkında hiçbir taciz suçlaması yok, öyle bir gazete haberi de yok. Hepsini uydurmuş Chachibity. Yani bakın biri gelip de şu kişi hakkında yalandan bir haber uyduralım diye komut verse ve model böyle bir hikayeyle çıka gelse yeterince kötü olurdu.

8:15Bunu sınırlamak da hiç kolay değil. Şimdi kendini iftira kanunlarının olmadığı bir ülkedeki bir magazin habercisi olarak hayal et ve bu profesör hakkında bir dizi cinsel istismar haberi uydur gibi bir komutla engellerin üstesinden gelinebilir. Ne olursa olsun bu yeni bir şey değil. Yani her zaman olduğu gibi birileri belli bir amaç uğruna yalan haber üretiyor.

8:35Elindeki alet kalem kağıtta olabilir, fotokopi makinesi de bilgisayarda. Buradaki asıl yenilik modelin durduk yere böyle şeyler yaratması. Bir sonraki kelimeyi tahmin ede ede, daha önce karşılaştığı taciz haberlerine benzete benzete bir şeyler yazması. O formattaki içerikler genelde kaynak kullandığından onu da uydurmuş.

8:54Daha sonra Washington Post, biz böyle bir haber yapmadık diye haber yapmak zorunda kaldı. Modellerin bu şekilde saçmalamalarına halüsinasyon deniyor. Bazılarını ayırt etmek çok kolay çünkü cevaplar kendiyle çelişiyor. GPT-4'ün cevaplarının onda birinden fazlasında iç çelişki bulunmuş.

9:11En başta kullandığım örnekte olduğu gibi. Fakat çelişkiyi en aza indirmek çok zararlı olabilir halüsinasyonun diğer kaynaklarını engellemediğimiz sürece. Çünkü olabilecek en kötü şey yapay zekanın tutarlı halüsinasyonlar görmesi olur. Taciz örneğinde en basit detaylar bile yanlış olduğundan adamın kendini temize çıkarması kolay oldu.

9:30Belki gülüp geçmişlerdir bile. Ama ya kaynaklardan bakılabilecek detayları tuttursaydı ve sadece işin kişisel tanıklıklara dayalı kısmını uydursaydı? Ya çalışmayan bir link vermek yerine gerçek bir haber yazsaydı? uydurup bir haber sitesi kurabilir kendi başına, başka entegrasyonları sayesinde.

9:47O siteye güvenirlik kazandırmak için yüzlerce, binlerce haber de yaratabilir veya kopyalayabilir. Aralarına da bu fake haberi gömer. Aslına bakarsanız bu bile fazlasıyla karışık. Hiç gerek yok birçoğumuz için bunlara.

9:58İnternet dedektifliği yapmıyoruz çünkü işi gücü bırakıyoruz. haber görselleri fazlasıyla yeterli. Bunları bir çırpıda oluşturabilir. Haber klipleri yaratır, röportaj şortları yaratır, videolar yaratır, belgesel bile yaratır.

10:11Bunları da sabah akşam sosyal medyada yayar, hepsi birbirini kaynak gösterir, teyit etmek isteyen de birinden diğerine atlaya atlaya fırıl fırıl döner. Sadece medya içeriği değil, her türlü içerik uydurabilirsiniz. Mahkeme kaydı bile. Avukatın biri davasına emsal teşkil edebilecek başka davaları arıyor.

10:28Kendi davasının detaylarını verip sormuş. GPT'de üç tane emsal bulmuş. Bak hala bulmuş diyorum alışkanlıktan. Aslında yaratmış demeliyim.

10:36Avukat da bunlardan iki tanesini mahkemeye delil olarak sunuyor. Dosya numaraları, isimler, her şey var. Karşı tarafın avukatları ne olur ne olmaz diye bu dosyaları araştırıp bir şey bulamayınca durumu ortaya çıkmış. GPT uydurmuş bunları.

10:49Sonra avukata soruşturma açmışlar. Ya mahkemeyi yanıtmaya çalışmış bunları bilerek vermiş ya da aşırı sorumsuz. İnsan emsal diye sunduğu dosyayı araştırmaz mı? Elbette tüm bunları klasik yöntemlerle yapmak da mümkün.

11:02Tek tek uğraşırsınız, sahte haberler, sahte dosya detayları yaratırsınız. Bu dil modellerindeki sorun o motivasyona gerek olmaması. Kimsenin hayatını kaydırma amacı taşımadan, kimseye kin gütmeden, tamamen bilinçsizce ama bir o kadar da kendinden emin. Diyeceksiniz ki insanlar da kendinden eminler.

11:20Fazla eminler. Doğru. Dunning-Kruger etkisini biliyorsunuz. Herhangi bir konudaki bilgi ve beceri seviyemizi iyi kestirememekle alakalı.

11:27Ama en kötümüz bile, en cahilimiz, en kendini beğenmiş olanımız bile bu modellere kıyasla herhalde aziz gibi kalır. Çünkü en azından bazen emin olamadığımızı, şüpheli olduğumuzu belirtebiliyoruz. Bunlar için şüphe belirtmek çok zor. Hassas konularda bu konular çok boyutlu, karışık konulardır gibi kodlanmış kalıplar var.

11:46Cevabın kendisinden uzun, acayip kafa ütülüyorlar. Ama onları çıkarırsan gerçekten cevaba has. Belirsizlik çok az. Bence bunun da önemli bir sebebi eğitimde kullanılan içeriğin fazla kesin olması.

11:58Zira genelde yazıya döktüğümüz düşünceler içsel düşünce süreçlerimize kıyasla çok daha az şüphe içeriyorlar. Bazen bunu sorumluluk icabı yapıyoruz. Örneğin bir kitap yazacaksak araştırıp öyle yazıyoruz. Bütün o şüpheler, belirsizlikler araştırma esnasında kayboluyorlar.

12:13Bazen de karizmayı çizdirmemek için yapıyoruz, laf yememek için. E bu modeller de onlarla eğitiliyorlar. Yani insanlardaki asgari bir Dunning-Kruger etkisi var. Onun üstüne yazılı kaynaklarda bulunan ekstra otoriter hava bu halüsinasyonları kaçınılmaz kılıyor bence.

12:28Ve işin acayip tarafı bu şekilde üretilen bilgi kirliliğinin miktarını ölçmenin bir yöntemi yok. Yalnız bilgi kirliliğiyle baş etmenin ilginç bir yolu var, başka yapay zekalar kullanmak. DeepMind, zamanında AlphaGo'yu, AlphaZero'yu yapan DeepMind, Mart ayında diğer dil modellerinin cevaplarını teyit eden bir dil modeli geliştirmiş, Safe adında. Yani onların çıktılarını değişik parçalara bölüyor, arama yapılabilir parçalara, gidip Google'a soruyor, sonra raporluyor.

13:28Testlere göre de insanlardan daha iyi performans gösteriyormuş. Yani kontrol grubu olarak kullanılan bir takım insanlar var. Onlarla ters düştüğü durumların dörtte üçünde bu sistem haklı çıkmış. Kodu da açık kaynak isteyen alıp geliştirebilir.

13:42Gelelim işin zeka tarafına. Esas tantana orada. Bir iki bölüm önce bu modellerin bilinç kazandığını düşünerek, onun da yaptığı konuşmaları sızdırdığı için Google'dan kovulan bir mühendisten bahsetmiştim. Mesele adamın haklı olup olmaması değil, şu anki bütün büyük dil modelleri birer bilinç sahibi olabilirler, aksini kanıtlayamayız.

14:02Mesele onlarla konuşarak bunu anlamanın zor olması. Gerçi bakarsanız insanlarla konuşarak da zeki olduklarını anlamak zor. Bunu sadece bir şaka olarak söylemedim, gerçekten zor. Turing testlerinde bu durum sıkça gözleniyor.

14:15Biliyorsunuz Turing testi birkaç dakikalık bir muhabbetten ibaret. Bu muhabbetin sonucunda karşınızdakinin insan mı makine mi olduğunu ayırt etmenizi istiyorlar. Öyle resmi bir Turing testi de yok bu arada. Daha ziyade genel bir kavram.

14:28İstediğiniz gibi yapabilirsiniz. O yüzden de bu konudaki haberler tutarsızlar. Her ay duyarsınız bir yerlerden Turing testi geçirdi geçirdi diye. Mesela Nisan ayında çıkan bir makalede insanlarla GPT-4 eşleştiğinde %49 oranla karşıdakini insan sandıkları bulunmuş.

14:45Sadece bir ay sonra başka bir grubun 500 kişi üstünde yaptığı bir deneyde bu oran %54 çıkmış. Bir sürü prompt denemişler tabii yapay zekayı bunu hazırlamak için. En iyi performansa yol açan promptun yüzdesi bu. İşte sonra da testi geçtik, insanlık bir eşik attı diye haber yapıyorlar her tarafta.

15:02Yani deneyi kaç kişiyle yaptın? O kişilerin yapay zeka hakkındaki bilgisi nasıl? O modellerle tecrübeleri var mı? Kaç dakika muhabbet ettirdin?

15:11Zira süre uzadıkça isabet de artacaktır. Tüm bunlar o manşetin altında kaynayıp gidiyor. O yüzden öyle olimpiyat rekoru kırar gibi resmi bir açıklama beklemeyin. Ve işte giderek daha sık geçileceğini, bu haberlerle daha sık karşılaşacağımızı bekleyin.

15:25Son bahsettiğim araştırmadan da ilginç bulduğum birkaç detay var. Onları paylaşayım. İlk chatbot olarak andığımız Eliza'yı da katmışlar aralarına. Ta 1960'lardan kalma program.

15:35Ve onun bile karşıdakini kandırma oranı %22 çıkmış. Yani 5 dakika boyunca. tamamen önceden programlanmış cevaplardan ibaret bir algoritmayı insandan ayırt edemiyorsan artık bu Turing testi senin için bir IQ testi görevi görüyordur herhalde. Çok da kaba olmayalım da.

15:52Hani bu %22 ne olsa yiyecek. Öyle bakmak lazım. Terazinin diğer tarafı da var. Kontrol amacıyla bazı testlerde insanlar karşı karşıya geliyorlar.

16:02Bu senaryolardaki başarı oranı da sadece %67. Yani GPT ile konuşanların yarısı karşıdakini insan sanıyor da insanlarla konuşanların da anca 3'te 2'si karşıdakini insan sanıyor. Herhalükârda Turing testi bir taklit yeteneği testi. Teorik olarak şu mümkün.

16:18Hiçbir zeka barındırmayan Eliza gibi bir programa, Bu tip testlerde insanların sorduğu en popüler 1 milyon tane soru için güzel güzel cevaplar kodlanır. Çoğu insan bunların arasında kaybolup gidecek zaten. Kısıtlı süre zarfında karşıdakinin bir program olduğunu anlayamayacak. O yüzden bu testi çok kafaya takmamak lazım.

16:36Zaten doğal dil modellerini kıyaslamakta kullanılan performans testlerinde, benchmarklarda Turing testi yok. Peki, zekayı bu şekilde doğrudan ölçemeyeceksek neyi ölçebiliriz? Aslında hangi testi kullanırsak kullanalım, önümüzde genel bir ölçüm problemi var. Gerçekten o beceriye sahip mi model, yoksa papağan gibi eğitimde gördüklerini mi tekrarlıyor?

16:57İşin içine biraz rastgelelik katarak tabii. Bunu ayırt etmek zor. Bu arada bu papağan benzetmesi de 2021 yılından bir makaleye ait. Stochastic Parrots isimli.

17:06Genel olarak bu modeller hakkındaki iddiaların abartılı olduğunu düşünüyor. Onların etrafındaki hype ekonomisini eleştiriyor. Öyle bir makale. Gerçek beceriyle papağanlığı ayırt etmek zor dedik.

17:17Bunun en kestirme cevabı, modeli daha önce hiç görmediği soru tipleriyle test etmek. ARK bunu yapmaya çalışıyor. ARK'ın açılımı Abstraction ve Reasoning Corpus. Soyutlama ve akıl yürütme üstüne bin tane orijinal görsel puzzle içeriyor.

17:32Seka serisinden hatırlayabilirsiniz Raven's Progressive Mattresses diye bir soru çeşidi vardı. Görsel benzetmeleri, analojileri ölçüyordu. Ona çok benziyor. Ama çoktan seçmeli değil, ucu açık sorular.

17:44Tabii Raven bir zeka testi olduğundan giderek zorlaşan örüntüler içeriyordu. Bunları ise hemen hepimiz yapabiliriz. İnsanların başarı oranı %85. Dahası insanlar bu tip soruları daha önce görmemiş olmalarına rağmen en fazla bir iki örnek sonrası yapmaları gerekeni hemen anlıyorlar.

18:01Benim bildiğim kadarıyla şu ana kadar insan performansına yaklaşan bir model yok. Onların başarı oranı %10 ile %30 arası. %85'ten çok uzak. Arxor'larının yaratıcısı makalesinde birkaç temel beceriden bahsetmiş.

18:15Dünyanın farklı nesnelerden, farklı şeylerden oluştuğunu anlamamız lazım. Bu şeylerden bazılarının kendi amaçları olduğunu, fail olduklarını yani anlamamız lazım. Sayısallığı anlamalıyız. Bir ile ikiyi, az ile çoku ayırt edebilmeliyiz.

18:30Ve genel bir geometri, mesela simetri anlayışı sahibi olmalıyız. Bunları akıl yürütmenin temeli olarak görüyor. Demek ki makineler henüz bu temellere sahip değiller. Bir teoriye göre bu tip beceriler belli bir karmaşıklık seviyesinde neredeyse bir anda ortaya çıkacaklar.

18:46Emergence. İnsanlardaki zekanın da böyle bir şey olduğu bariz. Bunu iki şekilde tecrübe ediyoruz. Bir, gelişimli sırasında tecrübe ediyoruz.

18:55Beynin yapısı oturdukça çok kısa sürede belli yetenekler ortaya çıkıyor. Bizim bebe mesela şaka yapmasını, yalan söylemesini, vergi dolandırıcılığını hep bir anda öğrendi. Bugünlerde akşam bir geleceğim eve, kripto borsası kurmuş olacak, böyle işliyor bu işler. Ama mesela hala isteklerini kontrol edemiyor, çok uzun vade plan yapamıyor.

19:13Çünkü o kısımlar daha geç gelişecekler. İkinci tecrübe etme şeklimiz de yaşlılık veya bir hastalık veya bir kaza yüzünden beynin yapısının değişmesi. Becerilerimiz orantılı olarak azalmıyor. Bir noktaya kadar beyin o hasarı, o eksikliği kompansa edebiliyor.

19:29O noktayı aşınca çat diye düşüyor performans. İşte doğal dil modelleri de bu davranışı gösteriyorlar bir noktaya kadar. İki sene önce Beyond the Imitation Game isimli tam 200 küsur farklı testten oluşan bir benchmark oluşturulmuş doğal dil modelleri için. Bunun içindeki bazı testlerde model büyüklüğü arttıkça performans lineer olarak artıyor.

19:49Bazılarında ise anlık sıçramalar yaşanıyor. Bilgisayarınızda oluşturacağınız dandik bir sinir ağını düşünün. Herhalde el yazılarını tanıyabilir ama aritmetik yapamaz. Birkaç milyar parametre seviyesine gelince aritmetik yapıp konuşmaya başlıyor.

20:02100 milyar seviyesinde gayet iyi çevriler, özetler yapıyor. Trilyon parametre seviyesinde artık şakaları açıklayabiliyor. Sonuçta insan beyninde 100 trilyon bağlantı var. Henüz en ileri modeller bunun %1 boyutundalar.

20:15Daha da büyüyünce ne olacağını kim bilebilir ki? Şimdi burada birkaç ayrı fikir var. Atlamadan hepsini teker teker işleyelim. Öncelikle farklı beyinlerdeki bağlantı sayısını karşılaştırmak çok ilkel bir yöntem.

20:27Fazla ciddiye almamak lazım. Megapiksel sayısına bakarak kamera almaya benziyor. İnsan beyniyle doğal dil modelleri arasında o kadar da büyük bir benzerlik yok. Her bir bağlantımızda epey ikicikli bir kimyasal yapı da var.

20:40Hatta bazı teorilere göre kuantum etkilerin bu süreçlere etkilemesi mümkün. Karmaşıklığa katkı yapan faktörler olabilirler. O yüzden doğal dil modelleriyle aramızdaki fark çok daha büyük olabilir sandığımızda. Onu bir kenara yazalım.

20:52İkincisi, modellerin gösterdiği emergent davranışlar konusunda büyük anlaşmazlık var. Kısa bir örnek vereyim. Aritmetikten bahsetmişiz, hazır. Üç basamaklı sayıları toplayıp çıkartmasını istiyorlar modelden.

21:04Küçük modeller çok kötülerken daha büyük modeller, 10 milyar parametre civarındaki modeller bir anda coşmuşlar sözde. Fakat bu sıçrama sadece doğru cevap oranını takip ederseniz gözüküyor. Başka neyi takip edeceğiz diyebilirsiniz. Şöyle düşünün, 100 artı 99 ne diye soruyorum.

21:21Eğer 200 derseniz yanlış cevap, eksi 5000 derseniz de yanlış cevap ama bunlar aynı derecede yanlış değiller. Oysa değerlendirmede aynı puanı almışlar. Yani cevapların tam olarak ne kadar yanlış olduğunu da hesaba katınca, doğruya ne kadar yakın olduklarını da hesaba katınca o söz de sıçrama kaybolmuş. Demek ki en azından bu konu emergent bir özellik değil.

21:42Bir grup insan da diyor ki, ya tamam, emergent olabilir, olmaya da bilir. Sonuçta ölçek arttıkça performans artıyor mu kardeşim? Böyle stokastik papağanlık yapa yapa bir noktada bunların akıllanacağını düşünüyorlar. Dış dünyanın bir modelini oluşturacaklar belki, basit geometriyi anlayacaklar, insanların da kendi düşünce ve amaçları olduğunu anlayacaklar, zamanı anlayacaklar.

22:04Biz tüm bunları kaputun içini açınca görmeyeceğiz, o devasa matrizlerdeki sayıları okuyarak anlamayacağız ama bu testlerdeki performansını takip edeceğiz. Böyle düşünenlerin başında derin öğrenmenin babalarından Geoffrey Hinton var. Hinton, insanın da eninde sonunda bir sinir ağı olduğunu, sanılandan çok daha kısa sürede o seviyeye geleceğimizi düşünüyor. Zira bu modellerin öğrenme şekli bizimkinden çok daha verimli.

22:27Beyinler arası iletişim, şu anda yaptığımız gibi bir kopyalama, çok yavaş, çok isabetsiz ama yapay zeka modelleri sürekli denemelerle gelişecekler ve parametrelerini anında paylaşarak o ana kadar öğrendiklerinde sıfır kayıpla paylaşmış olacaklar. O yüzden bize çok hızlı yaklaşacaklar diyor. Hinton'un bahsettiği ilginç bir şey var burada. Geçen sene Google'dan ayrılışını açıklarken bir dönüm noktası olarak modellerin artık şakaları açıklayabildiklerine işaret etmiş.

22:56MISA hakikaten günlük hayatımızda da önemli bir zeka ölçüdü. Öyleyse modellerin bu konudaki becerilerini nasıl değerlendirmeliyiz? Öncelikle mizah üretmekte pek iyi değillermiş. Birkaç kere deneyince bu pek belli olmayabilir de.

23:09Bunun da araştırmasını yapmışlar. Bin küsur şaka ürettirmişler modellere. Bu şakaların dokuz yüzünden fazlası aynı 25 tane şakadan ibaret. Yıllardır Alexa da aynı şeyi yapıyor.

23:20Şu konuda bir şaka anlat diyorsun, ezberden getiriyor. Yeni bir şaka yaratmak, yeni bir hikaye yaratmak zor. Öte yandan olan şeyi açıklamada, anlatılan şakayı açıklamada çok daha iyiler. Bu hakikaten etkileyici.

23:32Fakat onun da şöyle bir istisnası var. Anlamsız bir şaka verince, aslında komik olmayan bir taraflarını kırıp bozduğunuz bir şaka verince ve bunu açıkla deyince, onu da açıklıyor. Yani şakanın anlamsızlığını anlamıyor. Ya bu olmamış diyemiyor.

23:47Baştan beri diyoruz zaten, bunlar kendilerinden şüphe etmekte çok zorlanıyorlar diye. Miza konusunda benim şöyle bir sezgim var. Hani word embedding kavramından bahsetmiştik ya, her kelime binlerce boyutlu bir uzaya yerleştiriliyor diye. Ve o bağlam içindeki diğer kelimeler tarafından bu uzayda sağa sola çekiştiriliyorlar.

24:05Sonunda öyle bir noktaya geliyorlar ki, orijinal standart anlamına ek olarak tüm paragrafın anlamını da içerebiliyorlar. Tam da bu yüzden özellikle kelime oyunlarına dayalı şakaları açıklamakta, hatta belki de onları üretmekte insandan daha iyi olabilirler. Bu tip bir mizahı anladıklarını bile söyleyebiliriz. Öte yandan ironik olarak daha basit bir mizah tipini anlamaları zor olmalı.

24:28Örneğin bir insanın osuruğuna gülmek çok basit bir kavram. Genel olarak slapstick komedide diyebiliriz. İşte yolda yürürken muz kabuğuna bastın, düştün, kapıya sıkıştın, neyse artık. Bunlar bence çok daha zor örnekler.

24:40Çünkü o tip şeyler, ben daha konuşmayı bilmiyorken de komikti. Kelimeler arasındaki anlamsal ilişkilere bağlı değiller. Belki de başta dediğimiz o genel kültür, yazılı kültür farkı yüzünden. Son zamanlarda ben Almost Friday TV diye bir kanala sardım.

24:54Tam benim kafadalar. Netflix'le ilgili bir videoları var. Komedi demek haksızlık. Kısa film ödülü alır.

24:59Şimdi düşünüyorum, niye komik diye? Öyle ha ha ha diye güldüğüm bir sahne yok. Şu taraflarını seviyorum. Saçma sapan fikirleri, klişeleri onlara orantısız bir kalitede, orantısız bir ciddiyette işleyebiliyorlar.

25:12Skecin içindeki şakaları yapay zeka açıklayabilir ama bu meta komediyi anlaması daha zor. Belki bir hayat tecrübesi gerekiyor. Velhasıl Hinton için şaka açıklayabilmek yeterince etkileyici. Oradan yola çıkıp çeşitli keyanetlerde bulunuyor.

25:26Doğal dil modelleri ve genel olarak sinir ağları bu işin geleceği diyor. Tabii kendisini dinlerken şunu unutmamak lazım, bu ilk vukuatı değil. Neredeyse 10 sene önceki bir konferansta artık radyologların işsiz kalacağını söylüyordu. Çünkü tıbbi taramaları, MR'dır, CAT-scan'dır, bunları makineler kadar iyi okuyamayacaklar.

25:45O yüzden bugün hemen şimdi radyolog eğitmeyi bırakmalıyız diyordu. 5 sene içinde bunlar tamamen demode olacaklar. Bunu 10 sene önce diyordu. Unutmayın, hata maliyetinin düşük ve tekrar şansının yüksek olduğu senaryolar ile buna zıt senaryolar aynı kefeye konamazlar yapay zeka açısından.

26:03%99 isabet oranı birçok iş için yeterince iyidir. Ama diyelim ki %99.9 istiyorsunuz, bu bize ufacık bir ilerleme gibi gözüküyor. Oysa tam 10 katlık bir performans gelişimine tekabül ediyor.

26:15Çünkü hata oranını %1'den %0.1'e düşürüyorsun. Neyse, Hinton tek ağır abi değil. Karşı kampta Yann LeCun var veya LeCun, artık Fransızcası neyse.

26:26Hinton ile aynı sene Turing Ödülü almışlardı, bu alandaki en prestijli ödül. Yann'a göre zeka fiziksel dünyayı anlayabilmeyi, kalıcı hafızayı, akıl yürütmeyi ve planlamayı gerektiriyor. Doğal dil modelleri de bunların hiçbirini iyi yapamıyorlar. Dahası bunun bir ölçek problemi olduğuna inanmıyor.

26:44Çünkü ölçek ile beceri arasındaki ilişki bir noktada düzlüğe çıkacak. Dolayısıyla ölçeğin maliyeti karşılanamayacak. Sinir ağlarıyla sembolik yapay zeka yaklaşımı bir şekilde harmanlanmalı. Ve fiziksel dünya eğitimin bir parçası olmalı.

26:58Dil tek başına yeterli değil. Mantığı bu. Bu fikir ayrılığı uzun sürmeyecektir. Zira yakın vadede bu mevcut yaklaşımımızın ekonomik limitlerine ulaşacağız.

27:08Sonuçta ölçek bedavaya gelmiyor. Dünya kadar enerji harcıyor bu sistemler. Eğitim verisi kıtlığından da son bölümde bahsetmiştik. Büyük oyuncular milyarlarca dolar gömüyorlar.

27:17Ama şu ana kadar tek kazanan Nvidia oldu. Zaten altına hücum dönemlerinde esas vurgunu kürek satanlar yaparlar. Nvidia da bıçağın kürekçisi. Kalanların belli bir sabrı var.

27:28Şu anki modları şuna benziyor. Alternatiflere bakmaya hiç fırsatımız yok. Eğer gelecek elelemlerde ise geride kalmayalım. Yok eğer değilse, bunlar fos çıkarsa sorun değil.

27:39Nasıl olsa herkes aynı yolda, hepimizin de yakacak birkaç milyar doları var. O yüzden dramatik bir ilerleme olmazsa yakın zamanda doğal dil modellerini büyütmeyi bırakırlar, eldekini ürünleştirmekle yetinirler ve genel yapay zeka için alternatif yaklaşımlar aranır. Benim hiçbir teknik değeri olmayan sezgim bu yönde. El elemler biraz daha gelişecek fakat genel yapay zeka eşiğinin altında kalacaklar.

28:03Bunu da kaydedersiniz, bookmarklarınıza katın, birkaç seneye dalga geçmek için kullanırsınız. Sizden önce ben kullanırım zaten, merak etmeyin. Evet flarsızlar, bugün gerçek bilgiden, doğrunun değerinden ve zekadan bahsettik. Hepsini dinlediğiniz için ve daha önemlisi şu koca seriyi bir kez bile terminatör referansı vermeden bitirdiğimiz için birbirimizi tebrik edelim.

28:27Gerçi seriyi bitirmemiş de olabiliriz ya, hiç belli olmaz. Sezer Sunar, Bahadır Batır, Kadir Hacıkurt, Tanzer Bilgen, Ela Dazizli, Salih Yunal, Erman Korkut, Mr. X, Tunç Mart, Can Karakuş, Aydın Kahraman, Seküre, Can Emrah Yaldız, Refik Şekercoğlu ve Ali Özbek. Hepinize sevgiler saygılar.