AI 010: Pekiştirmeli Öğrenme (Deneme Yanılmanın Gücü)

1:33Bu televizyon programından birkaç ay sonra yapay zeka teriminin icat edileceği o meşhur konferansa katılıp bulgularını paylaştı. Birkaç sene sonra da geçen bölümde de görmediğimiz bir şeyi ilk başaran kişi olacaktı. Programına öğrenmesini öğretecekti. Selam flarsızlar, Yapay Zeka serisinin ikinci bölümüne makina öğrenmesiyle devam ediyoruz.

2:03İlk bölümde eski moda yaklaşıma bakmıştık. Eski moda yapay zeka sıkça kullanılan bir kalıp, Good Old Fashioned AI dendiğini veya GOFAİ diye kısaltıldığını görebilirsiniz. Bu arada açıklamamıştım ama belki merak edip araştıran olmuştur, en sonunda çalan şarkı Daisy Bell'di. O orijinali taa 1892'de bestelenmiş, dinlediğiniz versiyonuysa 1961'den.

2:26Özelliği bir bilgisayar tarafından söylenen ilk şarkı olması, hiçbir gerçek insana ait olmayan ilk insan sesi. Bu sesi ilk duyanlardan biri de yazar Arthur Clarke'mış. Tesadüfen Bell Laboratuvarlarındaki bir dostunu ziyarete gelince bunu dinletiyorlar, etkileniyor, A Space Odyssey'yi uyarlarken malum sahnede kullanmış. Gelelim bugüne makine öğrenmesine.

2:47Aslında bu da eski moda yapay zekanın bir devamı. Kısmen diyelim, birazdan bu farkı anlatacağım. Makine öğrenmesi terimi de Samuel'in icadı. Tasarladığı dama oyununda aslında iki farklı öğrenme mekanizması kullanmış.

3:00İlki basit, düz ezbere dayalı. Yaptığın her hamleyi ve sonunda kazanıp kazanmadığını kaydet, günün birinde aynı pozisyonda karşılaşırsan ve sonunda kazanmışsan hiç hesaba kitaba girmeden aynısını yap. Bu kadar. Böyle bir öğrenme seni daha iyi bir oyuncu yapmaz, daha hızlı bir oyuncu yapar.

3:16Aynı performansı daha çabuk ulaşmanı sağlar. Yok eğer orijinal oyunu kaybetmişsek işler bir tık daha ilginç hale geliyor. Belli ki bir şeyleri değiştirmemiz lazım. Belki zamanında bulduğum en iyi hamleyi değil de en iyi ikinci hamleyi yapmam lazım.

3:30Yani onu da ezberlemiş olmalıyım veya iyice aptalca davranıp rastgele oynayabilirim. Bakalım ne olacak? Kazanırsam artık o pozisyon için yeni bir cevabım var. Deneme yanılma yoluyla ezber tablomu güncellemiş oldum.

3:41Bu öğrenme performansı az da olsa yükseltecektir. Az diyorum çünkü illa aynı pozisyonlara rastlamak zor, özellikle oyunun ortalarında. Bizi esas ilgilendiren diğer öğrenme mekanizması, hafızadan ziyade aklın değişmesi. Buradaki akıl ne?

3:56Samuel'in kendince uydurduğu bir fonksiyon. Fonksiyon lafını duyunca bazılarınızın yüzü düşebilir. kötü eğitim sistemlerinin sebep olduğu travma sonrası stres sendromu yaşayabilirsiniz, normaldir. Alt tarafı bir şeyleri alıp başka bir şeye dönüştürmek.

4:10Satrançta da aynısını yapıyorduk. Mesela sahip olduğun taş sayısı, tehdit ettiğin taş sayısı, efendim dama tahtasını bozup gidersen dövüşmen gereken insan sayısı, bunları bazı kat sayılarla çarpar, böler, sonunda bir kazanma yüzdesi ortaya çıkarırsın. Fonksiyonun yaptığı bu. Bunu birçok olası hamle için yapar, Geçen bölümde gördüğümüz minimax ve budama tekniklerini kullanır, en iyisini seçersin.

4:33Bu arada budama dediğim şeyin gerçek ismi alfa-beta pruning. Aratacaksanız öyle aratın yoksa ziraat mühendisliği makaleleri okursunuz saatlerce. Samuel başlarda bu fonksiyonu kendisi hazırlıyor, ince ayar çekiyor, sonra dahiyane bir yöntem keşfetmiş. Demiş ki ya programın iki versiyonunu yaratayım, birbiriyle oynasınlar, yenilen kendini biraz değiştirip tekrar denesin.

4:53Nasıl değiştirsin? Mesela tehdit ettiği taş sayısına biraz daha önem versin, yani fonksiyonda ona denk gelen kat sayıyı biraz arttırsın. Yapacağı birçok hamle aynı kalır belki ama bazı kritik hamleler değişebilir ve belki bunlar galibiyet getirir. Tesadüflere yer bırakmamak için tek bir galibiyetle yetinmeyelim.

5:11Birkaç defa oynasınlar, sonunda kazanan ayakta kalsın. Bu sefer onu kullanlarız, onlardan bir tanesini değiştiririz, kafes dövüşleri de devam eder. Samuel'in modelinde o ufak değişiklikler nasıl yapılıyordu tam öğrenemedim. Belki onun için de ayrı bir dizi kural koymuştur veya tamamen şansa bırakmıştır.

5:36Kat sayılar rastgele değişiyordur. Herhalükâr da anlamanızı istediğim kritik nokta şu. Neyin önemli olduğuna en baştan insan karar vermiş. Taşların sayısı önemli bir özelliktir demiş.

5:47Tam olarak ne kadar önemli olduklarının ayarını makinaya bırakmış. Kafes dövüşüne girenler arasındaki fark bundan ibaret. Yoksa makina kendi kendine yeni bir özellik ortaya süremiyor. Açık çapraz kareleri de hesaba katsak mı?

6:00diyemiyor. Matematik diliyle konuşursam fonksiyona parametre ekleyemez. Sadece mevcut parametrelerin katsayılarını değiştirebilir. Bir adım geriden bakarsanız, elimizde bir problem var.

6:10O problemi biz çözmeye çalışsak, şu şu şu özelliklere bakarak karar verirdik, sen de onlara bak diyoruz. Makine probleme insan gibi yaklaşıyor. Sadece deneme yanılma kısmı otomatize edilmiş. Öte yandan, biraz ileri atlarsak seride, sinir ağlarının yani neural networks'ün tüm numarası probleme makine gibi yaklaşmakta.

6:29Onu en iyi modelleyecek özellikleri de kendi kendine buluyor ve bunlar insan için hiçbir anlamı olmayan şeyler. Taş sayısı gibi bir şeye karşılık gelmiyorlar yani. Şimdi, Samuel'in yaklaşımı da makine öğrenmesi, sinir ağlarının yaklaşımı da. O yüzden çok geniş bir alan zaten.

6:45Yalnız bir ortak faydaları var. Bu sistemler veri işledikçe, karar verdikçe gelişiyorlar. Ne kadar çok karar, o kadar iyi karar. Düşük bütçeli yerel seçim sloganı gibi oldu.

6:56Ahmet Karar diye biri varsa tanıdığınız bunu kullanabilir. Şimdi geçen bölümde gördüğümüz uzman sistemlerde böyle bir özellik yoktu. Ne kadar çok oynarlarsa oynasınlar, statiktiler. Tekrar yapmak onları tasarlayan uzmanların öğrenmesine yarıyordu ama makinenin kendisi sadece insan müdahalesi sonucu değişiyordu.

7:14Bu da bizi bariz bir soruyla karşı karşıya getiriyor. Neden o uzman sistemlerde bu özellik yoktu? Samuel bu anlattıklarımızı 50'lerde, 60'larda geliştirmiş. Neden IBM 30-40 sene sonrasında dahi Deep Blue'yu o şekilde tasarlamamış?

7:29Geçen hafta kaynaklara iliştirdiğim bir yazıda baş tasarımcılardan birinin röportajını bulabilirsiniz. Denedik ama o zamanlar çok iyi geldi, bize faydası dokunmadı, diyordu. Bunun birkaç sebebi var. Bir kere işin doğası gereği seviyen yükseldikçe gelişmek zorlaşır.

7:43Her adım bir öncekine göre daha uzun sürer. İnsanlarda da böyle. Bir işte usta olmak iyi olmaya kıyasla katbekat zor. Nitekim Samuel'in dama programı da belli bir seviyeye kadar hızla gelişmiş, sonra tıkanmıştı.

7:55Ortalama bir insandan daha iyi, elit oyunculardan daha kötüydü. Hiçbir zamanda şampiyon olamadı. İkinci engel, gerçek bir ilerlemenin garanti olmaması. bir versiyon öncekinden daha iyi diye o ana kadarki en iyisidir demek değil.

8:09Belki bir öncekinin bir zayıflığını istismar etmeyi öğrenmiştir ama bu da diğer versiyonlara karşı başka bir zayıflık yaratmıştır. Bu engeli aşmak için umut vadeden bir versiyonu tüm öncülleriyle oynamaya zorlayabiliriz. En son ayakta kalan gerçekten de en iyisidir. Ne demiş ünlü İskoçyalı filozof?

8:28Fakat bu hem daha maliyetli hem de bazı durumlarda sağlanamayabilir. Ne kadar denersen dene, tüm öncüllerinden daha iyi performans göstermeni sağlayacak bir dizi katsayı bulamayabilirsin. O fonksiyonla bu kadarmış. Bu da bizi son engele getiriyor.

8:42Fonksiyonu değiştirsen, yani daha önce düşünmediğin bir özellik eklesen, her şeye baştan başlaman lazım. O ana kadarki tüm kafes dövüşleri boşa gitti. Eminim başka sebepler de vardır ama bu kadarı o zamanlar neden makine öğrenmesinin belli bir seviyeyi aşamadığını anlatıyor. Nitekim Samuel'den bir nesil sonra 90'larda dünya şampiyonu olan Chinook isimli dama programı da hiçbir öğrenme prensibi kullanmıyordu.

9:05Tıpkı Deep Blue gibi birinci ayar harikasıydı. Bu arada makinelerin damada üstünlük kurmalarının hikayesi epey dramatik. Bir parantez açıp anlatayım. Chinook'un arkasında IBM gibi dev bir şirket yoktu.

9:17Bir üniversite projesiydi. Alberta Üniversitesi'ndeki bir profesör ve öğrencileri 1989'da başlamışlar. Sadece bir sene içinde ABD ikincisi olmuşlar. Bu sayede Dünya Şampiyonası'nda oynamaya hak kazanıyorlar.

9:29Ama ilk defa bir makine böyle bir hakka sahip oluyor ve federasyon kabul etmiyor. Fakat o ABD turnuvasında birinci olan Marion Tinsley katılmalarını istiyor. Protesto amacıyla da birincilik ödülünü reddetmiş ve emekli olma tehdidi savuruyor. Bir alanda ne kadar iyi olmanız lazım ki, emekli olacağım demek iyi bir tehdit olsun.

9:47Tinsley işte tam da böyle biri. Gelmiş geçmiş en iyi dama oyuncusu. Ben de bildiğimden söylemiyorum, yeni öğrendim. Wikipedia sayfasında şöyle bir cümle var, sanırım iyi özetliyor.

9:56Kariyerinin son 45 senesinde sadece 7 oyun kaybetmiş. Maç değil, tek seferlik oyun. Onun da ikisi bilgisayara karşı, bir tanesi sarhoşken, biri de bir gösteri esnasında aynı anda birçok kişiyle oynarken. Belli ki adam artık insanlarla oynamaktan sıkılmış, gerçek bir heyecan arıyor.

10:13Çinook sonunda şampiyonluğa alınmamış. Onun yerine federasyon yeni bir kupa yaratmış. Man vs Machine diye bir dünya şampiyonası. Orada yüzleşiyor bunlar.

10:22Tinsley'nin kaybettiği iki oyun da zaten o maçtan. Ama maçın tamamını kazanıyor. Ve tıpkı Kasparov'un ilk maçı gibi 4-2 almış. Birkaç sene sonra bir rövanj düzenleniyor Çinook'un yeni modeliyle.

10:33Orada da yenilmiyor Tinsley. İlk birkaç oyun berabere fakat sonra Tinsley sağlık sebepleriyle çekilmek zorunda kalınca kural gereği Çinook ilk şampiyonluğunu kazanmış. Kimseyi tatmin etmemiş tabi bu. Ne yazık ki başka bir rövanş olmayacaktı.

10:46Tinsley kısa bir süre içinde pankreas kanserinden vefat ediyor. Yıkılmayan adam gibi. Ölmüş ama yıkılmamış. Tabi işin gidişatı belli uzun vadede.

11:26Programda ertesi sene tüm insanları yenerek gerçekten şampiyon oluyor. Tıpkı Deep Blue gibi emekliye ayrılıyor. Yalnız ardındaki takım çalışmayı bırakmamış. Dama oyununu tamamen çözmeye koyulmuşlar.

11:37Çözmek ne demek? Buradaki manası yenilmezlik. Ya oyunu kazanacak ya da eğer kendi gibi kusursuz hamleler yapan biriyle karşılaşmışsa beraber kalacak ama asla yenilmeyecek. 18 sene sürmüş bu çalışma.

11:50Nihayet 2007'de bunun teorik ispatı yapılmış. Bugüne kadar çözülen en karmaşık oyun. Yani artık öğrenecek bir şey kalmadı. Ne insan için ne de makine için.

12:00Buraya kadar gördüğümüz öğrenme biçimine reinforcement learning, yani pekiştirmeli öğrenme deniyor. Bir ödül kazandıkça ona yol açan davranışın pekişmesi, aksi halde yeni davranışların aranması. Her alanda karşımıza çıkan bir şey. Konuşmayı öğrenirken mesela doğru şeyleri söylediğimizde etrafımızdakiler heyecanlanıp gülüyor.

12:18Bu bir pekiştirme. Keza koşmayı öğrenirken düştüğümüzde acı duyuyoruz. Hareketimizi değiştirmek için bir sinyal bu. Bu mekanizma özellikle oyunlar için birebir.

12:28Çünkü düzenli ve tutarlı geri bildirim alabiliyorsun. Bazı oyunlarda her kararı takiben, bazılarında en sonunda kazanıp kaybettiğini görerek. Bazen de bir puanlama sistemi olduğundan yaptığının sadece doğru mu yanlış mı olduğunu değil, tam olarak ne kadar doğru olduğunu da ölçebiliyorsun. Bunlar öğrenmeyi hızlandıran etmenler.

12:46Hele hele dama ve satrançta olduğu gibi oyun hakkında kusursuz bilgiye sahipsen bir başka de işte tahtayı görüyorsan ve herhangi bir rastgelelik yoksa yani her şey tarafların kararlarına bağlıysa pekiştirmeye iyice kolaylaşıyor. Öte yandan poker gibi bir oyunu düşünürseniz onu zevkli kılan şey işin içinde bilinmezlik ve rastgelelik olması. Bunlar da öğrenmeyi biraz zorlaştırır. Her halükarda oyunların avantajı onları aynı şartlar altında çok sık tekrarlayabilmen.

13:12Kontrollü bir öğrenme süreci yaşanıyor. Gerçek dünyada ise, daha doğrusu oyun dışı dünyada ise, durum epey farklı. Alıştıra alıştıra gitmeyelim, size güveniyorum. Doğrudan en karmaşık örneklerden birine geçelim.

13:26Öneri sistemleri. Nedir öneri sistemleri? YouTube mesela. Her gün 5 milyar defa video sunuyormuş.

13:32Dörtte biri insanların aradıkları veya önceden kaydettikleri şeyler, kalanı ise öneri sisteminden geliyor. Düşünürseniz dünyadaki en önemli medya politikası bu olabilir. Yüz milyonlarca saatlik içeriğin her gün kimle buluşacağına karar veriyorlar. Buna karar verebilmek için neyle ilgilendiğimizi, daha önemlisi neyle ilgilenebileceğimizi çok iyi öğrenmesi lazım.

13:54Zira bazı şeylerle ilgilenip ilgilenmeyeceğimizi önceden bilmiyoruz. Ben mesela özel takım elbise diken usta terzi videolarını rahatlatıcı bulacağımı hiç tahmin etmezdim. Onların bir de alt çeşitleri var. Benim tercihim Japon.

14:07Kısacası makinenin bizi kendimizden daha iyi tanıması lazım. YouTube'un bu işi tam olarak nasıl başardığı ticari sır. Dünyanın en önemli medya politikası gizli. Hep aynı şeyi söylüyorlar.

14:17Milletin ilgileneceği şeyler yapın. Algoritma sizi her türlü ödüllendirecektir. Algoritmaya güvenin. O her şeyi gören iyi videoları mükafatlandırandır.

14:27Yalnız genel prensipler hakkında bir dolu makale var. Mesela YouTube'un en başlarda hiçbir şey öğrenmediğini biliyoruz. Tavsiye sistemi dedikleri popüler içerikler listesinden ibaretti. Yıllar içinde yavaş yavaş kişiselleşti.

14:40Diyelim ki siz bu geçişten sorumlu tasarımcısınız. Satranç'ta damada edindiğiniz tecrübeyi YouTube için kullanmaya karar verdiniz. Ben de kobayınız olacağım. Nasıl ilerlersiniz?

14:50İlk başta hakkımda pek bir şey bilmiyorsunuz. Platforma yeni kaydoldum, hoş geldim, sefa getirdim de nasıl biriyim ben? Eskiden böyle işlerde başta bir anket doldurulurdu. İlgi alanlarınız nedir ne değildir artık kimsenin sabrı yok o işlere.

15:03Sıfırdan başlayıp kısa sürede iyi tavsiyeler yapabilmeniz lazım. Buna cold start, soğuk başlangıç problemi deniyor. Herhalde bulunduğum ülkeye, profil ayarlarıma, zaman dilimine şuna buna göre çok genel bir tavsiye listesiyle başlayıp davranışlarımı takip edersiniz. Bir süre sonra elinizde bir takım veriler olur.

15:21Arşivinizdeki videolarla ilgili de veriler var. Bunları sihirli bir fonksiyona verip çıktı olarak bana uyacak videolar alacaksınız. Sihirle dedim çünkü şimdilik onun nereden geldiğine kafa yormayalım. Sizden önceki tasarımcı hazırlamış, onun mirası olsun.

15:35Siz benim geri bildirimime göre fonksiyonun kendi kendine ayar çekmesinden sorumlusunuz. Problem şu ki oyunlardakinin aksine buradaki geri bildirim kısmı çok karışık. Beğeni tuşları var, şikayet seçenekleri var. Paylaşmak, yorum yazmak, abone olmak, playlistleri eklemek, videoyu aratıp bulmak veya videonun yaratıcısını aratıp kapısına kırmızı boyayla kuru kafa çizmek hepsi mümkün ve hepsini tutarsız biçimde yapıyoruz.

16:01Her videoda beğeni tuşu kullanmıyorum ki. Bir tanesi için yorum yazıp paylaştım, diğerini izledikten sonra konuyla ilgili aramalar yaptım. Hangisiyle daha çok ilgileniyorum şimdi? Bir paylaşım kaç aramaya eşit?

16:13Sadece tek bir tanesine odaklansak bile onu farklı şekilde yorumlamak mümkün olabilir. İzlenme süresi iyi bir örnek. YouTube bunu 2012'de takip etmeye başlamış. Diğer tüm saydıklarımın aksine izlenme süresi opsiyonel değil.

16:26Her video için ister istemez verdiğimiz bir ödül veya ceza. Peki, yine önümde iki tane video var. İlki bir saatlik, tam bir ekşi sözlükçü gibi yarısında çıkıp gittim. 30 dakika izledim.

16:38Diğeri sadece 5 dakikalıktı, hepsini izledim. Şimdi süre mi daha önemli, oran mı? Hangisi gibi videoları önereceksiniz? Herhalükârda izlenme süresine çok değer vermek de sağlıklı değil.

16:49YouTube ta 2015'te yani 10. senesinde insanlara doğrudan sormayı akıl etmiş bu tavsiye ne kadar iyiydi diye. Umarım siz daha önce ona hesaba katarsınız ve demin saydıklarımla paralel bir şekilde kullanırsınız. Dediğim gibi bunların tam olarak nasıl kullanıldığı ticari sır.

17:05Bizim için önemli de değil. Anlamınızı istediğim nokta şu. Hepsini aynı potada erittiğimiz mükemmel bir formül yok. Öyle bir şey yok çünkü hepimizin alışkanlıkları farklı.

17:15Mesela benim için bir kanalı bloklamak nükleer bomba gibi. Kırk yılda bir kullanırım ama kullandım mı da ciddiye alınsın isterim. Kendi kendime ekrana racon keserim. Bir daha seni buralarda görmeyeyim derim.

17:27ne o kanalı ne de ona benzer şeyleri görmek istiyorum. Bir başkası ise aynı özelliği çok daha başka şekilde kullanır. Ya o kanalı gösterme ama benzer kanallar olabilir manasında kullanır. Kısacası sistemin bize ne göstereceğini öğrenmesi için önce beğeni sinyallerimizi öğrenmesi lazım.

17:44Elbette tavsiyeleri etkileyen başka etmenler de var. Çalışanların ekledikleri etiketler var mesela. Tercihlerinizi ezebiliyorlar. Yalnız bu pek ilginç değil.

17:53Yani Arthur Samuel'in gelip şu pozisyonda illa şu hamleyi yapacaksın diye kural yazmasına benziyor. Biz işin pekiştirmeli öğrenme kısmıyla ilgileniyoruz. O yüzden kullanıcıdan gelen verilere odaklandık. Ve anladık ki ilk büyük problem algoritmanın ne kadar başarılı olduğunu anlayamaması.

18:09Makine öğrenme hevesli de öğretmenlerde iş yok. Sınav kağıtlarını doğru düzgün notlandırmıyorlar. Eğer bir oyun oynuyor olsaydık bu engeli de ite kaka aşardık. Deneme yanılmanın sonu yok nasılsa.

18:21Ama insanları öğrenmeye çalışırken böyle bir lüksün olmuyor. Her yaptığın yanlış tavsiyenin gerçek bir maliyeti var. Kulanıcının sabrını tüketiyorsun, bir noktada platformdan kopup gider veya tavsiyeleri dinlemeyi bırakır. O yüzden çok çabuk öğrenmen lazım.

18:36Soğuk başlangıç problemini de hesaba katarsak şöyle özetleyebiliriz. Bazen sıfırdan başlayarak, kısa sürede, çok çeşitli olan ve tutarsız biçimde kullanılan geri bildirimlere bakarak her kullanıcıyı ayrı ayrı tanımanız lazım. Kolay gelsin. Fakat tüm bunlar öneri sistemlerinin yapması gereken öğrenmenin sadece bir yarısıydı.

18:56Kulanıcıyla ilgili yarısıydı. Bir de içerikle ilgili kısım var. Bir şeyi sevip sevmediğimi az çok anlıyorsunuz, tamam. Alışkanlıklarıma alıştınız.

19:04Ama bu bilgiyi nasıl kullanacaksınız? Beğendiğim içeriklere benzeyenleri nasıl seçeceksiniz milyarlarca seçenek arasından? Aynı yaratıcının diğer videolarını önermek gibi, video başlığına benzeyen diğer başlıkları bulmak gibi, onların arasındaki en popüler içerikleri sıralamak gibi ilkel yöntemler var. Ama belli ki algoritma bundan ibaret değil.

19:24Bambaşka yaratıcılardan gelen ve pek de popüler olmayan içerikler de geliyor. Zaten öneri sisteminin gerçek değeri orada. Diğerini ben de bulurum kendi başıma. Dolayısıyla bir yandan da neyin neyle alakalı olduğunu öğrenmesi lazım.

19:37Makine öğrenmesinin kalbi burada. Küt küt atıyor ama benim de kalbim küt küt atıyor artık, yoruldum. Onu sonraki bölüme bırakalım. Yine öneri sistemlerinden devam edeceğiz.

19:46Belki bu sefer Spotify ve Pandora gibi müzik platformlarına odaklanırız. Onlar üstünden özellik mühendisliği, supervised ve unsupervised learning gibi kavramları konuşuruz. Zaman kalırsa da bugünkü chatbotların ataları olan Eliza ve Watson'la tanışırız. Bu arada bir yandan da patronlar arasında Highlander ve Mad Max karışımı bir kafes dövüşü turnuvası düzenliyorum.

20:08İlk round için kurağada çıkan isimler şunlar. Cengiz Macit, Ali Emre Öztürk, Aybars Atalay, Özgür Akçiçek, Gökhan Kazcılar, Emre Köksal, Atlas Pera, Elif Koca Taşkın, Barbaros Can Konar, Emre Ersoy, Koran Kaftanoğlu, Öner Can Yıldız, Boran Güney ve Burak Özdemir. Umarım hepiniz sağ salim çıkarsınız.