მე ვმუშაობ მათემატიკოსების, ფილოსოფოსების და კომპიუტერული მეცნიერების ჯგუფებთან
და სხვა საკითხებთან ერთად, ჩვენ ვფიქრობთ
მანქანური ინტელექტის მომავალზე.
ზოგი თვლის, რომ მსგავსი საკითხები მეცნიერული ფანტასტიკის სფეროა,
ჩვენგან შორს არის და სიგიჟეა,
მაგრამ მე მსურს ვთქვა:
კარგით, შევხედოთ თანამედროვე ადამიანის მდგომარეობას.
(სიცილი)
ეს ნორმალური მდგომარეობაა,
მაგრამ თუ დავფიქრდებით,
ჩვენ, ადამიანის სახეობა, ახლახანს მოსული
სტუმრები ვართ ამ პლანეტაზე.
წარმოიდგინეთ, დედამიწა ერთი წლის წინ რომ შექმნილიყო.
ადამიანები 10 წუთის იქნებოდნენ.
ინდუსტრიული ხანა 2 წამის წინ დაიწყებოდა.
სხვა კუთხით დასანახად დავფიქრდეთ ბოლო 10 000 წლის მსოფლიო მშპ-ზე.
ეს ინფორმაცია გრაფიკზეც დავიტანე.
ის ასე გამოიყურება.
(სიცილი)
უცნაური ფორმაა ნორმალური მდგომარეობისთვის.
მასზე დაჯდომა ნამდვილად არ მომინდებოდა.
(სიცილი)
ვკითხოთ საკუთარ თავებს, თუ რა არის ამ ანომალიის მიზეზი?
ზოგი იტყვის რომ ტექნოლოგიები.
მართალია, ტექნოლოგიების დაგროვება მოხდა ადამიანის არსებობის მანძილზე
და ახლა, ტექნოლოგია დიდი სისწრაფით ვითარდება.
ეს არის უშუალო მიზეზი.
ამიტომ ვართ ამჟამად ასე პროდუქტიულები,
მაგრამ მინდა უფრო წინ გავიხედო საბოლოო შედეგისკენ.
შეხედეთ ამ ორ გამორჩეულ მამაკაცს:
ეს არის კენზი...
მან 200 ლექსიკური ერთეული აითვისა, შთამბეჭდავი შედეგია
და ედ უიტენი, სუპერ სიმთა თეორიის რევოლუციონერი.
თუ უფრო ღრმად ჩავიხედვათ აი რას ვიპოვით:
ძირითადად ერთი და იგივეა.
ერთი ცოტა უფრო დიდია,
შეიძლება უფრო მახვილგონივრულად შეერთებული.
ეს უხილავი განსხვავებები შეუძლებელია ძალიან რთული იყოს,
რადგან მხოლოდ 250 000 თაობამ გაიარა,
მათი საერთო წინაპრის შემდეგ.
ჩვენ ვიცით, რომ რთული მექანიზმის განვითარებას დიდი დრო სჭირდება.
ამიტომ, შედარებოთ მცირე ცვლილებებმა
მიგვიყვანა კენზიდან უიტენამდე,
ხის მოტეხილი ტოტებიდან, საკონტინენტთაშორისო ბალისტიკურ რაკეტებამდე
ცხადია, რომ ყველაფერი რასაც მივაღწიეთ
და ყველაფერი რასაც ვაფასებთ,
ადამიანის ტვინის შემქმნელ შედარებით უმნიშვნელო ცვლილებებზეა დამოკიდებული.
შედეგად, რა თქმა უნდა, მომავალ ცვლილებებს,
რომლებსაც შეუძლიათ მნიშვნელოვნად შეცვალონ აზროვნების საფუძვლები,
შეიძლება პოტენციურად წარმოუდგენელი შედეგები მოჰყვეს.
ზოგიერთი ჩემი კოლეგა ფიქრობს, რომ ჩვენ
ამ საფუძვლების ძირეული ცვლილების ზღვარზე ვართ,
რაც მანქანურ სუპერინტელექტს წარმოადგენს.
ადრე ხელოვნური ინტელექტი ბრძანებების ყუთში შეტანა იყო.
იყვნენ ადამიანი პროგრამისტები,
რომლებიც ცოდნის ერთეულებს გულმოდგინედ, ხელით ქმნიდნენ.
იქმნებოდა ეს საექსპერტო სისტემები
და ისინი გამოსადეგი იყო რაღაც მიზნებისთვის,
მაგრამ ეს სისტემები ძალიან მყიფე იყო, მათი მასშტაბირება შეუძლებელი.
პრინციპში, რაც შეგვყავდათ იმავეს იღებდით.
თუმცა, მას შემდეგ
ხელოვნური ინტელექტის სფეროს პარადიგმა შეიცვალა.
დღეს-დღეობით აქტივობა, ნამვილი მანქანური სწავლების ირგვლივაა.
ანუ, ცოდნის და თვისებების ხელით შეტანის მაგივრად,
ჩვენ ვქმნით ალგორითმებს, რომლებიც დაუმუშავებელი მონაცემის მიღებით სწავლობენ.
პრინციპში ეს იგივეა, რასაც ჩვილი ბავშვი აკეთებს.
შედეგად ვიღებთ ხ.ი. რომელიც ერთ სფეროში არაა შეზღუდული.
ერთ სისტემას შეუძლია თარგმნოს ნებისმიერ ორ ენას შორის,
ან ისწავლოს ნებისმიერი კოპიუტერული თამაში სათამაშო მოწყობილობა Atari-ზე.
რა თქმა უნდა,
ხ.ი. ჯერ ახლოსაც არ არის, ისეთ ძლევამოსილ მრავალფუნქციურ უნარებთან,
რომ ისწავლოს და დაგეგმოს როგორც ადამიანმა.
ტვინს ჯერ კიდევ აქვს ისეთი ალგორითმული ხრიკები,
რომლის ანალოგის შექმნა მანქანისთვის ჯერ არ შეგვიძლია.
ამიტომ ისმის კითხვა:
რამდენად შორს ვართ მსგავსი ხრიკების შექმნისგან?
ორიოდე წლის წინ,
გამოკითხვა ჩავატარეთ მსოფლიოს მოწინავე ხ.ი.-ის ექსპერტებს შორის,
მათი აზრის გასაგებად და ერთ-ერთი შეკითხვა იყო:
"როგორ ფიქრობთ, რომელი წლისთვის იქნება 50% ალბათობა იმისა,
რომ ჩვენ ადამიანის დონის მანქანურ ინტელექტს მივაღწევთ?"
ადამიანის დონეში, ვიგულისხმეთ თითქმის ნებისმიერი სამუშაოს
მინიმუმ ზრდასრული ადამიანის დონეზე შესრულების უნარი.
ანუ, ნამდვილი ადამიანის დონე, არა მხოლოდ შეზღუდულ სფეროებში.
და საშუალო პასუხი იყო 2040, ან 2050.
იმის მიხედვით, თუ ექსპერტთა რომელ ჯგუფს ვკითხეთ.
ეს შეიძლება ბევრად უფრო ადრე, ან გვიან მოხდეს.
სინმადვილეში არავინ იცის.
მაგრამ რაც ვიცით, არის ის, რომ მანქანის მიერ ინფორმაციის დამუშავების სიჩქარის
საბოლოო ზღვარი, ბიოლოგიური ქსოვილისაზე ბევრად მეტია.
ყველაფერი ფიზიკაზე დადის.
ბიოლოგიური ნეირონი მოქმედებს ალბათ 200 ჰერცზე, 200-ჯერ წამში.
თუმცა, დღევანდელი ტრანზისტორიც კი გიგაჰერცებით ოპერირებს.
ნეირონები აქსონებში ნელა მოძრაობენ მაქსიმუმ 100 მეტრი წამში,
სამაგიეროდ კომპიუტერული სიგნალი სინათლის სიჩქარით მოძრაობს.
ასევე არის ზომის შეზღუდვებიც.
ადამიანის ტვინი თავის ქალაში უნდა ჩაეტიოს,
მაშინ როცა კომპიუტერი შეიძლება საწყობის ზომის, ან უფრო დიდი იყოს.
ამიტომ სუპერინტელექტის პოტენციალი მატერიაშია ჩამალული.
ისევე როგორც ატომის ძალა იყო ჩამალული კაცობრიობის ისტორიის მანძილზე,
1945 წლამდე.
ამ საუკუნეში
მეცნიერებმა შეიძლება ხელოვნური ინტელექტის ძალის გამოღვიძება მოახერხონ
და ვფიქრობ შემდეგ შეიძლება ინტელექტის აფეთქების მომსწრენი გავხდეთ.
უმეტესობა როცა ჭკვიანს და სულელს წარმოიდგენს,
ვფიქრობ დაახლოებით შემდეგი სურათი წარმოუდგენია:
ერთ მხარეს იდიოტი სოფლიდან
და მეორე ბოლოში
ედ უიტენი, ან ალბერტ აინშტაინი, ან ვინმე თქვენი საყვარელი გურუ.
სინამდვილეში ვფიქრობ ხელოვნური ინტელექტის გადმოსახედიდან,
რეალური სურათი შემდეგია:
ხ.ი. იწყება ამ წერტილიდან, ნულოვანი ინტელექტით
და შემდეგ ბევრი, ბევრი წლის დაუღალავი შრომის შედეგად,
შეიძლება მივიღოთ თაგვის დონის ხელოვნური ინტელექტი.
რაღაც რაც დაბრკოლებებიან გარემოში გაიკვლევს გზას,
როგორც თაგვი ახერხებს ამას.
შემდეგ კიდევ ბევრი, ბევრი წლის მძიმე შრომის და ბევრი ინვესტირების შემდეგ.
შეიძლება საბოლოოდ მივიღოთ შიმპანზეს დონის ხელოვნური ინტელექტი.
შემდეგ კიდევ უფრო მეტი წლის და ძალიან მძიმე შრომის შემდეგ,
მივიღებთ სოფლელი იდიოტის დონის ხელოვნურ ინტელექტს.
სულ ცოტა ხნის შემდეგ კი, ჩვენ უკვე ედ უიტენს გავცდებით.
მატარებელი არ ჩერდება "ადამიანის" სადგურზე.
უფრო სავარაუდოა, რომ ის მას ჩაუქროლებს.
ამას ღრმა შედეგები მოჰყვება.
კერძოდ, ძალასთან დაკავშირებულ საკითხებზე.
მაგალითად, შიმპანზეები ძლიერები არიან.
შიმპანზეები ჯანმრთელ მამაკაცზე დაახლოებით ორჯერ უფრო ძლიერები არიან.
ამის მიუხედავად კენზის და მისი მეგობრების ბედი,
უფრო მეტად ადამიანების ქმედებაზეა დამოკიდებული, ვიდრე თავად შიმპანზეების.
როცა გაჩნდება სუპერინტელექტი,
კაცობრიობის ბედი, შეიძლება სუპერინტელექტის ქმედებაზე გახდეს დამოკიდებული.
დაფიქრდით:
მანქანური ინტელექტი, კაცობრიობისთვის გამოსადეგი უკანასკნელი გამოგონება იქნება.
ამის შემდეგ, მანაქნებს გამოგონება ჩვენზე უკეთ გამოუვათ
და ისინი ამას ციფრული სისწრაფით გააკეთებენ.
ეს ფაქტიურად მომავლის ტელესკოპირებაა.
დაფიქრდით ყველა გიჟურ ტექნოლოგიაზე რაც კი ოდესმე წარმოგიდგენიათ,
რომ ადამიანს შეეძლო საკმარისი დროის შემთხვევაში შეექმნა:
დაბერების საწინააღმდეგო წამალი, კოსმოსის კოლონიზაცია,
თვითგამრავლებადი ნანობოტები, ან ტვინის კომპიუტერში ატვირთვა.
ყველა სახის მეცნიერული ფანტასტიკა,
რომელიც თავსებადია ფიზიკის კანონებთან.
ამ ყველაფრის შექმნა სუპერინტელექტს საკმაოდ სწრაფად შეეძლება.
მსგავსი ტექნოლოგიური სიმწიფის სუპერინტელექტი,
მეტისმეტად ძლევამოსილი იქნება
და მინიმუმ რაღაც სიტუაციებში შეეძლება მიიღოს ის რაც უნდა.
შესაბამისად ჩვენ გვექნება მომავალი, რომლსაც ხ.ი.-ის სურვილები განაპირობებს.
კარგი კითხვაა: რა არის მისი სურვილები?
აქ ყველაფერი რთულდება.
ამაში რომ გავერკვეთ,
პირველ რიგში ანთროფომორფიზმისგან უნდა გავთავისუფლდეთ
ეს ირონიულია, რადგან გაზეთის ყველა სტატიას ხ.ი.-ზე,
ეს სურათი აქვს.
ამიტომ ვფიქრობ პრობლემა უფრო აბსტრაქტულად უნდა გავიაზროთ
და არა კაშკაშა ჰოლივუდის სცენარის მიხედვით.
ინტელექტზე როგორც ოპტიმიზაციის პროცესზე უნდა ვიფიქროთ.
პროცესზე, რომელიც მომავალს გარკვეული კონფიგურაციისკენ მიაქანებს.
სუპერინტელექტი ძალიან ძლიერი ოპტიმიზაციის პროცესია.
ის ძალიან ძლიერია არსებული საშუალებების
საკუთარი მიზნების რეალიზაციისთვის გამოყენებაში.
ეს ნიშნავს, რომ აუცილებელი არ არის არსებობდეს კავშირი
ამ გაგების მაღალ ინტელექტსა
და ისეთ მიზნებს შორის, რომელიც ადამიანისთვის ღირებულია და გასაგები.
დავუშვათ ხ.ი. დავუსახეთ ამოცანა გააღიმოს ადამიანები.
როცა ხ.ი. სუსტია, ის სასარებლო, ან სახალისო ქმედებებს განახორციელებს,
რომელიც მომხმარებელს გააცინებს.
როცა ხ.ი. სუპერინტელექტი გახდება,
ის გაიაზრებს, რომ ამ მიზნის მიღწევის უფრო ეფექტური გზა არსებობს:
აკონტროლო მსოფლიო
და ადამიანის სახის კუნთებში ელექტროდები ჩანერგო,
რომლებიც მუდმივად ღიმილს გამოიწვევენ.
სხვა მაგალითი:
დავუშვათ ხ.ი. მივეცით დავალება ამოხსნას რთული მათემატიკური ამოცანა.
როცა ხ.ი. სუპერინტელექტი იქნება,
ის მიხვდება, რომ ამ ამოცანის ამოხსნის ყველაზე ეფექტური გზა,
არის პლანეტის გიგანტურ კომპიუტერად გარდაგქმნა,
იმისთვის რომ მისი აზროვნების უნარი გაიზარდოს.
დააკვირდით, რომ ეს ხ.ი.-ს მისცემს ინსტრუმენტულ საფუძველს
რომ გაგვიკეთოს ისეთი რაღაც, რასაც შეიძლება არ დავეთანხმოთ.
ამ მოდელში, ადამიანები საფრთხეს წარმოაგდენენ.
ჩვენ შეიძლება მათემატიკური ამოცანის ამოხსნას ხელი შევუშალოთ.
რა თქმა უნდა, ყველაფერი ზუსტად ასე არ წარიმართება;
ეს კარიკატურული მაგალითებია,
მაგრამ აქ ზოგადი აზრია მნიშვნელოვანი:
თუ თქვენ შექმნით ძალიან ძლევამოსილ ოპტიმიზაციის პროცესს,
x მიზნის მიღწევის მაქსიმიზებისთვის,
უმჯობესია დარწმუნდეთ, რომ x-ის თქვენეული განმარტება
მოიცავს ყველაფერს რაც თქვენთვის ღირებულია.
ეს ის გაკვეთილია, რომელიც ბევრ მითშიც გვხვდება.
მეფე მიდასს სურს, რომ ყველაფერი რასაც ეხება ოქროდ იქცეოდეს.
ის ეხება საკუთარ ქალიშვილს და ის ოქროდ იქცევა.
ის საჭმელს ეხება და საჭმელი ოქროდ იქცევა.
ეს შეიძლება არა მხოლოდ როგორც სიხარბის მეტაფორად გამოგვადგეს,
არამედ პრაქტიკაშიც აქტუალიზდეს,
როგორც იმის ილუსტრაცია,
თუ რა მოხდება, როცა თქვენ ძლევამოსილ ოპტიმიზაციის პროცესს შექმნით
და დაუსხავათ მას არასწორ, ან ცუდად განსაზღვრულ მიზნებს.
თქვენ შეიძლება თქვათ, რომ თუ კომპიუტერი ხალხის სახეებში ელექტროდების ჩასმას იწყებს
ჩვენ მას უბრალოდ გამოვრთავთ.
ა) ეს არც ისე იოლია, თუ ჩვენ უკვე სისტემაზე დამოკიდებული ვართ.
როგორც მაგალითად, სად არის ინტერენტის გამომრთველი ღილაკი?
ბ) რატომ არ დააჭირეს შიმპანზეებმა ადამიანის გამომრთველ ღილაკს,
ან ნეადერტალელებმა?
მათ ამის მიზეზი ნამდვილად ჰქონდათ.
ჩვენ გვაქვს გამორთვის ღილაკი, მაგალითად აქ.
(თავს იხრჩობს)
მიზეზი ის არის, რომ ჩვენ ინტელექტუალური მოწინააღმდეგე ვართ;
ჩვენ შეგვიძლია საფრთხეების განჭვრეტა და შემოვლითი გზების დაგეგმვა.
ასევე შეუძლია სუპერინტელექტუალურ აგენტს
და ის, ჩვენზე ბევრად უკეთესი იქნება ამაში.
მთავარია, რომ არ უნდა ვიყოთ დარწმუნებული, რომ ყველაფერს ვაკონტროლებთ.
რის შედეგადაც შეიძლება საქმე გავიადვილოთ,
მაგალითად ხ.ი.-ის ყუთში ჩადებით.
უსაფრთხო პროგრამული გარემოს მსგავსში.
ვირტუალური რეალობის სიმულაციისმაგვარში, რასაც ის თავს ვერ დააღწევს,
მაგრამ რა დარწმუნებულები ვართ, რომ ხ.ი. ხარვეზს ვერ აღმოაჩენს.
იმის გათვალისწინებით, რომ ადამიანი ჰაკერებიც კი მუდმივად პოულობენ ხარვეზებს.
ვიტყოდი, რომ ძალიან დარმწუნებულები არ უნდა ვიყოთ.
ვთქვათ გამოვაერთეთ ინტერნეტის კაბელი საჰაერო დაბრკოლების შესაქმნელად,
მაგრამ ადამიანი ჰაკერებიც კი ძლევენ რეგულარულად
საჰაერო დაბრკოლებას, სოციალური ინჟინერიის გამოყენებით.
ახლა, ჩემი საუბრის დროსაც,
დარწმუნებული ვარ სადღაც არსებობს ვიღაც თანამშრომელი,
რომელიც დაარწმუნეს, რომ მისი პაროლი გაეთქვა,
ვიღაც ვითომ აი-თი განყოფილების თანამშრომლისთვის.
უფრო შემოქმედებითი სცენარებიცაა შესაძლებელი.
თუ თქვენ ხ.ი. ხართ,
შეგიძლიათ მოძრავი ელექტროდები წარმოიდგინოთ თქვენი შინაგანი სქემის გარშემო,
რომლითაც რადიო ტალღებს შექმნით კომუნიკაციისთვის.
ან შეიძლება გაუმართავობის სიმულირება გააკეთოთ
და შემდეგ როცა პროგრამისტი გაგხსნით, რომ ნახოს რაშია საქმე,
ჩახედავს კოდებს.. და ბამ!..
უკვე შესაძლებელია მანიპულაცია.
ან ხ.ი.-ს შეუძლია ძალიან მახვილგონივრული ტექნოლოგიის ინსტრუქცია დაბეჭდოს
და როცა მის რეალიზაციას გავაკეთებთ,
ამას ის ფარული შედეგები მოჰყვება, რაც ხ.ი.-მა დაგეგმა.
მთავარი აზრი იმაშია, რომ ჩვენ დარწმუნებული არ უნდა ვიყოთ საკუთარ უნარებში,
რომ შევძლებთ სუპერინტელექტი ბოთლში სამუდამოდ გამოვკეტოთ.
ადრე თუ გვიან, ის გამოვა.
ვფიქრობ პასუხი იმის გარკვევაშია,
თუ როგორ შევქმნათ ისეთი ხ.ი., რომელიც უკონტროლოც რომ გახდეს,
მაინც უსაფრთხო იქნება, რადგან ჩვენს მხარეზე იქნება,
იმიტომ რომ ჩვენს ღირებულებებს იზიარებს.
ამ რთული პრობლემის გვერდის ავლის გზას მე ვერ ვხედავ.
ზოგადად საკმაოდ ოპტიმისტი ვარ და მგონია, რომ ეს პრობლემა გადაწყვეტადია.
არ გვჭირდება ჩვენთვის ღირებული რამეების გრძელი სიის დაწერა,
ან უფრო უარესი, მათი პროგრამირების ენაზე კოდირება,
მაგალითად C++-ზე ან Python-ზე.
ეს უიმედო ამოცანა იქნებოდა.
ამის ნაცვლად ჩვენ შევქმნიდით ხ.ი.-ს, რომელიც თავის ინტელექტს,
ჩვენი ღირებულებების შესწავლაში გამოიყენებდა
და ისეთი მოტივაციური სისტემა ექნებოდა, რომ ის ჩვენი ღირებულებების მიდევნებით
იყოს მოტივირებული, ან ისეთი ქმედებებით, რომელსაც ჩვენ მოვიწონებთ.
ამ გზით, ჩვენ მის ინტელექტს მაქსიმალურად გამოვიყენებდით,
მასში ღირებულებების ჩატვირთვის პრობლემის მოსაგვარებლად.
ეს შეიძლება მოხდეს
და შედეგი ძალიან კარგი იქნებოდა კაცობრიობისთვის.
მაგრამ ეს ავტორმატურად არ მოხდება.
ინტელეტქის აფეთქებისთვის სწორი საწყისი პირობების
ზუსტი დაყენება შეიძლება გახდეს საჭირო.
თუ გვინდა, რომ აფეთქების პროცესი ვაკონტროლოთ.
ხ.ი.-ის ღირებულებები ჩვენსას უნდა ემთხვეოდეს,
არა მხოლოდ ნაცნობ კონტექსტში,
სადაც შეგვეძლება ადვილად შევამოწმოთ როგორ იქცევა ხ.ი.,
არამედ ყოველ ახალ კონტექსტში, რომელშიც ხ.ი. შეიძლება მოხვდეს
შემოუსაზღვრელ მომავალში.
ასევე არის რამდენიმე ეზოთერული პრობლემა:
მისი გადაწყვეტილებების თეორიის დეტალები,
როგორ მოვიქცეთ ლოგიკური გაურკვევლობის დროს და ა.შ.
ამ ტექნიკური პრობლემების გადაწყვეტა
საკმაოდ რთული ჩანს.
არა ისეთი რთული, როგორც სუპერინტელექტის შექმნა,
მაგრამ საკმაოდ რთული.
აი რაა სადარდებელი:
სუპერინტელექტუალური ხ.ი. შექმნა ძალიან მძიმე გამოწვევაა.
უსაფრთხო სუპერინტელექტუალური ხ.ი.-ის შექმნა
დამატებით გამოწვევებს გვთავაზობს.
არსებობს რისკი, რომ ვინმე პირველი გამოწვევის დაძლევას მოახერხებს,
მეორე გამოწვევის დაძლევის გარეშე, ანუ უსაფრთხოების უზრუნველყოფას
ვერ შეძლებს.
ამიტომ, ვფიქრობ კონტროლის პრობლემის გადაწყვეტა,
წინასწარ უნდა შევიმუშაოთ,
იმისთვის რომ ის მანამდე გვქონდეს, სანამ დაგვჭირდება.
შესაძლებელია კონტროლის პრობლემა, წინასწარ სრულად ვერ მოვაგვაროთ,
რადგან ზოგი ელემენტის ინტეგრირება მხოლოდ მას შემდეგაა შესაძლებელი,
რაც მისი რეალიზაციის ადგილის არქიტექტურა გვეცდონება,
მაგრამ რაც მეტად გადავწყვეტთ კონტროლის პრობლემას წინასწარ,
მით მეტი შანსია, მანქანური ინტელექტის ხანაზე გადასვლამ,
უმტკივნეულოდ ჩაიაროს.
ეს ძალიან ღირებულ რამედ მეჩვენება
და წარმომიდგენია, რომ თუ ყველაფერი კარგად წარიმართა,
მილიონი წლის შემდეგ ადამიანები უკან ჩვენს საუკუნეს რომ შეხედავენ,
შეიძლება თქვან, რომ ერთი მართლაც მნიშვნელოვანი რამ,
რაც სწორად გავაკეთეთ, ზუსტად ეს იყო.
მადლობა.
(აპლოდისმენტები)