Суббота, 18 ноября 2017

Екатеринбург: -3°

$ 59,63 Стоимость продажи доллара Официальный курс ЦБ РФ на 18.11.2017 € 70,36 Стоимость продажи евро Официальный курс ЦБ РФ на 18.11.2017
Brent 53,03$ Стоимость барреля нефти, в долларах. По данным Finam.ru Квартиры 66 134₽ Средняя стоимость одного квадратного метра на вторичном жилом рынке Екатеринбурга. Данные: Уральская палата недвижимости / upn.ru
Ключевая ставка: 8,25% По данным ЦБ РФ.

Суббота, 18 ноября 2017

Екатеринбург: -3°

$ 59,63 Стоимость продажи доллара Официальный курс ЦБ РФ на 18.11.2017 € 70,36 Стоимость продажи евро Официальный курс ЦБ РФ на 18.11.2017
Brent 53,03$ Стоимость барреля нефти, в долларах. По данным Finam.ru Квартиры 66 134₽ Средняя стоимость одного квадратного метра на вторичном жилом рынке Екатеринбурга. Данные: Уральская палата недвижимости / upn.ru
Ключевая ставка: 8,25% По данным ЦБ РФ.

Суббота, 18 ноября 2017

Екатеринбург: -3°

$ 59,63 Стоимость продажи доллара Официальный курс ЦБ РФ на 18.11.2017 € 70,36 Стоимость продажи евро Официальный курс ЦБ РФ на 18.11.2017
Brent 53,03$ Стоимость барреля нефти, в долларах. По данным Finam.ru Квартиры 66 134₽ Средняя стоимость одного квадратного метра на вторичном жилом рынке Екатеринбурга. Данные: Уральская палата недвижимости / upn.ru
Ключевая ставка: 8,25% По данным ЦБ РФ.

Интеллекция Андрея Себранта

Нет времени читать всё — прочитайте краткий конспект лекции.

Дисклеймер: эта лекция будет немного странной. Она должна быть в каком-то смысле итоговой, поэтому я буду чуть-чуть касаться вещей, в которых я слаб и которые далеко не моя специальность. Когда речь идёт про что-нибудь в жизни, можно говорить про личную жизнь, про общественную, социальную, профессиональную. Моя тема — карьера, бизнес, будущее специальностей, поэтому я буду говорить о том, как в этом аспекте своей жизни не оказаться в каком-нибудь неправильном месте.

Сотрудникам технологических компаний — «Яндекса», Mail.Ru, Parallels, IBM, откуда угодно — легко говорить о будущем. Технологические компании во многом формируют это будущее своей деятельностью.

Когда я готовился к этой лекции, мне на глаза попалась свежая, августовская обложка журнала Economist с потрясающей картинкой дохлого двигателя внутреннего сгорания. Оказалось, что сейчас происходит перестройка огромной отрасли промышленности — автопрома и всего, что вокруг него. Где двигатели внутреннего сгорания, там и топливо для них, а это колоссальная интереснейшая отрасль нефтехимии и инфраструктура, выросшая вокруг неё, от танкеров до нефтеперегонных заводов, и автозаправок, и снабжения этих автозаправок, трубопроводный транспорт… На протяжении как минимум столетия всё, связанное с двигателями внутреннего сгорания, было воплощением смелых идей и передовой инженерной мысли. Но теперь это всё потихоньку умирает. Выпуск двигателей внутреннего сгорания прекратится до 2050 года. А это значит, что должна перестроиться инфраструктура, должна перестроиться обслуживающая наука. Но прямо сейчас ребятишки мечтают, что они будут проектировать огромные ревущие двигатели гоночных машин. Вузы готовят специалистов в разработке этих двигателей, наука занимается их совершенствованием. Все они работают на обречённую отрасль.

И это происходит не первый раз в истории. На рубеже века точно то же самое было с наукой и технологиями вокруг обработки фото- и киноплёнок. Ещё в начале века на Kodak, на крупнейшую корпорацию, работали целые научные центры, не говоря уже про соответствующие кафедры и вузы. Это не помешало «Кодаку» успешно умереть.

И ладно бы только двигатели. Я за пять минут набросал список из шести отраслей, в которых за 10-20 лет всё кардинально изменится. И этот список не исчерпывающий, это то, что сразу приходит в голову.

Но вернёмся к тому, о чём я больше всего люблю рассказывать, — к машинному интеллекту. То, что произошло всего за год, — хороший пример темпов, радикальности и неожиданности перемен.

Эта картинка, которую нарисовал прекрасный Кирилл Анастасин. Это не единственная причина, по которой роботы нас не заменили.

Если же серьёзно, в течение этого года резко начала смещаться граница в головах людей, которая разделяет способности, свойственные только нашему интеллекту, и то, что можно отдать машинам.

Давайте начнём даже не с искусственного интеллекта, а с вполне физических возможностей человека. Когда-то способность донести весть, пробежав 42 километра марафона, была важна для людей, потому что другого способа передавать информацию не было. Сейчас бег точно не является решением технической задачи донести сообщение через десяток километров. Что не мешает увлекаться марафонским бегом такому количеству людей, которое Древней Греции и не снилось. Люди не перестали бегать, хотя это стало технологически ненужно и не решает никакие общественные задачи. Просто мотивация стала другая.

Это же справедливо и для других областей человеческой деятельности. В первую очередь пострадали шахматы. На сайте Electronic Frontier Foundation есть интересный материал с метриками, которые показывают, как в разных областях машины отвоёвывали позиции у человека. В середине прошлого века возникла идея, что машина может неплохо имитировать человеческий интеллект, и тогда же начали появляться программы, играющие в шахматы. С 80-х годов эти программы стали всерьёз играть на недетском уровне, но до уровня лучших игроков, чемпионов мира им было далеко.

Потом появился Deep Blue, который в 1997 году обыграл Каспарова. На этом прогресс не остановился. И в какой-то момент оказалось, что машины играют в шахматы на таком уровне, который человеку даже не снился. Что ни разу не убило чемпионаты мира по шахматам. Мы не соревнуемся с рациями в скорости доставки информации на 42 километра, но люди на олимпиадах всё равно бегают марафонскую дистанцию, потому что им интересно сравниться друг с другом. И в шахматах появились две лиги: машины играют сами с собой, а люди — сами с собой, забыв о том, что ни один из них никогда не обыграет машину.

Победа машины над человеком в шахматы, конечно, вызвала шок, но не такой большой, как когда машинки начали хорошо играть в го. Почему? Потому что было известно, как играл Deep Blue. Шахматы — игра, просчитываемая до конца, там не такое большое количество позиций плюс известные стратегии. До 90-х компьютеры не выигрывали у человека только потому, что вычислительных мощностей не хватало. Прогресс железа и софта привёл к тому, что на рубеже веков стало возможно просчитать оптимальную партию. С этого момента выиграть у машины нельзя: просто она может просчитать столько, сколько не просчитает ни один шахматист, а человеческая интуиция перестала играть роль, потому что с той стороны — просчитанные, заведомо оптимальные решения. Это, что называется, брутфорс — просто больше вычислительных мощностей, и ничего более. Машина тупо может быстро и считать.

Когда машины начали хорошо играть в шахматы, для людей, занимающихся машинным интеллектом, возник следующий, казалось бы, далёкий предел — игра в го. В го количество возможных ходов на много порядков превышает число атомов во Вселенной. Это несчитаемая игра, и брутфорсом её взять невозможно. Для этой игры не существует учебников. В неё надо погружаться. И как человек, хорошо погрузившийся в музыку, начинает чувствовать прелесть сложной классической музыки, так и человек, погрузившийся в го, начинает чувствовать гармонию позиций, правильность следующего хода, удивительность хода противника. И всё это выражается в совсем не количественных формулировках, которые, казалось бы, машине невозможно объяснить.

В 2014 году в прогрессивном технологическом журнале эксперт пишет: оценка, что через десять лет компьютер победит человека в го, кажется слишком оптимистичной. А сами игроки вообще считают, что это не машинная задача. При этом в начале 2014 года ребята из британской компании Deep Mind, купленной Google, начали работать над проектом AlphaGo. Они, может, и читали эту статью, но пока эксперт предсказывал будущее, они это будущее строили.

В 2015 году, когда AlphaGo уже на равных играл с европейскими чемпионами, другой эксперт написал, что игра в го по-прежнему ставит компьютеры на место, потому что там нужна интуиция и другие непрограммируемые человеческие качества.

Через несколько месяцев после этого, в начале 2016 года случился знаменитый матч между корейцем Ли Седолем и AlphaGo. В матче из пяти партий Седоль выиграл одну, AlphaGo — четыре, и это было потрясение. После этого Всемирная федерация го приняла решение, что отныне на любых чемпионатах по го запрещено использование смартфонов, потому что кто знает с чем они там связаны в интернете. До этого они не волновались, а после AlphaGo заволновались.

Одновременно появилось огромное количество статей и мнений экспертов о том, что Ли Седоль был в условиях стресса, но одну партию всё-таки выиграл, и это даёт человечеству надежду.

В конце этого года в Москве пройдёт очередной фестиваль научно-популярного кино «360», который проводит Политехнический музей. На нём будет представлен документальный фильм, который называется AlphaGo. Я его смотрел, он мне жутко не понравился. Это фильм про то, как Ли Седоль отстаивает честь человечества в игре в го, а ребята, которые делали AlphaGo, там показаны как толпа ржущих программистов, тычущих пальцами в экран. На самом деле всё было немного не так, и интеллекта со стороны команды AlphaGo было вложено не меньше, чем со стороны Ли Седоля.

После Седоля китаец Ки Цзе, признанный лучшим в мире игроком в го, сказал: «Фигня! Я его, этот AlphaGo, сделаю». И имел неосторожность в мае этого года сыграть одну партию. Продул всухую.

Надо понимать, что алгоритмы, которые обыгрывают человека в го, учатся, играя сами с собой. Они не знают никаких стратегий, в них не заложено ничего, кроме формальных правил игры. Они играют сами с собой и поэтому самосовершенствуются непрерывно. Они быстро набирают такой опыт, который никогда не получит ни один человек. Когда машинка после победы над Ли Седолем играла с Ки Цзе, она сыграла ещё несколько миллионов партий сама с собой. Ки Цзе просто не понимал, что у него нет шансов. А ребята из AlphaGo после этого объявили, что закрывают проект, потому что дальше уже неинтересно. И опубликовали самые лучшие партии из сыгранных AlphaGo с самой собой, чтобы все могли насладиться го нечеловеческого уровня. У меня есть пара знакомых — болельщиков го, они говорят, что это действительно что-то небесное.

После этого пошли разговоры про покер — это ещё одна игра, которая считается недоступной машинам, потому что там надо хитрить и жульничать, это очень человеческая игра. Итог понятен. Причём машине даже не показывали лучшие партии в покер, а просто дали правила и сказали: «Поиграй сама с собой, а потом сыграешь с лучшими покеристами мира».

Ну а совсем недавно, в августе, бот, то есть очередная программка с машинным интеллектом, обыграл живого игрока в Dota 2. Опять же, говорили, что он победил, потому что играли один на один, а ведь «Дота» — это командная игра, и вот команда на команду машины никогда не победят. Конечно, просто следующее, чему будет учиться команда ботов, — играть друг с другом, команда на команду.

Машины быстро вырабатывают качества, которые считаются человеческими: умение договариваться, интуицию и прочее. «Вырабатывают» значит, что их никто не программирует. И вот тут людей начинает клинить.

Мы в «Яндексе» решили пойти другим путём и не экспериментировать с играми, а посмотреть, могут ли современные способы машинного обучения решать творческие задачи, которые считаются сугубо человеческой прерогативой. Оказалось, что могут.

Самое ценное для меня в этом ролике — мнение Маши Черновой. Написать нейронной сеточкой что-то, что понравится нам, технарям — ну окей, сами себя порадовали. Но что скажут эксперты? Примут за своего или не примут. Приняли.

Конечно, есть и другая точка зрения. Есть люди, которые по-прежнему говорят: нет, я сразу чувствую, что это писал не человек! Возможно.

Мы убедились, что возможно интересное творческое партнёрство. Можно прийти не куда-нибудь, а в музей Скрябина, с тем, что написала нейросетка под руководством Вани и Лёши, а люди из музея Скрябина найдут живых композиторов, пригласят Петю Термена — правнука Льва Термена, который изобрёл терменвокс. Все они дико влюбляются в это дело и ради выступления на конференции «Яндекса» собираются, репетируют и играют эту музыку. Это хорошая иллюстрация того, как люди и машины работают вместе, решая творческую задачу.

В процессе работы Ване и Лёше пришлось написать научную статью, в которой они описали изобретённый ими автоэнкодер. Во введении есть интересная фраза о том, что задачи, которые считались сугубо человеческими, потому что в них велика творческая или интуитивная компонента, всё больше становятся доступны алгоритмическим решениям, и музыка лишь один пример из многих.

Но креативный или интуитивный характер задач — это не только музыка, это огромное количество других отраслей: и классическое творчество, и хороший бизнес, и честный маркетинг.

Почему история про самообучение машин так задевает людей? Потому что надо как-то привыкнуть жить с той мыслью, что компьютер — это не просто железка с софтом, которой ты должен дать пошаговую инструкцию, что делать. Слом в мозгах происходит в тот момент, когда становится понятно, что с машиной можно разговаривать по-другому. Окей, не с машиной — с программистом. Не — «У меня есть последовательность действий, закодируй её», а — «У меня есть задача, пусть машина сама научится её решать, хотя я понятия не имею, как это делать».

Тут нужны данные для обучения. И, наверное, самый классический, кочующий из одной научно-популярной статьи в другую пример — это коты и собаки.

У вас есть проблема с ответом на вопрос, где изображён кот, а где собака? Наверняка нет. Кто может описать, как он пришёл к этому решению?

Зритель: У пса длинный нос, у кота плоский нос. У кота усы…

Андрей Себрант: Давайте начнём с носа. А если это мопс? Он сразу кот?

Зритель: Нет.

АС: Усы. У моих друзей ребёнок побрил кота, сбрил ему усы. Перестал ли кот при этом быть котом?

Зритель: Наверное, форма носа?.. У кота треугольный, у собаки круглый или прямоугольный. Форма зрачка.

АС: Та-ак. Про форму зрачка мне нравится. Представьте, что вы должны объяснить это программисту. Как он должен объяснить программе, что такое зрачок?

Голос из зала: Надо загрузить учебник биологии!

АС: Загрузить учебник биологии, выделить круглые объекты. Вы правда, когда взглянули на картинку, проделали в голове эти действия?

Зритель: Мы же учились…

АС: Вы учились! Это ключевое. Когда вы были детьми, вам родители не рассказывали про форму носа у кота и собаки. Они говорили: «Вот это собачка, а это кошечка». И в итоге у вас как-то получилось их различать.

(Смех, аплодисменты в зале)

Вот ещё один график с сайта Electronic Frontier Foundation. Это процент ошибок при работе программы на огромной базе изображений, где программа должна сказать, что изображено на картинке. Ещё не так давно, в 2011 году программа ошибалась в 25 % случаев. Человек на этом датасете всегда врёт в пяти процентах случаев. А сейчас машинка врёт реже.

Как этого добились? Да просто: машинке показали миллион котов, протегированных котами, и миллион собак, протегированных собаками. Это классический вариант обучения с подкреплением: машинка что-то отвечает, ей говорят, что это правильно, а в следующий раз машинка врёт, и ей говорят — нет, неправильно. После некоторого количества итераций она перестаёт врать.

Ещё один пример, который я очень люблю. Как учит новый язык ребёнок, когда его перевозят в другую страну? Его же не заставляют заканчивать филфак или изучать теоретически структуру времён и падежей. Он просто начинает трепаться со сверстниками и через некоторое время говорит лучше, чем человек, прошедший через нашу систему традиционного образования. У нас же система изучения языка основана на том, что ты должен просечь теорию: сколько в языке времён, как организованы неправильные глаголы и склонения… Но неужели для того, чтобы нормально говорить, нужно филологическое образование? Да просто говорить надо больше!

Почему же мы считаем, что машина должна жить в этой модели, что сначала ей надо задать все правила? Современную программу можно заставить жить по тем правилам, по которым живёт ребёнок, погружённый в новую языковую среду. На этом сейчас работают все современные системы машинного перевода. И они всё время улучшаются — не за счёт того, что им дописывают теорию, а за счёт того, что они всё время учатся.

У меня есть рабочая гипотеза о причине, по которой многие сопротивляются самой мысли, что машинка может учиться как ребёнок. Гипотеза состоит в том, что у нас сильный встроенный антропоцентризм. Мы самая высокая ступень эволюции, а всякие машины ниже нас, они не могут превосходить нас в том, что касается мозгов, потому что именно мозги делают нас особенными. Но я спрашиваю: почему? Кто сказал, что мы венец творения? А может, мы промежуточная стадия для создания машинного сверхинтеллекта? В ответ — ровно те же аргументы, которые в догалилеевские времена приводили в защиту геоцентрической схемы. Видно, что Солнце встаёт и ходит по небу, видно, что есть неподвижные звёзды, видно, что планеты циркулируют сложным образом. Эта модель держалась веками и считалась глубоко научной, потому что этому учил весь человеческий опыт. С антропоцентризмом, видимо, примерно так же.

И это выливается в странные вещи, в частности бизнесовые. Классическое представление о том, как выглядит взаимодействие человека и машины в информационном обществе, — это телепорт в фильме «Особое мнение»: интерфейс, пальчиками двигаешь, и всё меняется. Но в кино это выглядит так, а в жизни — совсем по-другому. На этой картинке учёный — data-scientist говорит: «После внимательного рассмотрения всех этих 437 графиков, таблиц и метрик я решил сдаться, пойти за выпивкой и нажраться. Кто со мной?». Абсолютно правильное описание реальности.

Это происходит потому, что традиционно считается, что данные должны быть преобразованы в человекочитаемый вид, чтобы человек принимал решения, чтобы у него в голове возникали инсайты. Так построено современное производство. Считается, что в информационном обществе идеал структурного производства выглядит так: есть внешний мир — люди, заводы, умные дома, что хотите, — который генерит огромное количество данных. Страшно умные алгоритмы преобразуют эту информацию в человекочитаемый вид. Дальше человек силой мысли принимает решение, которое другой человек, программист, воплощает в некие цифровые решения, которые что-то меняют в этом мире: подстраивают производственный цикл, перераспределяют потоки продуктов в магазины, подстраивают температуру дома.

Но когда есть повторяющиеся слегка варьируемые ситуации, гораздо лучше работает обучающийся на исторических данных алгоритм. И во всё большем количестве производств человек лишний, он ошибается чаще.

При этом возможность поместить в схему умную машину становится доступна всем по причине того, что произошла революция, которую вообще никто не заметил, — революция опенсорса. Алгоритм, который умеет учиться, ещё десятилетие назад считался бы главным коммерческим секретом компании, а теперь его выкладывают в открытый доступ. Google выложил свой TensorFlow, это прекрасный, великолепный алгоритм обучения, использующий глубокие нейронные сети. Пару месяцев назад «Яндекс» выложил свой CatBoost — алгоритм, использующий градиентные бустинги и хорошо работающий на промышленных задачах. Для того чтобы начать ими пользоваться, нужен программист среднего класса, а не команда компьютерных гениев. Microsoft описывает это термином «демократизация технологий» — по-моему, очень правильно.

Всё это привело к тому, известная компания McKinsey, которая занимается промышленным консалтингом, опубликовала текст, в котором написала с американской политкорректностью: «Использование человека в цикле принятия решений становится непрактичным».

Этот слайд я показывают с 2015 года.

Сначала надо мной смеялись, теперь смеются меньше. Если человек приходит обучаться и говорит: «Расскажите мне алгоритм, по которому надо работать», то лучше бы он шёл заниматься чем-нибудь ещё. Человек, который что-то умеет делать по алгоритму, обречён, потому что алгоритму проще обучить любую машину.

И совсем коротко — примеры. В выплавке современной стали постоянно используется чуть-чуть разное сырьё, потому что сталеплавильное производство получает металлический лом, который сегодня привезли из одного города, где сломали чугунную ограду, а завтра — с какой-нибудь автомобильной свалки, где лежат мятые автомобильные кузова. Это разный по составу металл, поэтому в процессе надо добавлять разные легирующие добавки, чтобы на выходе получилась сталь требуемых характеристик. Для этого опытнейшие технологи, знающие теорию металлургического производства, имеющие колоссальный жизненный опыт, с помощью знаний и чуйки каждый раз подбирают новый режим. Но поскольку эти производства хорошо автоматизированы, на них ведётся запись всего, что когда-то привозили, решений, которые принимали технологи, и что получилось на выходе. Оказалось, что если на этом обучить машинку и попросить ей минимизировать расходы — количество брака и количество дорогих ферросплавов, — она будет работать лучше любого самого опытного и одарённого технолога.

Другой, смешной пример. Модератор — человеческая роль. Клиентом в этом случае была уважаемая сеть знакомств. У неё был огромный штат индусов, которые должны были модерировать аватарки пользователей так, чтобы там не было обнажёнки и неприличия и чтобы это не были фотки знаменитостей. Если обучить индусов отличать порнуху ещё как-то удалось, то заставить их знать всех знаменитостей — ну никак. Они часто ошибались. Понятно, что для нейросетки, которая умеет распознавать образы и отличать не только кошку от собаки, но и одну актрису от другой, это тривиальная задача. Индусов освободили. Время модерации резко сократилось, что подняло пользовательские характеристики сети, а качество модерации резко повысилось. Правда, индусы остались без работы.

Гораздо менее смешной пример — из медицины. Не так давно в США для диагностики нескольких типов рака кожи разрешили применять хорошо обученную нейронную сеть. Она ошибается реже, чем самые опытные дерматологи. И это только первый звоночек, потому что на анализе изображений основано 90 процентов медицинской диагностики, будь то рентгенограмма, УЗИ или что-то ещё. Есть огромное количество визуальной информации, на которой можно обучить машинку, и она начнёт видеть то, что врач пропускает. Другое дело, что люди хотят слышать свой диагноз от врача, и поэтому возникает чисто психологическая история про то, как врач и машина должны работать вместе.

Ещё один пример, которого год назад ещё не было. Albert — маркетинговая платформа полного цикла. Он делает практически всё. Многие компании говорят, что пользуются искусственным интеллектом, но Cosabella, марка нижнего белья, вообще выгнала весь свой отдел маркетинга и доверила «Альберту» вести маркетинг компании. В Cosabella говорят, что надо отличать компании с искусственным интеллектом, который даёт им только инсайты, и компании, где вместо маркетолога решения принимает хорошо обученная сеть.

Специальностей, которые может заменить нейросеть, очень много. Мне жутко понравилась история, которую мы обсуждали в Берлине: переработка мусора. Оказалось, что это огромная проблема. Сейчас сортировку мусора не везде удаётся внедрить, потому что его дорого перерабатывать, экономика не замыкается, нужны субсидии. Проблема в том, что мусор всегда немного разный, а если из него надо что-то делать, он должен быть с фиксированными характеристиками. Узнаёте картинку? Это как с металлургией, где всё время немножко разный лом. Обученная машинка позволяет сделать переработку мусора экономически выгодной. И это неплохое решение задачи переработки мусора, над которой бьётся человечество.

Вопрос, который всегда задают на лекции о машинном интеллекте: мы вместе с технологиями, или они вместо нас? Когда как! Многие рутинные задачи — вместо: вместо технолога, ассистента врача, маркетолога. Но часто — вместе. Вместе с группой музыкантов, которые играли на открытии конференции «Яндекса», вместе с врачом, чтобы его рекомендации пациенту были максимально точны.

Я сформулировал четыре правила для человека после 2020 года. Самое главное, как мне кажется, первое. Об этом говорил Дима Песков из АСИ, когда выступал на этой сцене. У меня часто спрашивают, чему учить ребёнка. Ответ: учить учиться. Самые интересные профессии ещё даже не появились и им нельзя научиться сейчас. Но через десять лет это будет офигенно клёво. Десять лет назад не было профессии оператора беспилотника, а сейчас это классная работа и довольно массовая профессия, причём везде, от кинематографа до боевых действий.

В конце лекции я бы хотел порекомендовать две книжки. Одна из них переведена на русский язык, это книжка Кевина Келли «Неизбежно». Вторая вышла совсем недавно на английском; Надеюсь, что её когда-нибудь переведут на русский. Первая книжка больше про жизнь и про то, куда мы идём. Вторая написана двумя экономистами и касается чисто экономических и бизнесовых влияний трёх, как считают эти экономисты, главных тенденций: машин и машинного обучения, платформ как сущности, которая определяет современную экономику, и всевозможного краудсорсинга в широком смысле этого слова. И вот эти три новых сущности изменят экономику в ближайшие несколько лет.

Наш сайт собирает ваши метаданные (cookie, данные об IP-адресе и местоположении). Это нужно для его работы. Если вы против этого, то вам нужно покинуть сайт.

Принять и закрыть
×
×
Наверх^^