Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Семейство суперкомпьютеров СКИФ в этом году пополнится экспериментальным образцом белорусского офисного суперкомпьютера.

Объединенный институт проблем информатики Национальной академии наук Беларуси (ОИПИ) работал над высокопроизводительной вычислительной системой практически два года и в апреле готов презентовать отечественный образец на выставке ТИБО.

Как офисный суперкомпьютер будет справляться с триллионами операций в секунду и в чем ноу-хау белорусских ученых — в репортаже БЕЛТА.

Как рождаются титаны в мире компьютеров

В Беларуси суперкомпьютеры начали разрабатывать в 2000 году по союзной программе СКИФ (СуперКомпьютерная инициатива Феникс). Одна из первых разработок сразу же попала на 98-ю строчку в топ-500 самых высокопроизводительных компьютеров в мире.

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Продолжением успешной инициативы стали программы СКИФ под шифрами Триада, Грид и Недра. Созданием офисного суперкомпьютера «СКИФ-ГЕО-ОФИС РБ» как раз и занимаются белорусские исполнители программы СКИФ-Недра. Он поможет решать инженерные, конструкторские, научные и научно-исследовательские задачи, где требуются параллельные вычисления.

Этап научно-исследовательских работ завершен, сейчас ученые заняты опытно-конструкторскими работами — созданием непосредственно образцов суперкомпьютеров и программного обеспечения.

Как собирают колоссы компьютерного мира? Заместитель генерального директора по научной и инновационной работе ОИПИ Сергей Кругликов показывает: все начинается с компоновки отдельного вычислительного узла. Его особенность — в уникальной системе охлаждения.

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFTMaingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

  • Заместитель генерального директора по научной и инновационной работе Объединенного института проблем информатики Сергей Кругликов

Процессор обычного компьютера имеет свойство нагреваться, а процессор для суперЭВМ делает это еще быстрее. В новой разработке используется отечественная система охлаждения на базе алюминиевых радиаторов со встроенными трубками отвода тепла.

«Тепло, которое отводится от процессора, равномерно распространяется по всей площади радиатора. Обычно он нагревается неравномерно, и устройству требуется дополнительная система охлаждения.

Наш процесс защищен, и даже при пиковой производительности температура не превышает 75 градусов», — поясняет Сергей Кругликов.

Далее вычислительные узлы собираются на специально изготовленном макете, или отладочном модуле. Это устройство позволяет протестировать два вычислительных узла, попросту говоря, их учат работать друг с другом и проводить параллельные вычисления, в чем и состоит одно из преимуществ суперкомпьютерных технологий.

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Протестированные и запрограммированные вычислительные узлы устанавливаются в корпус офисного суперкомпьютера. В нем помещаются 10 узлов, которые вместе дадут пиковую производительность не менее 10 Тфлопс, рассказывает начальник Республиканского суперкомпьютерного центра Александр Рымарчук.

Низкий уровень шумов и тепловыделения позволят разместить офисный суперкомпьютер в обычных офисах.

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

  1. Начальник Республиканского суперкомпьютерного центра Александр Рымарчук

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Разработчики обращают внимание, что это производительность именно экспериментального образца, с помощью которого проверят надежность и работоспособность всех элементов.

В будущем производительность может вырасти до 20 Тфлопс.

«Нам важно какое-то время поработать с экспериментальным образцом, чтобы отработать все технологические вопросы, которые возникают при попытке объединить в одном корпусе 10 узлов»,- говорит Сергей Кругликов.

СКИФы в поисках черного золота

Офисный СКИФ разрабатывался в первую очередь для геологов, он позволит им в буквальном смысле заглянуть в толщу земли и поможет в поисках новых месторождений нефти и газа. В ближайшей перспективе расчеты можно будет проводить непосредственно на месторождениях.

Суперкомпьютерные вычисления заметно сократят и время решения сложных задач по 3D-моделированию — вместо 48 часов необходимых ранее понадобится всего 7-8 минут. Сократятся и объемы разведочного бурения, а это тоже сэкономит деньги. Среди тех, кто скоро сможет оценить эти преимущества, — Минприроды, Научно-практический центр по геологии, ОАО «Беларуськалий».

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFTMaingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Принципиальный момент — для создаваемых суперЭВМ разрабатывается собственное программное обеспечение (ПО).

Это позволит достичь две основные цели: повысить эффективность сейсморазведки при поиске нефти и газа и «предсказывать» возможные обрушения горных пород при подземных работах. Для апробации ПО уже выбран нефтеперспективный район в Беларуси.

Александр Рымарчук объясняет, что самое дорогое в программном продукте — это его дальнейшее сопровождение и обновление. Поэтому импортное ПО в конечном итоге становится для пользователя очень дорогим продуктом.

«Кластерная архитектура является стандартной и использует стандартные компоненты, освоенные в промышленности, но программное обеспечение — это, конечно, ноу-хау.

Гигант BMW или производитель авиационных двигателей не отдадут нам свое ПО для отладки наших двигателей или других систем, — его надо писать самим.

Поэтому отрабатывается кластерная архитектура на стандартных решениях, но конструктивно-технологическое оформление электронных компонентов — отечественное, белорусское», — подчеркивает Александр Рымарчук.

Цену создаваемого персонального суперкомпьютера ученые пока не раскрывают, но говорят, что она будет доступной.

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

  • Исполнительный директор программы Союзного государства «СКИФ-Недра» Владимир Матюшенко, заведующий лабораторией высокопроизводительных систем Объединенного института проблем информатики Олег Чиж, начальник Республиканского суперкомпьютерного центра Александр Рымарчук

Благодаря высокотехнологичным разработкам в будущем появится единая интеллектуальная грид — среда недропользования Беларуси. Это позволит вести разработку «умного» месторождения.

«Мы стремимся к тому, чтобы используя отечественные суперкомпьютеры и программное обеспечение, перейти к созданию «умных» месторождений — это предполагает не только обработку данных, но и создание системы принятия решений, которая будет позволять прогнозировать наличие полезных ископаемых и возможное обрушение шахтных проходов», — поясняет Сергей Кругликов.

Читайте также:  Пролетарий. обзор центрального процессора amd athlon x4 860k

Изначально проект был ориентирован в первую очередь на нефтегазовый сектор, но суперкомпьютерная конфигурация кластерной архитектуры может решать задачи, связанные не только с геологоразведкой и геофизической информацией.

Она может применяться также в машиностроении для расчета динамики сложных металлоконструкций, в биоорганической химии — при моделировании лекарств.

Кроме того, она может решать задачи моделирования, которые требуют достаточно больших объемов памяти.

Благодаря развитию компьютерного моделирования и численного эксперимента появляется возможность моделировать сложные биологические структуры, имитировать взаимодействия систем, состоящих из молекул и атомов, анализировать возможные способы их взаимодействия, прогнозировать глобальные атмосферные явления и т. д.

В одном суперкомпьютере заложено 10 персональных серверов — это не просто персональный компьютер, а модель серверного типа, производительность которого значительно выше. При этом его энергопотребление составляет не более 600 Вт, в то время как обычного компьютера — как минимум 450 Вт. У суперкомпьютера есть собственная система защиты информации.

Задачи на суперЭВМ могут запускать одновременно несколько пользователей, причем экстремальной нагрузки техника не почувствует — архитектурой и ПО она ориентирована на решение задач нескольких пользователей. Причем они могут не находиться в этом же помещении, а иметь доступ к суперкомпьютеру удаленно через интернет.

При необходимости кластер можно скомпоновать с большим или меньшим количеством узлов или со специализированными вычислителями. Это позволяет поместить мощь суперкомпьютера в небольшое пространство и сделать его доступным по цене и простым в использовании.

Супервычисление в облаке

Помимо офисного варианта ученые работают над вычислительной установкой для центра обработки данных «СКИФ-ГЕО-ЦОД РБ», рассказывает заведующий лабораторией высокопроизводительных систем Объединенного института проблем информатики Олег Чиж.

ЦОД позволит решать задачи геологоразведки в удаленном режиме с помощью грид и облачных технологий.

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Пиковая производительность вычислительных установок «СКИФ-ГЕО-ЦОД» составит до 100 Тфлопс. Для сравнения: производительность первых белорусских суперкомпьютеров составляла 2 Тфлопс. При этом системы охлаждения и электроснабжения заметно усовершенствованы.

Суперкомпьютер уровня ЦОД работает в помещениях с кондиционерами и особым температурным режимом. Поэтому температура на входе в Республиканский суперкомпьютерный центр 20 градусов, но из-за мощных кондиционеров, которые работают здесь круглосуточно, создается впечатление, как будто здесь не выше пяти.

«Если на установках «СКИФ-ГЕО-ЦОД» мы отрабатываем саму методологию решения задачи максимально большой размерности, в максимально подробном состоянии, то на офисном компьютере мы можем решать задачи оперативного контроля.

Для отработки методологии моделирования производственного процесса, выполнения расчетов на рабочем месте используется офисный суперкомпьютер.

Такой подход оправдывает себя: модели «СКИФ-ГЕО-ЦОД» — для сложных вычислительных задач, офисные модели — для оперативного контроля на месте», — объясняет Олег Чиж.

Суперкомпьютерные ресурсы востребованы во всем мире, белорусским «СКИФ-ГЕО-ОФИС» уже заинтересовались за рубежом. «Мы идем в русле мировых тенденций.

Что касается непосредственно персонального суперкомпьютера, то такие параметры производительности являются оптимальными для выполнения заданных задач. Если бы задача стояла сделать его более производительным, это бы делалось.

Нынешняя производительность адекватна стоящим задачам», — считает Сергей Кругликов.

После тестирования экспериментального офисного суперкомпьютера к концу года будет изготовлен опытный образец, все комплектующие для которого уже закуплены. Приемочные испытания опытных образцов «СКИФ-ГЕО-ОФИС» и «СКИФ-ГЕО-ЦОД» намечены на 2018 год.

Фото Рамиля НАСИБУЛИНА и из архива БЕЛТА.-0-

Специалисты НАН Беларуси создали суперкомпьютер в рамках программы Союзного государства

18 Октября 2018 года Одна из целей суперкомпьютера – повысить эффективность поиска и разведки месторождений углеводородного сырья и других полезных ископаемых
Белорусские ученые из Национальной академии наук республики разработали и создали опытный образец персонального суперкомпьютера «СКИФ-ГЕО-Офис» в рамках программы Союзного государства «СКИФ-НЕДРА», говорится в сообщении официального сайта Постоянного Комитета Союзного государства. Изобретение предназначено для эксплуатации в структурных подразделениях (офисах) горно-геологической отрасли для выполнения высокопроизводительной специализированной обработки больших массивов геолого-геофизических данных. Одна из целей суперкомпьютера – повысить эффективность поиска и разведки месторождений углеводородного сырья и других полезных ископаемых. Кроме того, компьютер может использоваться как вычислительное средство для проведения сложных научных и инженерно-конструкторских расчётов в различных областях промышленности. В характеристиках суперкомпьютера создатели также обратили внимание на различные возможности использования компьютера, уникальную систему охлаждения, небольшие габариты, возможности вычисления двойной точности с плавающей точкой на CPU и GPU и многое другое. Ключевые слова: суперкомпьютерРоссияБеларусьСоюзное государствопрограмма Версия для печати Добавить в закладки Постоянная ссылка

Общество

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Педагогов и воспитанников Рижской академии радио и телевидения Academy KidsTV втянули в информационную войну только за то, что они приехали на «Славянский базар» и поговорили с Президентом РБ

Союзное государство

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Союзные депутаты обсудили финансирование действующих и новых интересных проектов

Читайте также:  Привет из Китая: блок питания HuntKey GS 550

Культура

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Культурная программа Союзного государства на «Славянском базаре» получилась невероятно насыщенной

Туризм

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

В Приволжье будут больше месяца отмечать двухсотлетие знаменитого гостиного двора

Трибуна депутата

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Спикер Госдумы, Председатель Парламентского Собрания Союза Беларуси посетил Луганск

Культура

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Культурная программа Союзного государства на «Славянском базаре» получилась невероятно насыщенной

Звезды

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Российский актер Марат Башаров освоил в Минске жанр оперетты

Спорт

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Министры спорта 33 стран состряпали очередной пасквиль против нас

Общество

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Педагогов и воспитанников Рижской академии радио и телевидения Academy KidsTV втянули в информационную войну только за то, что они приехали на «Славянский базар» и поговорили с Президентом РБ

Общество

Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Киев поставил на поток убийство мирных жителей неподконтрольных регионов с помощью западных союзников

Культура

Звезды, министры и  эксперты в области культуры договорились о новых российско-белорусских проектах

Общество

В центре внимания — оздоровление детей из России и Беларуси

Союзное государство

Союзные депутаты обсудили финансирование действующих и новых интересных проектов

Трибуна депутата

Спикер Госдумы, Председатель Парламентского Собрания Союза Беларуси посетил Луганск

Трибуна депутата

В кончине пленного наемника из Великобритании, который воевал на стороне ВСУ, британский МИД обвинил Россию

Персональный суперкомпьютер «Т-Платформы» поставлен в ННГУ

10 Января 2007 15:01 10 Янв 2007 15:01 |

Компания «Т-Платформы» объявила о первой в России и СНГ поставке персонального суперкомпьютера — полнофункционального кластерного комплекса для высокопроизводительных вычислений, который можно установить непосредственно на рабочем месте сотрудника. Программно-аппаратный комплекс T-Forge Mini на базе восьми двухъядерных процессоров AMD Opteron и операционной системы Microsoft Windows Compute Cluster Server 2003 поставлен в Нижегородский государственный университет. Кластер используется для исследований в области параллельных и грид-вычислений, квантово-химических расчетов, а также обучения студентов университета математическому моделированию с применением параллельных технологий.

T-Forge Mini был впервые продемонстрирован в конце сентября на открытии Центра компетенции в области высокопроизводительных вычислений на основе технологий Microsoft ННГУ, где решение тестировалось в течение двух месяцев.

Прежде чем принять решение о покупке системы, специалисты факультета вычислительной математики и кибернетики ННГУ провели сравнительный анализ производительности параллельных приложений с использованием Microsoft MPI и стандартной реализации MPICH2, который позволил сделать вывод о полном соответствии нового решения от Microsoft принятым международным стандартам. Об эффективности реализации Microsoft MPI также свидетельствует высокая реальная производительность T-Forge Mini на стандартном тесте Linpack, составившая 73% от пиковой. В данное время специалисты ННГУ проводят исследования возможностей Microsoft WCCS в работе с собственным программным пакетом MetaCluster, который позволяет управлять не только кластерными системами, но и распределенными грид-средами.

Персональный суперкомпьютер T-Forge Mini для ННГУ включает четыре вычислительных узла на базе восьми двухъядерных процессоров AMD Opteron 275 2.2 ГГц, объединенных сетью Gigabit Ethernet.

Объем оперативной памяти системы составляет 16 Гб; дисковая система включает 4 жестких диска с интерфейсом SATA общим объемом 490 Гб. Корпус T-Forge Mini, имеющий высоту всего 36 см, обеспечивает не только экономию рабочего пространства, но и комфортные условия работы благодаря низкому уровню шума — не более 45 dB.

Объем оперативной памяти T-ForgeMini может быть расширен до 64 ГБ, размер дискового пространства — до 3 ТБ. T-Forge Mini потребляет не более 1400 Вт электроэнергии, что обеспечивает оптимальную совокупную стоимость владения системы.

Персональный суперкомпьютер ННГУ работает под управлением ОС Microsoft Windows Compute Cluster Server 2003; управление заданиями и мониторинг системы осуществляется с помощью пакета Microsoft Compute Cluster Pack.

Персональный суперкомпьютер T-Forge Mini используется при выполнении многих образовательных и научных проектов.

Среди них одно из направлений Инновационно-образовательного проекта ННГУ на химическом факультете университета, целью которого является разработка новых многофункциональных материалов, в том числе нанокомпозитов, для микроэлектроники и нанотехнологий.

Квантово-химические расчеты с использованием высокопроизводительных вычислений позволяет специалистам ННГУ проводить контролируемый синтез макромолекул, количество электронов в которых может измеряться десятками и сотнями миллионов.

Как отметил Виктор Павлович Гергель, руководитель Центра компетенции, «появление на IT-рынке персональных кластеров, подобных T-Forge Mini, знаменует новый рубеж развития высоких технологий, когда преимущества параллельных вычислений становятся доступными очень широкому кругу потенциальных потребителей уже сейчас».

Причем речь идет не только о научном сообществе, но и о промышленности, медицине, финансовой сфере. Внедрение небольших, экономичных кластерных решений позволяет разработать методику применения параллельных вычислений для тех или иных прикладных задач, которые в будущем при необходимости будет легко перенести на более производительные кластеры». В будущем году ННГУ планирует покупку подобного персонального компьютера «Т-Платформы» на базе четырехъядерных процессоров Intel.

Кибербезопасность КИИ: от теории к практике

Защита данных Maingear включает Radeon HD 5970 в опции “персонального суперкомпьютера” SHIFT

Высокий интерес пользователей к мини-кластерам позволил компании «Т-Платформы» расширить линейку подобных решений. В текущем году она пополнится персональным суперкомпьютером T-Edge Mini c поддержкой двух-, четырех- или десятиядерных процессоров Intel Xeon.

Т-Edge Mini с максимальной пиковой производительностью в 297 гигафлоп при высоте корпуса всего 53 см является несравнимо более компактным и экономичным аналогом 20-узловой кластерной системы на базе одноядерных процессоров, занимающей целую стойку высотой более 2 м.

Читайте также:  Цветных дел мастер. обзор мфу hp deskjet ink advantage 6525 e-all-in-one

Такие решения удобно использовать для расчетов уровня исследовательской группы в химии, биологии и генетике, строительства медицинских диагностических программно-аппаратных комплексов, обработки сейсмических данных для поиска нефтегазовых месторождений, автоматизированного проектирования в промышленности, финансового анализа, а также обработки трехмерных изображений при создании цифрового контента.

Александр Левашов

Подписаться на новости Короткая ссылка

Kraftway продемонстрировал возможности персонального суперкомпьютера

В рамках шестого всероссийского форума-выставки «Госзаказ-2010» компания Kraftway, признанный технологический лидер отечественного компьютерного рынка, впервые представила инновационную разработку – персональный суперкомпьютер, а именно, современные модели вычислителя на гибридной архитектуре Kraftway Science KT01 и Kraftway Science KT11.

Все большее число задач, решаемых вычислительными комплексами, может быть оптимизировано за счет применения программного кода с использованием параллельного выполнения на многоядерных системах. До последнего времени использование ускорителей вычислений не было широко распространено по причине высокой стоимости, длительности разработки и сложности адаптации программного обеспечения под новые архитектуры. Однако, благодаря переносу выполнения оптимизированных задач на ядра широко распространённых графических ускорителей появилась возможность создать гибридный вычислитель, обладающий целым рядом достоинств. Использование гибридной модели вычислений, подразумевающей параллельное исполнение отдельных частей программного кода на специализированных аппаратных ускорителях, позволило компании Kraftway создать новую линейку продуктов – персональные суперкомпьютеры.  Кроме компактности устройств, позволяющей использовать их индивидуально на рабочих местах, в число преимуществ продукта входят высокая производительность, низкий уровень акустического шума и энергопотребления, удобство в эксплуатации.

Персональный суперкомпьютер Kraftway Science KT01, построенный на основе ускорителей вычислений NVIDIA® Tesla™ c 448-ю параллельно функционирующими потоковыми процессорами в каждом ускорителе, имеет пиковую производительность до 3,1TFlops* и при этом обладает низким уровнем шума и энергопотребления. Kraftway Science KT01 представляет собой доступную сбалансированную модель персонального вычислителя на гибридной архитектуре.

Следующая ступень в линейке индивидуальных суперкомпьютеров Kraftway – это новая и еще более производительная модель Kraftway Science KT11. Kraftway Science KT11 реализован на серверной архитектуре Intel 5500 и ускорителях вычислений NVIDIA Tesla.

За счет применения сдвоенного контроллера ввода/вывода Intel 5520 производительность компьютера не снижается при максимальной нагрузке на каналы подключения ускорителей вычислений. Пиковая вычислительная мощность Kraftway Science KT11 составляет 4,12TFops*.

Кроме того, важной особенностью этой модели является возможность стоечного размещения.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

Суперкомпьютерные вычисления на базе NVIDIA® Tesla® K80

©STSS    

Москва, Бережковская набережная, дом 20, строение 8. Тел./факс: +7 (495) 737-55-77 (многоканальный).  

Производство и продажа высокотехнологичной компьютерной продукции. Серверы, терминальные системы, кластеры, системы хранения данных, видеорегистраторы, профессиональные графические и рабочие станции.

  

Производство и продажа серверов — основное направление деятельности компании STSS. Мы предлагаем не просто купить сервер STSS Flagman, HP ProLiant или IBM System X на базе процессоров Intel или AMD.

Наши эксперты предлагают квалифицированные консультации и осуществляют подбор оптимальной конфигурации сервера для решения конкретно Ваших задач.

На нашем сайте Вашему вниманию предлагаются уникальные онлайновые конфигураторы серверов STSS Flagman, HP ProLiant DL, HP ProLiant ML, IBM System X, и систем хранения данных (DAS, NAS, SAN) HP StorageWorks, IBM System Storage, Hitachi Data Systems.

Для тех, кто хочет самостоятельно сконфигурировать сервер и узнать цену, предлагается подбор конфигурации сервера по параметрам: на базе платформы Intel, AMD, NVIDIA, Supermicro, ASUS, TYAN; процессор Intel Xeon, AMD Opteron; память DDR3 или DDR2, Unbuffered или Registered, с ECC; жёсткие диски 2.5″ SFF или 3.5″ LFF, SATA или SAS, fixed или hot-swap HDD; RAID-контроллеры уровня 0, 1, 3, 5, 6, 10, 50, 60; слоты PCI-X, PCI-Express; контроллеры Gigabit Ethernet, Fibre Channel; корпус Tower или Rackmount 1U, 2U, 3U, 4U, 5U.

Мы предлагаем не просто купить сервер, у нас Вы приобретаете лучшее решение для Вашей задачи по адекватной цене. Купить сервер легко!

Intel, логотип Intel, Celeron, Celeron Inside, Centrino, Centrino Inside, Core Inside, Intel Atom, Intel Atom Inside, Intel Core, Intel Inside, логотип Intel Inside, Intel SpeedStep, Intel vPro, Itanium, Itanium Inside, Pentium, Pentium Inside, Ultrabook, vPro Inside, Xeon, Xeon Inside, являются товарными знаками корпорации Intel в США и/или других странах. NVIDIA, логотип NVIDIA, Quadro, логотип Quadro, CUDA и Built for Professionals являются товарными знаками или зарегистрированными товарными знаками корпорации NVIDIA в США и/или других странах. Microsoft, Windows и логотип Windows являются товарными знаками или зарегистрированными товарными знаками корпорации Microsoft в США и/или других странах.

Другие названия компаний и продуктов могут являться товарными знаками соответствующих владельцев.

Ссылка на основную публикацию
Adblock
detector