Обсуждаем NVIDIA Tesla K80 GDDR5 24 ГБ, ее достоинства, недостатки и альтернативные варианты

[Alex_msk 91]

Сообщение:

Задумался над покупкой NVIDIA Tesla K80 GDDR5 24 ГБ, как второй видеокарты, которая будет расположена в задней части корпуса, вместе с блоком питания. 

Подключить думал, через 50-ти сантиметровый райзер, вешать её на материнскую плату, чревато перегревом и видеокарты и SSD, который окажется под ней. 

Ее система охлаждения предполагает сквозной продув корпусной системой вентиляции сервера. Если в моем случае, с одной стороны воздух будет засасываться четырьмя вентиляторами, а затем проходить через такой же вентилятор, установленный уже на саму видеокарту, этого вероятно должно быть достаточно, но не известно.

 

1. Не знаю, дотянется ли райзер, туда, куда я думаю, я бы лучше купил 1 метр, но таких не видел в продаже.
2. Не знаю, будет ли она совместима в основной видеокартой.
3. Не знаю, будет ли она нормально охлаждаться и как это узнать.
4. Не знаю, сколько потребляет мой ПК и хватит ли мощности ещё и на нее.
5. Не знаю, как заставить нейросеть и Blender 3D, работать с ней, а не с основной видеокартой.
6. Не знаю, как работают несколько видеокарт одновременно и какие могут быть проблемы, никогда больше одной не устанавливал.

---

Комплектующие которые имеются в наличии:

Материнская плата: Huananzhi X99-F8D E-ATX

Процессор: 2 шт. Intel® Xeon® E5-2680 v4 2,40 ГГц.

Оперативная память: 2 шт. Samsung DDR4 2400 Мгц. 32 Гб. ECC REG.

Видеокарта: Asus GeForce RTX 2060 Advanced Edition 6 Гб.

Накопители SSD: Samsung 970 EVO M.2 NVMe 1 Тб.

Блок питания: Asus ROG Strix 1000 Вт. 80 Gold Plus.

Сис-ма охлаждения: Воздушная, 12 корпусных вентиляторов (Стандарта 140мм) + две Aigo CPU башни.

---

Для каких целей требуется комплектующее:

Работа с AI, работа в Blender 3D, в качестве хобби. Мне нужно в 4 раза больше, чем есть на данный момент, нужно 24 гигабайта, а не 6.

---

Бюджет для подбора: 30000

---

[Misferado 864]

Я думаю, это плохая идея. Новых таких карт вы не купите, либо купите по конской цене. Если брать б/у, учитывая возраст это будет угретое нечто, которое сдохнет очень быстро, перед этим успев поиграть на нервах своим шумом и проблемами.

[Alex_msk 91]

12 часов назад, Misferado сказал:

Если брать б/у, учитывая возраст это будет угретое нечто, которое сдохнет очень быстро, перед этим успев поиграть на нервах своим шумом и проблемами.

Да, варианта покупки данной карты, по сути два. На Авито за 17 000 р. или на Aliexpress за 24 000 р. Может за 5 000 р. можно было бы и на Авито рискнуть купить, после проверки, но не за 17 000 р. Китайцы утверждают, что все карты проходят проверку и тесты, перед отправкой и отзывы это подтверждают. Торопиться не буду, в этом вообще нет никакой необходимости. 

 

Нужно будет заказать пару удлинителей для PCI-E x16, по 60 см, каждый.

Если воткнуть один в другой, вместе они буду в длину около метра и этого должно хватить. Если верить калькуляторам мощности БП, на данный момент, потребление в моем ПК, не должно доходить до 500 Вт.

 

Придется придумывать, как закрепить крепеж для видеокарты, на корпусе, туда, где должны висеть радиаторы охлаждения или секции слотов для SSD.

 

У меня есть три видеокарты, две совсем старые Asus GeForce GTX 8800 - 2007 год. и Asus GeForce GTX 560 - 2011 год. У них даже HDMI нет, хотя через переходник вероятно подключить к современному монитору можно. Я в любом случае не планирую подключать вторую карту к монитору, но их нет смысла куда либо ставить, разве что если вообще нет видеокарты.

И есть одна относительно новая, купленная в 2020 году в OZON: Gigabyte GeForce GTX 1050 Ti 4 ГБ. Временно поставлю её второй, пока не подберу что-то подходящее, что бы посмотреть, как будут работать две карты и как это можно использовать.

Изменено 27 декабря, 2022 пользователем Alex_msk

[Alex_msk 91]

Нашел нормальную систему крепежей для вентиляторов, которую можно установить напротив радиатора Tesla K80, если снять пластиковый кожух.

 

Сами вентиляторы возьму бесшумные, Diamond RGB CoolMoon 120 мм:

Их можно будет включить в общую систему корпусных вентиляторов.

[mr_Trigger 4]

Хотелось бы увидеть готовую сборку и тесты ! Очень интересно ?

[Alex_msk 91]

Стоимость у обычной RTX 3060 12 Гб. и у Nvidia Tesla М40 24 Гб. почти одинаковая.

 

Если говорить только об играх, то RTX 3060 с 12 Гб. будет на 145% лучше показывать себя в играх, чем Nvidia Tesla K80 24 Гб. и на 60% лучше, чем Nvidia Tesla M40 24 Гб. Не говоря уже о том, что у данных моделей Tesla нет поддержки RTX, нет возможности подключить монитор, поскольку нет видеовыходов и нет системы охлаждения, еë нужно устанавливать дополнительно. И помимо этого, нужно уже иметь обычную видеокарту, обязательно от Nvidia, а не от AMD.

Потребление:

• У К80, составляет 300 Вт.;
• У М40 уже 250 Вт. поскольку его оптимизировали,:
• Но потребление RTX 3060 составляет 170 Вт. 

Различия в архитектуре:

• Tesla K80 GDDR5 - Kepler 2.0 (2013−2015);
• Tesla М40 GDDR5 - Maxwell 2.0 (2015−2019);
• RTX 3060 GDDR6  - Ampere (2020−2022).

Но если говорить не об играх, то смысл в Tesla М40 с 24 Гб., есть. Новые RTX с объёмом памяти в 24 Гб, стоят примерно 100 - 170 тысяч рублей. В б/у, они не намного дешевле и есть риск купить брак. Менять свою RTX 2060 6Гб., на RTX 3060 12Гб., не имеет никакого смысла, поскольку разница в их производительности, составляет ничтожные 20%, которые явно не стоят 30 000 р., кроме того это ничего не изменит. 
 

Цитата

 

Кто-то написал:
Я устал бороться с ошибками CUDA из-за нехватки памяти, у меня RTX 3060 12 Гб. Кто-нибудь пробовал Nvidia Tesla K80 с 24 Гб. видеопамяти?

Кто-то ответил: 
K80 - это не единый блок объемом 24 Гб. Это 2 графических процессора с 12 Гб. Почему вы выбрали K80, а не M40? M40 намного мощнее, но не дороже. Это один графический процессор с полным доступом ко всем 24 Гб. видеопамяти. Он также быстрее, чем K80. 

M40 - динозавр по сравнению с современными графическими процессорами, но 24 Гб. видеопамяти должны позволить запустить репозиторий. Я запускаю RTX 3080 Ti с оптимизированным объемом памяти, а M40 без оптимизации и M40 выдает изображения с более высоким разрешением лишь немного медленнее, чем 3080 Ti.

 

 

Вероятно я куплю Nvidia Tesla М40 24 Гб., а не К80, как изначально планировал.

[Alex_msk 91]

Немного общей информации.

 

Tesla строится на базе обычных графических процессоров, но, в отличие от видеоускорителей (видеокарт), не имеет средств вывода изображения на дисплей. Является своего рода сопроцессором, специализированным процессором, расширяющим возможности центрального процессора компьютерной системы, но не может полностью заменить обычный процессор, однако позволяет использовать вычислительный ресурс множества своих ядер для решения определенного круга ресурсоёмких задач (вести параллельную обработку данных). Примерами таких задач могут служить симуляция свёртывания молекул белка, секвенирование ДНК, моделирование погоды и т.п.

И может использоваться для создания вычислительных систем на базе персональных компьютеров, а также в составе серверов и вычислительных кластеров, групп компьютеров, объединённых высокоскоростными каналами связи, образуя с точки зрения пользователя единый аппаратный ресурс.

Преимуществом гетерогенных вычислительных систем, использующих различные типы вычислительных блоков с использованием Tesla, является большая энергоэффективность и меньшая стоимость, недостатком можно считать меньшую универсальность. Вычислительными блоками такой системы могут быть процессор общего назначения и процессор специального назначения, например, цифровой сигнальный процессор или графический процессор, сопроцессор.

 

Для работы Nvidia Tesla, в UEFI должна быть включена опция: Above 4G Decoding. Поскольку для научных вычислений на картах Tesla, рендеринга больших сцен в 3D или майнинга криптовалют, требуется передавать больше 4-рёх гигабайт данных за раз. Above 4G Decoding, не безопасно включать на компьютерах, видеокарты которых содержать меньше четырех гигабайт видеопамяти и меньше 16 гигабайт оперативной памяти.

 

---

 

В коробке от блока питания, осталось только три кабеля, один для SATA и два для подключения питания к PCI-E.

Весь нижний ряд занят материнской платой, в верхнем ряду три разъёма Mоlex, заняты питанием корпусных вентиляторов и RGB подсветки, один PCI-E, питает видеокарту.

Подключать Tesla к блоку питания, нужно через переходник, поскольку распиновка разъёма не стандартная. При подключении через переходник, обязательно нужно использовать два независимых кабеля питания. При подключении переходника через один кабель питания, переходник скорее всего расплавится.

[Alex_msk 91]

Оптимальным выбором будет Nvidia Tesla P40 24 Гб.

 

 

Видеокарта Tesla P40 была выпущена компанией Nvidia, 13 Сентября 2016 года. В момент выпуска она стоила 5 700 $.

 

 

Для общей картины, можно рассмотреть Nvidia Tesla V100 32 Гб., это технически продвинутый GPU для дата-центров, предназначенный для ускорения искусственного интеллекта, HPC и графики. Поколение P - Pascal, хоть и устарело, но всё ещё актуально для частного использования.

[Alex_msk 91]

Решил устанавливать видеокарту в передней части системного блока, за фронтальным стеклом.

Систему охлаждения взял другую, с RGB подсветкой, но с вентиляторами без RGB. Заменить их на другие, к сожалению невозможно, поскольку они 90х90х15 мм, а не как стандартные процессорные 90х90х25 мм. Кроме того они на 12 вольт, как процессорные, а не на 5, как вся RGB подсветка и корпусные вентиляторы, придется подключать их отдельной линией питания.

 

Весть крепеж, включая кабели, удлинители, разветвители и систему охлаждения, обошелся мне примерно в 7 000 р.

Изменено 8 января, 2023 пользователем Alex_msk

[dmdm1001 0]

В 30.12.2022 в 23:17, Alex_msk сказал:

Above 4G Decoding, не безопасно включать на компьютерах, видеокарты которых содержать меньше четырех гигабайт видеопамяти и меньше 16 гигабайт оперативной памяти.

Привет. А почему не безопасно? Что может произойти? Что -то может выйти из строя (сгореть)? Или просто система не загрузится или будут проблемы в работе (зависания, синий экран и..)? Я просто вытащил свою видеокарту Tesla M40 из слота (а ранее специально для нее включал Above 4G Decoding). И даже ОС переустановил и драйвера, видеокарта при этом встроенная Aspeed2400. Прочитал ваше сообщение и заволновался - теперь выключу обратно. Могут быть какие-то серьезные последствия для материнской платы? Оперативной памяти у нас 256GB

 

Еще один вопрос:

 У наc есть в наличии NVIDIA Tesla M40 12Gb. Эта карта позиционируется как видеокарта для вычислений и задач машинного обучения. Если я правильно понял она выполняет роль сопроцессора и при соответствующем образом написанной программе позволяет эффективно решать вычислительные задачи, но она по-видимому не выполняет функции, которые традиционно выполняют видеокарты?

Я установил NVIDIA Tesla M40 12Gb в сервер. Скачал драйвер для нее с официального сайта NVIDIA. При установке все оставлял по умолчанию. Драйвер установился успешно. Карта видна в диспетчере устройств.

 

Но. В панели управления NVIDIA пишется, что карта используется только для вычислительных задач (что следовало ожидать), и что что этот GP (tesla m40) не задействован ни в одном приложении. Само меню панели управления NVIDIA выгдядит иначе, чем обычно (только два пункта) – в меню, например, нет ничего связаного с 3D и нет других пунктов. В диспетчере задач в закладке “производительность” Tesla M40 не отображается.

 

В интернете люди делают разное: Ставят драйвер от Quadro M6000 или от TitanX, меняют режим с помощью утилиты NVIDIA-smi, что-то правят в реестре. Но нам важна стабильная работа и поэтому мы хотим делать так, как это предлагает (рекомендует) делать NVIDIA. Насколько я понимаю драйвер, который NVIDIA рекомендует для Tesla M40 оптимизирован именно под ее особенности и под задачи которые она должна выполнять. 

 Мы не можем использовать еще одну дополнительную видеокарту  на нашем сервере. На плате у нас только один слот PCIe3.0 x16 и он занят картой Tesla M40. (Слышал, что есть видеокарты x8, но слоты PCIe3.0 x8  у нас заняты под SSD). Поэтому у нас для этих целей есть только интегрированный Aspeed 2400 на плате Supermicro. Я предполагаю, что интегрированный Aspeed 2400 ограничен и его возможностей (характеристик, параметров) недостаточно во многих случаях.  

 

Например, мы пробовали установить “Google Earth Pro”. Программа при установке сообщила, что видеокарта не соответствует минимальным требованиям (версия OpenGL ниже минимальной). По спецификации Tesla M40 поддерживает версию OpenGL 4.5. Если я правильно понимаю программы просто не видят  Tesla M40 как видеокарту (в привычном смысле), потому что драйвер от NVIDIA устанавливает ее не как видеокарту (в привычном смысле), а как некий вычислитель?  Поэтому, я думаю установщик “Google Earth Pro” просто не может использовать Tesla M40, а поругался он на интегрированный графический контроллер Aspeed 2400, который действительно наверно очень ограничен  и наверно поддерживает только OpenGL1.1.

Я предполагаю, что ситуация повторится при установке других программ или в работе с ними.

 

Поэтому возникает вопрос: Можем ли мы в принципе на нашем конкретном сервере (с одним PCIex16  и интегрированной Aspeed2400) использовать видеокарту серии Tesla (или конкретно Tesla M40) для работы?

Сам видеовыход нам не нужен - монитор мы подключать не будем, будем подключаться по RDP.

Изменено 2 августа, 2023 пользователем dmdm1001

[vv_pro 0]

Добрый день, удалось подключить M40 через удлинитель? Читал, что PCI райзера не подходят, а хочу просто 2х120 кулера приделать к карте, пишут лучший вариант чем продувать. 
Собираю стенд для экспериментов с генеративными моделями типа GPT и подобных, а тут имеет значение память и производительность карты, доступных вариантов кроме Tesla М40 из Китая особо нет (k80 просто 2 GPU в 1 корпусе), подскажите пожалуйста где заказывали?
Также думаю брать мать под 2 CPU, но процы рассматриваю E5 2683 v4. По материнке вроде не параноик, но хочется взять что-то без встроенного китайкого гипервизора внутри, смотрю на серверные матери, и так достаточно американского (Intel ME), по этому с материнкой пока не определился.

[MelRom 438]

В 02.08.2023 в 15:43, dmdm1001 сказал:

Или просто система не загрузится

Ну или будет отсутствовать изображение на экране. Поможет сброс настроек BIOS (ну или он сам это сделает). Некоторые BIOS способны автоматически включать функцию при наличии всех условий.

[Alexb 0]

On 9/5/2023 at 1:17 AM, vv_pro said:

Добрый день, удалось подключить M40 через удлинитель? Читал, что PCI райзера не подходят, а хочу просто 2х120 кулера приделать к карте, пишут лучший вариант чем продувать. 
Собираю стенд для экспериментов с генеративными моделями типа GPT и подобных, а тут имеет значение память и производительность карты, доступных вариантов кроме Tesla М40 из Китая особо нет (k80 просто 2 GPU в 1 корпусе), подскажите пожалуйста где заказывали?
Также думаю брать мать под 2 CPU, но процы рассматриваю E5 2683 v4. По материнке вроде не параноик, но хочется взять что-то без встроенного китайкого гипервизора внутри, смотрю на серверные матери, и так достаточно американского (Intel ME), по этому с материнкой пока не определился.

У меня JGINYUE X99-D8 Server 1.0 и две P40(одну видит точно и работает), основная проблема сейчас разместить их так чтобы продувать AFC1212DE через адаптер https://www.thingiverse.com/thing:5870323, поэтому буду благодарен за информацию какие рейзеры pci express можно использовать и как они влияют на производительность.

[vv_pro 0]

В 15.09.2023 в 09:30, Alexb сказал:

У меня JGINYUE X99-D8 Server 1.0 и две P40(одну видит точно и работает), основная проблема сейчас разместить их так чтобы продувать AFC1212DE через адаптер https://www.thingiverse.com/thing:5870323, поэтому буду благодарен за информацию какие рейзеры pci express можно использовать и как они влияют на производительность.

Прикольный адаптер, нужно поискать где можно распечатать, райзера сейчас использую обычные, для майнинга, которые из pciex16  делают x1, карты использую только для ml задач, наверно производительность замедляется, но не не знаю на сколько. P40 пока только в пути, сейчас использую 2x1060 и 2x1070 для своих задач, со скоростью если вставить в слот не сравнивал
Также заказал райзер на гибком шлейфе, по идее там сохраняется x16 
еще советуют для p40 использовать водянку говорят хорошо подходит и эффективнее обдува 

[Alexb 0]

On 9/25/2023 at 5:05 AM, vv_pro said:

Прикольный адаптер, нужно поискать где можно распечатать, райзера сейчас использую обычные, для майнинга, которые из pciex16  делают x1, карты использую только для ml задач, наверно производительность замедляется, но не не знаю на сколько. P40 пока только в пути, сейчас использую 2x1060 и 2x1070 для своих задач, со скоростью если вставить в слот не сравнивал
Также заказал райзер на гибком шлейфе, по идее там сохраняется x16 
еще советуют для p40 использовать водянку говорят хорошо подходит и эффективнее обдува 

две P40 завелись на таких рейзерах https://ozon.by/product/rayzer-pcie-3-0-x16-x16-na-shleyfe-gibkiy-20-sm-udlinitel-videokarty-90-gradusov-712618276/?avtc=1&avte=2&avts=1696499129, еще не нагружал по ml

водянка по уроню шума будет точно получше, если юзать AFC1212DE, то кажется что где-то-то рядом взлетает самолет, нужно с уровнем шума что-то делать,  размещать в серверной/подвале/гараже.

[monax 0]

Добрый день всем. У меня есть две видеокарты  NVIDIA Tesla K80 и одна AMD Radeon Instinct RX VII 16G, но ни одну запустить не могу, стоит вставить видюху в слот и изображение пропадает. Материнка JINGSHA X99, 2 блока питания по 500 ватт, один питает материнку, второй видюху. Естественно подключал  NVIDIA Tesla K80 совместно с  NVIDIA GT730 4GB, а AMD Radeon Instinct RX VII 16G с Radeon RX 580 8 ГБ. В чем может быть проблема? Материнка с диагностикой, показывает ошибки то b0 то b7. Я так понял проблема с памятью, память пробовали ставить в разные слоты и память разного объема, не помогает.