Надежность SSD статистика от Google

Анализ надёжности SSD по сравнению с жёсткими дисками | 2011-05-13 11:07:25

Надёжность SSD: находятся ли ваши данные в безопасности?

Подсистема хранения данных в наши дни является основным «узким местом» компьютера. Именно поэтому столько надежд сегодня связано с SSD, которые могут эффективно умножить производительность накопителей. Если вы установите твёрдотельный накопитель даже в дешёвый нетбук, то его отзывчивость увеличится намного сильнее, чем если бы вы удвоили его оперативную память.

IMFP: переход флэш-памяти NAND.

С учётом сказанного, производительность – это далеко ещё не всё. Именно по этой причине мир SSD фокусируется сегодня не столько на том, насколько быстрыми могут быть эти накопители, сколько на их надёжности. Тема надёжности в последнее время стала ещё более важной, в свете перехода с 3x-нм флэш-памяти NAND на флэш-память, производимую по 25-нм техпроцессу. Мы уже не раз общались со специалистами Intel в области SSD, и тема надёжности всплывала постоянно: 25-нм техпроцесс привёл к появлению вызовов, достойно ответить на которые оказалось намного сложнее, чем в случае 34-нм техпроцесса. Но все трудности удалось обойти, так что Intel по-прежнему предлагает лучшую производительность и надёжность по сравнению с продуктами предыдущего поколения. В общем, на меньшем количестве циклов программирования/стирания, которые неразрывно связаны с памятью NAND, производимой по меньшему техпроцессу, сегодня явно акцентируют слишком много внимания.

Честно говоря, вопрос количества циклов программирования/стирания (PE), которые может выдержать SSD, не так должен вас беспокоить. Предыдущие поколения SSD потребительского уровня, которые использовали 3x-нм MLC NAND, обычно были заявлены с 5000 циклов. Это означает, что вы можете записать и стереть данные 5000 раз, прежде чем ячейки NAND начнут терять возможность хранить данные. В случае 80-Гбайт накопителя вам придётся записать 114 Тбайт, прежде чем вы столкнётесь с эффектами износа ячеек. Учитывая, что средний пользователь настольного ПК записывает в день, максимум, 10 Гбайт информации, то ему придётся работать с накопителем примерно 31 год, прежде чем ячейки будут изношены. В случае 25-нм флэш-памяти NAND этот срок уменьшается до 18 лет. Конечно, мы упрощаем сложные расчёты износостойкости накопителей. Нужно учитывать такие проблемы, как усиление записи (WA), сжатие данных и сборку «мусора», которые по-своему влияют на прогнозы износа. Но, в целом, вам незачем следить за количеством циклов программирования/стирания у ячеек накопителя.

Конечно, мы знаем, что SSD выходят из строя, особенно это заметно в различных форумах и отзывах на сайтах популярных производителей, но связано это не с износом ячеек. На первом месте стоят проблемы с «сырой» прошивкой. В зависимости от того, какие данные вы записываете и как вы их записываете, у SSD может «слететь крыша», и накопитель уже не сможет считать данные. Когда происходят подобные печальные события, то фоновые задачи, подобные сборке мусора, перестают выполняться, и вскоре накопитель уже не может считывать или записывать данные вообще. Другие сбои, подобные сгоревшему конденсатору, не такие «изящные», но результат будет таким же – «мёртвый» SSD. Технически любой компонент – электрический или механический – с долей вероятности может выйти из строя в любой момент, да и со временем все компоненты изнашиваются. Но приводит ли отсутствие движущихся частей к более высокой надёжности? Можно ли сказать, что хранить данные на SSD не так опасно, как на жёстком диске?

Поскольку вопрос надёжности сегодня стоит как никогда остро, то мы решили глубже его исследовать, чтобы дать расширенный ответ, прежде чем вы купите себе SSD. В нашей статье мы рассмотрим все аспекты надёжности SSD, а также отделим факты от домыслов.

Что мы знаем о накопителях?

SSD – относительно новая технология (по крайней мере, если сравнивать с жёсткими дисками, которым исполнилось почти 60 лет). Вполне понятно, что мы должны сравнивать SSD с проверенной временем технологией. Но что мы знаем о старых добрых жёстких дисках? Здесь нам хотелось бы привести данные двух важных исследований.

1. В 2007 году Google опубликовала исследование, касающееся надёжности 100 000 жёстких дисков PATA и SATA потребительского уровня, которые использовались в дата-центрах компании.

2. Вместе с тем доктор Бианка Шредер (Dr. Bianca Schroeder) и эксперт доктор Гарт Гибсон (Dr. Garth Gibson) рассчитали частоту замены более 100 000 накопителей, которые использовались в одной из крупнейших национальных лабораторий США. Разница в том, что в лаборатории также использовались и жёсткие диски корпоративного класса с интерфейсами SCSI, SATA и FC.

Если вы не читали указанных документов раньше, то мы настоятельно рекомендуем с ними ознакомиться, ниже приведены краткие заключения по ним.

Уровень наработки на отказ (MTTF)

Помните, как рассчитывается показатель MTBF? Что подразумевается под временем безотказной работы? Возьмём в качестве примера жёсткий диск Seagate Barracuda 7200.7. Для него заявлено время наработки на отказ 600 000 часов. Таким образом, в крупном массиве подобных винчестеров, половина жёстких дисков должна выйти из строя за первые 600 000 часов работы. Если сбои будут распределены равномерно, то мы должны получить, например, один вышедший из строя жёсткий диск за час. Мы можем перевести это значение в ежегодную частоту отказов (annualized failure rate, (AFR) 1,44%. Но Google или доктор Шредер обнаружили совсем другое. Обратите внимание, что отказ не всегда соответствует замене жёсткого диска. Именно поэтому доктор Шредер измерял ежегодную частоту замены (annualized replacement rate, ARR). Она основывалась на количестве заменённых жёстких дисков в соответствие с сервисными журналами.

По спецификациям значение AFR указывалось между 0,58% и 0,88%, но полученное значение ежегодной частоты замены ARR составило от 0,5% до целых 13,5%. Таким образом, в зависимости от типа HDD и массива, значение ARR могло быть вплоть до 15 раз выше, чем значение AFR по спецификациям.

Производители жёстких дисков определяют сбои совсем по-другому, чем мы. Поэтому неудивительно, что их оценки надёжности оказываются чересчур оптимистичными. Как правило, значение MTBF высчитывается на основе ускоренных циклов тестирования, информации о возврате винчестеров или на основе результата краткосрочных тестов крупного массива накопителей. Конечно, информация о возвратах, полученная от производителя, продолжает оставаться довольно подозрительной. Как указывает Google, «мы сталкивались… с ситуациями, когда тестер накопителей постоянно давал «зелёный свет» модели, которая неизбежно отказывала на практике».

Выход из строя жёстких дисков со временем

Большинство пользователей считают, что кривая выхода из строя жёстких дисков напоминает ванную (см. первую иллюстрацию). То есть поначалу мы должны получить выход из строя значительного количества жёстких дисков из-за так называемой «детской смертности». Затем, после начального периода, уровень выхода из строя жёстких дисков должен быть низким. А в конце расчётного срока службы, по мере изнашивания накопителей, кривая выхода из строя должна резко поползти вверх. Но данное предположение не подтвердилось в обоих исследованиях. В целом, как обнаружили исследователи, частота сбоя жёстких дисков стабильно увеличивается со временем (см. вторую иллюстрацию).

Надёжность накопителей корпоративного класса

Если сравнивать два исследования, то 1 000 000 часов MTBF у накопителя Cheetah оказывается намного ближе к MTBF 300 000 часов. То есть у «корпоративных» и «потребительских» жёстких дисков мы получаем примерно одинаковый ежегодный выход из строя AFR, особенно если сравнивать схожие ёмкости. По информации , директора по технической стратегии NetApp (самый быстро растущий производитель систем хранения), «…то, как массивы накопителей справляются с соответствующими сбоями жёстких дисков, извечно продолжает убеждать потребителей, что более дорогие жёсткие диски работают более надёжно. Один из тщательно оберегаемых «грязных» секретов индустрии заключается в том, что большинство корпоративных и потребительских жёстких дисков состоят, по большей части, из одинаковых компонентов. Но их внешние интерфейсы (FC, SCSI, SAS и SATA) и, что более важно, приоритеты и цели при разработке дизайна прошивки, играют наиболее важную роль в определении поведения корпоративных или потребительских жёстких дисков в реальных условиях».

Безопасность данных и RAID

Исследование доктора Шредера охватывает использование корпоративных жёстких дисков в крупных массивах RAID в одной из крупнейших лабораторий по высокопроизводительным вычислениям. Как правило, мы ожидаем, что данные будут безопасность храниться в правильно подобранных режимах RAID, но результаты исследования оказались удивительными.

Распределение времени между заменами дисков показывает снижение интенсивности отказов, то есть предполагаемое время до замены следующего диска увеличивается вместе со временем, которое прошло с момента последней замены диска.

Это означает, что сбой одного накопителя в массиве повышает вероятность сбоя другого накопителя. Чем больше времени пройдёт с момента последнего сбоя, тем больше времени должно пройти до следующего. Конечно, всё это приводит к последствиям по реконструкции массива RAID. После первого сбоя вероятность того, что ещё один жёсткий диск выйдет из строя в пределах часа увеличивается в четыре раза. В течение же 10 часов вероятность последующего сбоя увеличивается только в два раза.

Температура

Из документа Google мы получили весьма странное заключение. Исследователи брали измерения температуры SMART, технологии мониторинга, которая встроена в большинство жёстких дисков, и обнаружили, что более высокая температура не коррелирует с более высокой частотой отказов. Температура оказывает определённое влияние на старые накопители, но оно не такое значительное.

Насколько умна SMART?

Если дать краткий ответ, то SMART не умна. Технология SMART была предназначена для сообщения об ошибках на раннем этапе, чтобы пользователь мог заблаговременно зарезервировать свои данные, но, по информации Google, более трети сбойных жёстких дисков не включали тревогу SMART. В принципе, это неудивительно, поскольку многие специалисты говорили об этом многие годы. Технология SMART оптимизирована на обнаружение механических сбоев, но большую часть жёсткого диска составляет электроника. Именно поэтому проблемы с поведением HDD и различные ситуации, подобные сбою электропитания, остаются незамеченными, пока не возникают проблемы с целостностью данных. Если вы надеетесь, что SMART предскажет вам сбой, то вам всё равно необходимо добавить ещё один уровень избыточности для гарантии защиты данных.

Теперь давайте перейдём к тому, как SSD показывают себя по сравнению с жёсткими дисками.

Взгляд на надёжность SSD

К сожалению, ни один производитель жёстких дисков не публикует данных о возврате, то же самое касается и производителей SSD. Но в декабре 2010 сайт Hardware.fr представил информацию о частоте сбоев SSD, полученную от своей родительской компании LDLC, являющейся одной из ведущих розничных сетей во Франции. На сайте были даны следующие пояснения по поводу расчёта представленных показателей.

Частота возврата касается продуктов, проданных между 1 октября 2009 и первым апрелем 2010, возвраты были осуществлены до октября 2010, то есть после периода эксплуатации от 6 месяцев до года. Статистика по производителям бралась при условии минимальных продаж в 500 экземпляров, а по моделям – при минимальной продаже ста экземпляров.

Обратим внимание, что представлена статистика частоты возврата, а не частоты сбоев.

Ещё раз отметим, что сбой накопителя означает выход из строя. Но возврат потребитель может выполнять по различным причинам. И с этим возникают проблемы, поскольку у нас нет дополнительной информации по возвращенным накопителям – получил ли потребитель их уже «мёртвыми», или они вышли из строя со временем, либо возврат был произведён по причине несовместимости продукта.

Приобретались ли SSD Intel оптом? Представленная информация приводит к новым вопросам. Если большую часть продаж жёстких дисков составляет Интернет, то плохая упаковка и порча во время доставки могут заметно сказаться на частоте возврата. Более того, не мешает провести нормализацию по сценариям, в которых потребители используют жёсткие диски. И существенный разброс возвратов жёстких дисков только подчёркивает эту проблему. Например, частота возврата Seagate Barracuda LP увеличилась с 2,1% до 4,1%, а для Western Digital Caviar Green WD10EARS она упала с 2,4% до 1,2%.

Вместе с тем, приведённые данные не позволяют судить о надёжности. Какие же выводы можно по ним сделать? О том, что во Франции больше клиентов оказались удовлетворены покупкой SSD Intel, чем приобретением накопителя другого производителя. Удовлетворение потребителя – тема интересная, но она имеет мало отношения к частоте сбоев. Поэтому идём дальше.

Статистика дата-центров: меньше 100 SSD

Цены за гигабайт продолжают оставаться основным барьером, не позволяющим даже крупным организациям использовать тысячи SSD одновременно. Но даже то, что у нас не было доступа к массивным инфраструктурам, отнюдь не означает, что мы не сможем сделать выводов по поводу надёжности SSD в реальных условиях на основе менее крупных структур. Мы попытались связаться со всеми нашими знакомыми в сфере ИТ и смогли получить интересную информацию от некоторых дата-центров.

NoSupportLinuxHosting.com

Загрузочный том на «зеркале» из двух X25-V.

Компания «No Support Linux Hosting» не сообщила нам о количестве установленных накопителей, но представитель компании сказал, что она «использует немалое количество» SSD. Мы знаем, что компания использует меньше 100 SSD, и они распределены по следующим сценариям:

• 40-Гбайт X25-V используются в «зеркале» в качестве загрузочных томов для blade-серверов и серверов ZFS.
• 160-Гбайт X25-M используются в качестве накопителей для кэширования (L2ARC) в серверах ZFS.
• 32-Гбайт X25-E используются в «зеркале» в качестве томов ZIL в серверах ZFS.

Все эти накопители использовались не меньше одного года, а некоторые из них отметили свой второй год рождения. И на данный момент компания не столкнулась ни с одним сбоем SSD. Когда мы спросили «Дают ли SSD преимущества, которые нельзя получить на обычных механических жёстких дисках?» компания ответила, что «с ZFS и гибридными системами хранения накопители SSD дают существенный прирост производительности по сравнению с вращающимися пластинами. Мы по-прежнему используем вращающиеся пластины для основного хранилища, поэтому мы смогли сохранить преимущество HDD по цене, и вместе с тем смогли получить преимущества SSD по скорости. Рано или поздно мы планируем перевести все наши SAN на системы хранения, использующие только SSD. Но для 2011 года мы будем придерживаться гибридного хранилища с помощью ZFS.»

InterServer.net

Компания InterServer использует в своих серверах баз данных только SSD. В частности, компания оснащает свои серверы Xeon накопителями Intel X25-E (SSDSA2SH032G1GN), чтобы в полной мере задействовать преимущества по высокой пропускной способности данных. Но какой прирост производительности это даёт? InterServer сообщила нам о получении в среднем 4514,405 запросов MySQL в секунду. На старой системе Xeon, оснащённой накопителями IDE, можно было получить примерно 200-300 запросов MySQL в секунду. Мы знаем, что эти накопители используются компанией с 2009 года, и пока что сбоев не было зафиксировано.

InterServer сообщила нам следующую информацию по поводу использования SSD.

«Intel SSD как небо и земля отличаются по частоте сбоев от некоторых других накопителей. Например, у SSD SuperTalent мы получили очень высокую частоту сбоев, включая модели FTM32GL25H, FTM32G225H и FTM32GX25H. По нашим подсчётам, 2/3 этих накопителей вышли из строя после начала эксплуатации. Причём они выходили из строя так, что информацию считать уже не получалось. То есть накопитель просто полностью исчезал и больше не появлялся. Вращающиеся пластины умирают более «благородно», восстановить с них информацию намного легче. Я не могу сравнить данную статистику с накопителями Intel, поскольку мы пока не сталкивались с их сбоями».

Steadfast Networks: более 100 SSD

Steadfast Networks использует около 150 SSD Intel, то есть опирается на более крупную базу накопителей, чем две предыдущие компании. В Steadfast Networks используются модели X25-E (32 Гбайт и 64 Гбайт) и X25-M (80 Гбайт и 160 Гбайт). В меньшей степени компания задействует 40-Гбайт X25-V, да и некоторые клиенты использовали/запросили накопители OCZ Vertex 2, SuperTalent и MTron Pro. Независимо от марки, все SSD используются только в серверах баз данных или в качестве кэша.

На протяжении двух лет компания столкнулась только с двумя случаями, потребовавшими замены накопителей. Восстановление данных с вышедшего из строя SSD зависит от взаимодействия между контроллером и прошивкой. Опыт InterServer с накопителями SuperTalent является сценарием худшего случая, когда данные восстановить не получилось. Но специалисты Steadfast Networks сообщили нам, что смогли восстановить все данные с SSD Intel.

С более крупным массивом SSD мы, наконец, столкнулись с выходом накопителей из строя. Но по сравнению с жёсткими дисками частота выхода из строя намного ниже. Но президент Steadfast Networks Карл Зиммерман (Karl Zimmerman) считает, что это всё равно преуменьшает преимущества SSD. Он дал следующее объяснение.

«Мы просто получаем существенно более высокую производительность ввода/вывода [с SSD] по меньшей цене, чем мы можем достичь со стандартными жёсткими дисками. Многим нашим клиентам требуется большая производительность ввода/вывода, чем могут дать 4x накопителя SAS на 15 000 об/мин в массиве RAID 10, и данный апгрейд приводит к переходу на сервер с большим шасси, поддерживающим более 4 накопителей, крупной карте RAID и так далее. Другим конфигурациям требуется больше 16 жёстких дисков на 15 000 об/мин, чтобы получить требуемый уровень операций ввода/вывода. Переход на один SSD (или на пару SSD в RAID) значительно упрощает конфигурацию, да и удешевляет в целом.

Всё это дополняется тем, что вам, как правило, нужно использовать 1 SSD для замены 4+ стандартных жёстких дисков в среднем, при этом вы получите частоту сбоя AFR у жёстких дисков 20% и выше, а у SSD она составляет 1,6%.

Softlayer: около 5000 SSD!

В Softlayer у нас работает много друзей, при этом они организовали самую крупную компанию по web-хостингу в мире. Поэтому о накопителях они знают немало. В компании используется почти 5000 SSD, так что мы получили более впечатляющий массив данных для анализа. Вот, что сообщила нам Softlayer.

Компания получила схожую частоту выхода из строя накопителей SAS и SATA, что и в исследовании Google. Если не вдаваться в детали, то частота выхода из строя увеличивается пропорционально возрасту накопителя, и на практике она довольно близка к результатам двух исследований, которые мы привели раньше. В первый год частота выхода из строя AFR составляет 0,5-1%, она увеличивается до 5-7% в пятый год.

Частота сбоя жёстких дисков нас не удивила, но частота AFR для SSD шокировала. Если судить по числам, то частота сбоя SSD близка к жёстким дискам. Конечно, накопители эксплуатируются всего два года. Нам нужно подождать, пока SSD не завершат третий и четвёртый год своей эксплуатации, после чего мы посмотрим, будет ли разница.

Softlayer почти полностью использует SSD на основе SLC-памяти из-за опасений с износом при выполнении операций записи. Если верить сценариям использования компании, то ни один из сбоев не был связан с износом ячеек памяти при записи, но многие SSD вышли из строя без раннего предупреждения SMART. Мы уже неоднократно слышали об этом от разных дата-центров. Как указали специалисты InterServer, жёсткие диски «умирают» более «благородно». SSD часто «умирают» внезапно, возможно из-за некорректной работы прошивки. Опыт Softlayer более разнообразный, некоторые накопители восстановить удалось, другие нет. Ни один из 11 накопителей X25-M у компании не вышел из строя, но количество образцов мизерное. Да и в работе они находятся с июня 2010.

Так ли важна надёжность?

Несмотря на то, что SLC-накопители составляют всего часть рынка NAND, мы собрали намного больше данных по SLC-накопителям SSD, чем по моделям с MLC-технологией. Конечно, наш набор исследуемых накопителей составляет 1/20 от набора предыдущих исследований жёстких дисков, но по имеющейся информации SLC-накопители SSD нельзя назвать более надёжными, чем жёсткие диски SATA и SAS. Если флэш-память SLC является самой лучшей из NAND, тогда SSD с MLC-памятью должны демонстрировать более высокую частоту выхода из строя.

Если вы являетесь потребителем, то подобный факт наверняка вызовет замешательство. Производители SSD пытаются подчеркнуть, что они предоставляют два существенных преимущества: производительность и надёжность. Но если данные на SSD хранить не безопаснее, чем на жёстком диске, то основной причиной выбора твёрдотельных накопителей является производительность.

Мы не утверждаем, что производительность не важна (или не впечатляет), но большинство SSD находятся в узком разбросе по производительности. Например, если вы отобразите на графике скорость жёстких дисков по сравнению с SSD, то low-end SSD работают примерно на 85% быстрее, чем жёсткие диски. А high-end SSD дают только 88% преимущество по производительности в среднем.

Именно поэтому Intel пытается всех убедить, что предлагает самые надёжные SSD. Недавно на пресс-конференции по поводу выхода SSD 320 компания попыталась акцентировать эту точку зрения. Конечно, репутация Intel повлияла на то, что мы получили столь много информации по поводу SSD этой компании, но результаты эксплуатации, похоже, не соответствуют тому, что мы слышим от Intel.

Производительность SSD будет продолжать увеличиваться, а цены будут одновременно с этим снижаться. Такова природа новой технологии. Однако это также означает, что производителям SSD потребуется найти другие способы дифференциации своих продуктов. Сегодня мы как раз начинаем это видеть. По мере того, как относительный зазор по производительности между SSD начинает сужаться, надёжность становится всё более важной.

Заключение

Конечно, получилось так, что наш опрос дата-центров охватывает только частоту выхода из строя SSD Intel, поскольку накопители именно этого производителя используются сегодня в большинстве крупных компаний. Маркетинг Intel работает на самом деле, поскольку компанию считают одной из самых надёжных марок. Мы не подразумеваем этим, что другие марки более или менее надёжны. Исследователи Google по поводу жёстких дисков написали следующее: «частоту сбоев тесно связывают с моделями накопителей, производителями и возрастом. Наши исследования этому не противоречат. Но большинство результатов, связанных с возрастом накопителя, связаны именно с возрастом».

По информации, представленной нам дата-центрами, то же самое верно и для SSD. Один из управляющих крупной компании сообщил, что OCZ даёт замечательные цены, но по его информации у накопителя Vertex 2 ужасная надёжность. Примерно два месяца назад компания заказала новое оборудование, но после вскрытия коробки оказалось, что из 200 накопителей Vertex 2 Pro примерно 20 были уже «мёртвыми». Да и один из дата-центров сообщил нам, что регулярно сбрасывает клиентские серверы с накопителями Vertex 2.

Что это значит для SSD?

Но позвольте оценить всё с перспективы. Вот, что мы узнали о жёстких дисках из двух приведённых исследований.

• Заявленное время наработки на отказ MTBF ничего не говорит о надёжности.
• Ежегодная частота выхода из строя (AFR) в несколько раз выше, чем заявляют производители.
• Для накопителей не характерна заметная тенденция выходить из строя после года использования. Частота выхода из строя стабильно повышается вместе с возрастом жёстких дисков.
• SMART не является надёжной системой оповещения о грядущих сбоях жёсткого диска.
• Частота выхода из строя «корпоративных» и «потребительских» жёстких дисков примерно одинаковая.
• Выход из строя одного накопителя в массиве повышает вероятность выхода из строя другого накопителя.
• Температура оказывает пренебрежимо малое или незначительное влияние на частоту сбоев.

Благодаря Softlayer мы знаем, что первые четыре пункта также относятся и к SSD. Помните, что разница между корпоративными и потребительскими жёсткими дисками, влияющая на частоту сбоев, кроется в контроллере, прошивке и интерфейсе (SAS против SATA). Что касается SSD, то разница сужается до контроллера и прошивки. Если качество производства MLC-памяти NAND такое же, как и SLC-памяти, то корпоративные SSD не надёжнее потребительских SSD (помните, что износ при записи/программировании не имеет ничего общего со случайными сбоями накопителей).

Конечно, корпоративный рынок интересует не только надёжность. Свою роль играет и производительность. Чтобы получить высокую производительность ввода/вывода с жёсткими дисками, нужно использовать не меньше четырёх накопителей SAS на 15 000 об/мин в RAID 10. Если такого уровня всё равно мало, то придётся выполнить апгрейд на более крупный сервер с большим количеством накопителей и более ёмкой картой RAID. Если производительность вас интересует больше, чем ёмкость, то выбор нескольких SSD в RAID упрощает конфигурацию, её развёртывание и поддержка обходятся дешевле. Поскольку вы используете один SSD для замены нескольких жёстких дисков, то частота сбоя каждого жёсткого диска влияет на эффективную частоту сбоя. И с этой точки зрения намного лучше использовать четыре SSD для замены шестнадцати жёстких дисков. Конечно, конфигурация из одного SSD не даёт избыточности хранения данных. Но, как указано в исследовании доктора Шредера, сбой жёсткого диска в массиве RAID увеличивает вероятность ещё одного сбоя. Для профессионалов ИТ, внедряющих SSD, наши новости прольются как бальзам на душу. Как написал Робин Харрис (Robin Harris) на StorageMojo , «Забудьте о RAID, просто копируйте данные три раза». Избыточность хранения данных c SSD не приводит к дополнительным расходам. Скажем, в ИТ-инфраструктуре информация с одного SSD будет постоянно копироваться на несколько жёстких дисков. А идея траты меньшего количества денег на получение существенного прироста производительности должна быть очень привлекательной. Собственно, в этом нет ничего нового. Google уже многие годы использует подобный подход (дешёвой избыточности) со своими серверами на жёстких дисках, но перенос данной концепции на SSD приводит к очень высокой пропускной способности ввода/вывода, высокой надёжности и избыточности данных – всё это при дешёвом и простом способе дублирования файлов подобно кластеру.

К сожалению, всё это касается профессионалов в области ИТ. Что касается потребителей, то не стоит доверять SSD больше, чем вы доверяете жёсткому диску. В конце концов, электрическая деталь остаётся электрической, независимо от того, движется она или нет. (Конечно, мы не имеем в виду, что вы будете трясти жёсткий диск во время работы.) Данные от Softlayer подтверждают нашу точку зрения, поскольку у более ёмкой модели X25-E частота выхода из строя выше (у неё используется больше чипов памяти). Возможно, именно по этой причине мы не были шокированы тем, что SSD имеют схожую частоту выхода из строя, что и накопители с вращающимися пластинами. Конечно, у нас нет полных данных для SSD старше двух лет, поэтому, возможно, в будущем ситуация изменится, но пока мы эти данные не получим, лучше следовать давно известной пословице «бережёного Бог бережёт».

Самое обидное во всём этом исследовании заключается в том, что мы не должны сами собирать все эти данные. Производители знают об истинной надёжности своих продуктов, поскольку они выпускают миллионы SSD в год (IDC: 11 млн. SSD в 2009) и отслеживают возвраты. Если SSD Intel на MLC-памяти являются «золотым стандартом», то лучшие SSD кажутся не более надёжными, чем лучшие жёсткие диски. Получается, что худшие SSD такие же надёжные, что и худшие жёсткие диски?

В заключении мы оставляем открытым приглашение Intel, OCZ, Micron, Crucial, Kingston, Corsair, Mushkin, SandForce и Marvell, чтобы предоставить нам информацию о частоте выхода из строя своих продуктов, либо опубликовать список крупных клиентов, у которых можно будет получить дополнительную информацию.

Примечание. Мы выражаем благодарность компании Softlayer и всем дата-центрам, предоставившим нам данные. Всё это позволило оценить надёжность SSD.

Среднее время жизни SSD

Многих покупателей, выбирающих твердотельный накопитель, интересует, насколько долго он может проработать: часто диск приобретается под систему, а внезапная переустановка Windows, программ и драйверов – удовольствие весьма сомнительное. В этой статье мы постараемся ответить на вопрос, каково среднее время жизни SSD.

Технологические особенности

Тип памяти

Нужно понимать, что по своему устройству и принципам работы твердотельники значительно отличаются от традиционных жестких дисков. В «хардах» используются магнитные пластины и считывающие головки, а их более современные конкуренты не имеют движущихся частей и построены на базе флэш-памяти, ячейки которой имеют определенный ресурс перезаписи. Она бывает разных типов, и от этого напрямую зависит, сколько живет SSD накопитель. Рассмотрим распространенные виды флеш-памяти подробнее:

SLC – одноуровневая. Наиболее быстрая и поддерживающая огромное количество циклов. К сожалению, гораздо дороже всех остальных типов, поэтому используется в основном в серверном сегменте.

MLC – многоуровневая (по факту двух-). Уступает по скорости и надежности предыдущему варианту, но стоит значительно дешевле.

TLC – трехуровневая. Еще менее «выносливая» и более дешевая память, чем MLC.

QLC – четырехуровневая. Новомодный тип, во всем уступающий вышеперечисленным, но самый недорогой в производстве.

Важно, что накопитель на TLC-памяти от одного производителя вполне может быть быстрее и надежнее накопителя на MLC от другого – вышеперечисленная информация актуальна лишь при сравнении моделей одной «весовой категории». Ситуация может отличаться и в случае использования трехмерной компоновки, поэтому перед покупкой девайса всегда стоит обращаться к обзорам от независимых ресурсов.

Выравнивание износа

Каждая ячейка флеш-памяти может выдержать определенное количество циклов перезаписи, поэтому производители предусмотрели алгоритм, благодаря которому контроллер твердотельного накопителя производит запись в разные блоки, сохраняя информацию о том, сколько раз уже был перезаписан тот или иной из них. В противном случае одни ячейки исчерпали бы свой ресурс гораздо раньше других, и полезный объем SSD, доступный пользователю, уменьшился бы, а значит, сократился бы и эффективный срок службы твердотельного накопителя.

Надежность контроллера

Из строя может выйти не только память твердотельника, но и управляющая плата. К счастью, ненадежные контроллеры на текущий момент – скорее редкость и удел Noname-производителей, преимущественно китайских, не представленных в розничных сетях. Поэтому рекомендуем проявлять осторожность и не заказывать SSD под систему или важные данные с Алиэкспресс, а также не покупать б/у модели на сайтах объявлений (под ними могут скрываться перемаркированные/переделанные китайские). Конечно, даже у топовых производителей контроллеров возможен брак, поэтому в любом случае необходимо делать бэкапы – восстановить данные с поврежденного твердотельного накопителя, как правило, куда сложнее, чем с жесткого диска.

Параметр TBW

Заявленный компанией-производителем параметр TBW (Total Byte Written) – это количество данных, которое можно гарантированно записать на диск прежде, чем ресурс чипов памяти будет исчерпан. Обычно он измеряется в терабайтах. Так, значение TBW, равное 300 ТБ означает, что информацию на SSD можно регулярно перезаписывать новой вплоть до значения в 300 терабайт. При этом совсем не факт, что при достижении такого показателя твердотельник выйдет из строя или начнет работать «только на чтение». Так, согласно тестам, проведенным авторитетным интернет-изданием 3DNews, работающим в сфере информационных технологий, SSD Samsung 850 Evo выдержали 2000+ терабайт перезаписанной информации при 150 заявленных!

150-300 ТБ применительно к рассматриваемому показателю – много это или мало? Для среднестатистического пользователя, использующего носитель под систему, программы и игры – много! Если вы не планируете ставить SSD в сервер, где данные будут перезаписываться 24/7, то даже этого гарантированного ресурса хватит на много лет – быстрее успеет морально устареть само устройство и другие комплектующие ПК. Согласно статистике, в большинстве случаев на твердотельник в домашнем ПК записывается не больше 10-30 терабайт за год, и это при активном использовании. Например, автор данной статьи за 2 года и 4 месяца перезаписал 39404 ГБ информации на свой полутерабайтный накопитель, тем самым не исчерпав заявленный ресурс даже на треть. А ведь фактический может быть в разы больше!

Посчитать, примерно сколько проживет ваш SSD, достаточно просто. Посмотрите при помощи специализированных программ, (CrystalDiskInfo и подобные), сколько гигабайт вы уже перезаписали, и сколько дней используется накопитель. Затем загляните в спецификации и узнайте заявленный ресурс. Дальше следуйте простому алгоритму:

1. Разделите количество перезаписанной информации в гигабайтах на число дней использования накопителя.
2. Поделите TBW «от производителя» на число, полученное в первом пункте.
3. А теперь выполните еще одну операцию деления – числа, полученного во втором пункте, на 365. Примерно на столько лет вам хватит ресурса накопителя (с момента покупки, а не с текущего).

Пример: заявленный ресурс – 150 терабайт (округленно 150000 гигабайт). Накопитель используется 300 дней. Перезаписано 20000 гигабайт.

1. 20000/300=67 ГБ записывается в день
2. 150000/67=2239 дней с начала использования прослужит девайс (как минимум)
3. 2239/365=6.13 лет

Важно: Перезапись данных, приводящая к износу ячеек памяти, может происходить не только когда пользователь вручную инициирует ее, но и автоматически, особенно, если твердотельный накопитель используется в качестве системного диска. Система регулярно обращается к расположенному на носителе файлу подкачки, работает с реестром, временными файлами, и так далее. Впрочем, это не значит, что нужно отказываться от скоростных возможностей SSD и устанавливать Windows на традиционный медленный жесткий диск – как правило, ресурса перезаписи хватает на 5 и более лет даже если SSD используется весьма активно.

Фирмы-производители

У многих компаний бывают как удачные, так и неудачные модели устройств, но некоторые из них за прошедшие годы успели определенным образом зарекомендовать себя среди пользователей. Приведем несколько примеров.

Samsung

Корейская корпорация считается одним из лучших в мире производителей твердотельных накопителей: они используют собственные разработки и часто первыми внедряют инновации, например, трехмерную флеш-память с повышенным числом слоев. Среднее время жизни SSD диска Samsung в большинстве случаев на практике значительно превышает заявленное производителем. Единственный недостаток устройств под этим брендом – их довольно высокая стоимость.

Kingston

В свое время эта компания завоевала уважение потребителей недорогой, и при этом качественной оперативной памятью, а теперь выпускает также SSD, флешки и карты памяти различных форматов. Продукция Кингстон выделяется на рынке сочетанием отличных технических характеристик, высокой надежности и приемлемой стоимости.

Western Digital

WD славится в первую очередь своими жесткими дисками, но в последние несколько лет начала выпускать и твердотельные накопители. В ассортименте есть как продвинутые модели с повышенными скоростью и надежностью, так и более бюджетные компромиссные варианты.

Crucial

У SSD этой фирмы примерно такая же репутация, как у продукции Kingston – среди них немало «народных» моделей с привлекательным соотношением цены, надежности и производительности.

Как продлить срок службы твердотельного накопителя?

На самом деле, ресурс SSD и без каких-либо специальных мероприятий по его продлению достаточно высок. Единственное, что можно посоветовать – не использовать дефрагментацию: такая процедура может повысить скорость работы жесткого диска, но работу твердотельника она не улучшит, а только исчерпает часть его ресурса, пусть и незначительную.

Требуется ли устройству дополнительное охлаждение?

Большинство SSD обладают невысоким тепловыделением, поэтому им не нужны даже радиаторы, не говоря уж о кулерах и каком-либо отдельном обдуве. Проблемы могут возникнуть только с дефектными моделями, девайсами от Noname-производителей, или же в случае неграмотной общей организации охлаждения в системном блоке. Если у вас просторный системник, и установлены 1-2 вентилятора на вдув и 2-3 на выдув, все будет хорошо. В тех редких случаях, когда все-таки происходит перегрев SSD, и он снижает из-за этого скорость чтения/записи, можно переставить его в более «холодный» слот, почистить компьютер от пыли или установить дополнительный кулер.

Какие SSD надежнее – M.2 или обычные?

Оба типа накопителей достаточно надежны, и обращать внимание следует скорее не на форм-фактор, а на обзоры и отзывы касательно конкретной модели, а также используемые память и контроллер.

Правда ли, что восстановить данные с вышедшего из строя твердотельного накопителя сложнее, чем с жесткого диска?

Во многих случаях – правда. Впрочем, делать резервную копию ценных данных необходимо всегда, причем как минимум в двух разных местах, например, на другом накопителе и в облаке. Ведь если копия одна, в случае форс-мажорных обстоятельств (таких, как пожар), она может быть уничтожена. Дублирование же информации в разных местах значительно снижает вероятность ее потери.

Какие программы можно использовать, чтобы узнать, сколько гигабайт информации уже было перезаписано?

Помимо фирменного ПО от производителя – CrystalDiskInfo, SSD Life и другие. Указанные две доступны как в английской, так и в русской версиях, а также позволяют просматривать параметры SMART, поэтому рекомендуются к использованию.

Я не хочу читать всю статью. На какой срок службы твердотельного накопителя можно рассчитывать в среднем? Речь о диске под систему, программы и игры для домашнего ПК.

В большинстве случаев – 5-10 лет.

Заключение

Если резюмировать изложенное в статье, можно заключить, что качественные твердотельные накопители от авторитетных производителей (не Noname из Китая!) не уступают по надежности традиционным жестким дискам, а нередко и превосходят их. Если ваш SSD не вышел из строя в первый год работы по причине брака, то с крайне высокой вероятностью он прослужит как минимум до выработки заявленного производителем ресурса, а часто и гораздо дольше. Скорее устареют другие комплектующие ПК, чем выйдет из строя твердотельный накопитель, при этом за годы его работы стоимость за гигабайт успеет значительно снизиться, и за условные 100 долларов можно будет взять гораздо более емкую модель, чем сейчас.

Google рассказала о своём опыте использования SSD-накопителей в центрах обработки данных

Крупные компании не так давно стали активно использовать твердотельные накопители в своих центрах обработки данных, из-за чего имеется не так много информации о том, как эти накопители ведут себя при данном сценарии использования.

реклама

Исследование принесло несколько весьма неожиданных результатов. Так, выяснилось, что на надёжность твердотельных накопителей влияет их возраст, а не интенсивность использования. Ещё выяснилось, что накопители высокого класса на памяти SLC не более надёжны, чем накопители с памятью MLC. Отказы SSD-накопителей случаются реже, чем винчестеров, но у SSD выше скорость появления неисправимых ошибок. Поэтому исследователи в случае использования SSD рекомендуют чаще проводить резервное копирование файлов.

Надежность SSD: статистика от Google

Уже давно присматривался к SSD дискам. Но все как-то не торопился приобрести себе такой. Меня останавливали два обстоятельства: Во-первых – цена. Действительно, при одинаковой емкости дисков HDD и SSD цена явно не в пользу второго. Во-вторых – надежность. Мне все время казалось, что одна тысяча циклов перезаписи – это очень мало.

Перелопатив массу технической информации, я понял, что все мои опасения оказались напрасными. Теперь попробую развеять ваши сомнения и доказать, что SSD диск стоит того чтобы его купить.

Рассеиваем миф о надежности SSD дисков

Как устроен твердотельный диск? Если разобрать SSD диск, то внутри мы обнаружим небольшую печатную плату с микросхемами. В нем нет никаких подвижных частей, вся информация хранится в специальных чипах памяти.

В HDD дисках для хранения информации используются специальные магнитные диски. Подвижные магнитные головки считывают с них информацию. Вся система HDD построена на механическом перемещении головки относительно вращающихся дисков. Чем быстрее движутся механические части, тем выше скорость записи и чтения информации. Самый главный недостаток таких дисков – слабая стойкость к механическим воздействиям.

У SDD дисков с этим все в порядке. Конечно, удар молотка они вряд ли выдержат, но, думаю, при значительных трясках и падениях им ничего не угрожает.

Другое дело количество циклов перезаписи информации! Здесь, как мне вначале казалось, все плохо.

Существует несколько типов памяти, которые применяют для изготовления твердотельных дисков: SLC, MLC, TLC. При этом диски на основе MLC памяти могут выдержать около 3000 циклов перезаписи одной ячейки памяти. Для TLC дисков дела обстоят еще хуже, они способны перезаписываться всего 1000 раз.

Давайте узнаем у производителей, зачем же они тогда делают такие ненадежные системы. На официальном сайте фирмы KINGSTONE я наткнулся на такую информацию:

Это многое объясняет! Если SSD диск мы будем использовать исключительно для системы и установленных программ, то трафик получится незначительным и жесткий диск прослужит долго. В это же время мы получаем значительный прирост производительности системы в целом.

Давайте разберем на цифрах. Возьмем, как пример, одну из бюджетных моделей SDD дисков – Kingston UV400 120Gb.

Смотрим его технические параметры:

• Тип памяти: TLS;
• Ожидаемый срок службы: 1 миллион часов (средняя наработка на отказ);
• Суммарное число записываемых байтов : 50ТБ.

На миллион часов службы обращать внимание не будем, т.к. не совсем понятно, о чем тут идет речь. Другое дело суммарное число записываемых байтов. Эта цифра как раз показывает, столько информации на себе может «унести» такой диск.

Итак – 50 терабайт! 50 терабайт = 50000 гигабайт

Допустим, каждый день мы будем перезаписывать 10 гигабайт информации.

Делим 50000 гигабайт на 10, получаем 5000 дней работы, а это – 13 лет.

Согласитесь, не каждый HDD диск протянет так долго.

Вывод

На деле SSD диск оказался вполне надежным и перспективным устройством. Конечно, цены на них еще кусаются. Но прирост быстродействия компьютера в несколько раз стоит того чтобы приобрести данное устройство.

SSD накопители ненадежны – статистика Google

SSD накопители, которые в последнее время набирают все большую и большую популярность, оказались не такими надежными, как хотелось бы. Как сообщают источники, Google недавно опубликовал отчет, в котором говорится о том, что у 30-80% SSD накопителей в течение четырех лет появляются поврежденные блоки.

Причины отказа SSD

Это связано с тем, что большинство SSD используют MLC NAND ячейки памяти, которые, к сожалению, после нескольких тысяч циклов перезаписи становятся непригодными. Однако это не значит, что накопитель сразу же перестанет работать, просто по мере износа его объем будет уменьшаться. Появление большого количества дефектных блоков сигнализирует как рекомендация к замене устройства на новое.

На данный момент самый крупный поставщик NAND памяти – компания Samsung. Недавно они начали выпускать более модернизированный тип памяти с ловушкой заряда (CTF), которые являются более устойчивыми.

На долгой дистанции лидером по надежности остается диск HDD

Эра популяризации SSD началась с введением на рынок Windows 7. Это первая система от Microsoft, которая правильно работала с этим типом памяти и не вела к преждевременному выходу диска из строя. В то же время появились первые серьезные проблемы с этими носителями.

Источник беспокойства

Вновь установленный носитель SSD в системе Windows XP работал плавно, однако, с течением времени, чрезмерное количество записей, генерируемых системой, вызывало неисправности в работе SSD. То не было ни виной системы, ни оборудования – плохой идеей было просто такое соединение продуктов.

В начальной стадии развития SSD возникали также проблемы с дисками Intel. В большинстве испытаний были отличные результаты, однако, попытка использования в тесте Iometer вела к повреждению носителя. В реальных условиях продукты работали без оговорок.

Большую неудачу потерпела компания OCZ, которая в серии дисков Vertex использовала новаторский контроллер, встроенный в SSD. По разным сообщениям, до ⅓ всех носителей вышли из строя в течение первого года работы.

Однако, для современных SSD производители гарантируют очень высокий уровень TBW. Поэтому слабая стойкость дисков SSD – это прошлое.

Total Bytes Written – главный параметр диска SSD

Указанный выше параметр TBW (от англ. Total Bytes Written) является наиболее важным параметром, определяющим качество SSD. Им обозначают общее количество терабайт, запись которых производитель гарантирует для данной модели.

Значения TBW зависят, в первую очередь, от типа используемой флэш-памяти. При условии, что система записывает на диск, в среднем, несколько гигабайт в день, типичный дешевый SSD с уровнем TBW порядка 20-50 ТБ прослужит около 10 лет.

TBW зависит от количества, так называемых, циклов стирания и записи одной ячейки памяти. У памяти TLC (Triple Level Cell) 500-3000 циклов, а для памяти MLC (Multi Level Cell) этот параметр на уровне 3000-10000 циклов. Самые дорогие, но самый эффективный и наиболее надежные модели SSD используют память SLC (Single Level Cell) – количество операций стирания и записи ячеек памяти достигает 100 000 циклов.

Забота о прочности SSD

Инженеры, создающий SSD, разумеется, знают об этих ограничениях записи, поэтому используют соответствующие функции. К наиболее важным следует отнести Wear Leveling – равномерное чередование записей в наименее нагруженных ячейках.

Специальные таблицы, собирающие информацию о проделанном числе записей, позволяют размещать в ячейках, находящихся ближе «к концу жизни», те данные, которые предназначены только для чтения (чтение данных не расходует ресурс SSD). Кроме того, каждая память SSD имеет запас ячеек для замены поврежденных.

Современные компьютеры имеют всё больше и больше оперативной памяти, поэтому в последнее время вернулись к идее использования её в качестве, так называемого, ram-диска, используемого для кэширования данных. Такие решения предлагают, в частности, Crucial и Plextor. Имея в виду продление работы SSD за счет уменьшения количества записей, виртуальный диск имеет смысл.

Появляются новые алгоритмы, управляющие сохранением данных в памяти, поэтому стоит проверять наличие новой прошивки для SSD. Установив программное обеспечение производителя, также стоит использовать предлагаемые изменения в конфигурации системы, которые направлены на увеличение срока службы и производительности SSD.

Тестирование SSD на прочность

Многие компании пытались измерить срок службы SSD – хороших результатов достигли в TechReport. В тесте проверили поведение несколько разных накопителей емкостью 240 ГБ. Самым слабым оказался Samsung SSD 840 с памятью TLC, который без проблем записал 100 ТБ данных, после чего стал происходить перенос данных из поврежденных ячеек в запасные. При дальнейшей работе диск смог перезаписать ещё почти 900 ТБ данных.

Kingston HyperX с памятью MLC записал без проблем около 600 ТБ, а при возникновении признаков перераспределения ячеек ещё 200 ТБ. Intel SSD 335 записал 728 ТБ, а затем переключился в режим «только чтение», что позволяет скачать записанные данные.

Лучший результат показал Samsung 840 Pro. Правда, переназначение секторов начало происходить после записи около 600 ТБ данных, однако, полное повреждение SSD произошло после сохранения 2,5 PB. Ни в одном из протестированных дисков не наблюдалось падения производительности.

Провести тесты SSD в большом масштабе обещает компания Backblaze – поставщик облачных услуг. В случае жестких магнитных дисков она регулярно выпускает отчеты для десятков тысяч используемых приводов.

SSD для параноиков

Если невероятно высокая долговечность SSD Вас ещё не убедила, Вы всегда можете перестраховаться. Одним из самых простых способов является массив RAID1, то есть дублирование данных на двух дисках.

Если у вас нет доверия к SSD, можно использовать массив RAID1, состоящий из одного твердотельного диска и одного жесткого диска. Благодаря этому, Вы получите скорость работы и уверенность в том, что никакие данные не будут потеряны в случае сбоя любого из носителей данных. Кроме того, решение будет дешевле, чем массив, состоящий из двух дисков SSD.

MTBF не определяет срока службы диска

Купив SSD, не стоит руководствоваться параметром MTBF (Mean Time Between Failures). В случае жестких дисков (HDD) он измеряется в сотнях тысяч, а SSD – в миллионах часов.

Например, среднее время наработки на отказ жесткого диска Seagate Barracuda 7200.11 – 700 тысяч. часов. Может показаться, что диск не завершит работу в течение 240 лет при работе по 8 часов в сутки. К сожалению, MTBF означает только вероятность отказа – 2920 часов в год (8 часов в день), деленное на 700 000 часов и умножить на 100%, означает, что вероятность отказа 0,42%. Другими словами один диск из 240 выходит из строя в течение года.

Надежность SSD: статистика от Google

Адрес этой статьи в Интернете: https://www.thg.ru/storage/chto_nadezhnee_ssd_ili_hdd/

Безопасно ли хранить файлы на SSD? Начнём с предыстории. SSD-накопители вышли на сцену в тот момент, когда компания Intel представила новую архитектуру процессоров Nehalem и одновременно объявила о том, что «узким местом» в новых ПК отныне являются не процессоры, а жёсткие диски, производительность которых, в самом деле, практически не прогрессировала. На форуме для разработчиков ( >Но производительность — далеко не единственный показатель для устройства хранения данных. Когда дело доходит до ваших данных, даже самый быстрый накопитель в мире ничего не стоит, если вы не можете быть уверены в том, что он может надёжно хранить информацию. Данная тема ещё более актуальна сейчас, в связи с массовым переходом к техпроцессу 25 нм. Более тонкий техпроцесс предполагает снижение стоимости производства NAND-памяти, поэтому тенденция закономерна, и даже на 25 нм ячейках процесс не остановится. За последние два года Intel дважды переходила на более тонкий техпроцесс NAND-памяти для SSD-накопителей: с 34 нм на 25 нм и с 25 нм на 20 нм Вместе с тем, инженерам всё труднее преодолевать проблемы с памятью, произведённой по технологии 25 нм. Но нынешние покупатели всё ещё могут рассчитывать на лучшую производительность и надёжность новых твердотельных накопителей, по сравнению с предыдущим поколением. Снижение количества циклов перезаписи ячеек, обусловленное переходом на более тонкий техпроцесс, приходится как-то компенсировать. Тип SSD Гарантированное число циклов перезаписи Общее количество записанных Тбайт (по формуле JEDEC) Ресурс накопителя (10 Гбайт/день, WA = 1,75) 25 нм, 80 Гбайт 3000 68,5 Тбайт 18,7 лет 25 нм, 160 Гбайт 3000 137,1 Тбайт 37,5 лет 34 нм, 80 Гбайт 5000 114,2 Тбайт 31,3 лет 34 нм, 160 Гбайт 5000 228,5 Тбайт 62,6 лет Таким образом, не нужно переживать по поводу количества циклов перезаписи, которые способен выдержать ваш SSD. Для предыдущего поколения твердотельных накопителей, где применялась NAND-память, изготовленная по 34-нм техпроцессу, гарантированное число циклов перезаписи составляло 5000. Иными словами, вы можете записывать и стирать ячейку NAND 5000 раз до тех пор, пока она не начнёт терять способность сохранять данные. Исходя из того, что среднестатистический пользователь пишет, максимум, 10 Гбайт в день, потребуется примерно 31 год, чтобы диск пришёл в негодность. Для нового поколения SSD с 25-нм памятью продолжительность жизни диска составляет около 18 лет. Конечно, здесь мы очень упрощаем реальное положение вещей. Такие специфические для SSD проблемы, как усиление записи (write amplification), сжатие данных и сборка мусора могут влиять на реальный результат. Тем не менее, понятно, что нет веских причин сразу после покупки SSD-диска начинать отсчитывать часы до того момента, когда ему придёт конец. С другой стороны, мы точно знаем, что некоторые SSD-накопители уже пришли в негодность. В этом легко убедиться, изучив данный вопрос на форумах или в отзывах интернет-магазинов. Но проблема в данном случае заключается не в исчерпании ресурса ячеек. Как правило, к выходу диска из строя приводит ошибка прошивки. Нам известны случаи, когда производители настоятельно рекомендуют подвергнуть новый диск перепрошивке, что способствует повышению надёжности, а иногда и заметному улучшению производительности накопителя. Ещё одна причина выхода из строя SSD связана с электронной начинкой. Конденсатор или чип памяти могут прийти в негодность, что приводит к поломке диска. Конечно, мы ожидаем меньшего количества подобных проблем, по сравнению с обычными HDD, имеющими движущиеся детали, которые неизбежно выходят из строя по истечении определённого времени. Но правда ли, что отсутствие движущихся деталей делает твердотельный накопитель надёжнее диска на магнитных пластинах? Этот вопрос волнует всё большее число компьютерных энтузиастов и IT-специалистов. Именно он заставил нас проанализировать реальную надёжность SSD, чтобы отделить факты от беллетристики. Что мы знаем о накопителях? SSD — относительно новая технология (во всяком случае, по сравнению с жёсткими дисками, возраст которых приближается к 60 годам). Таким образом, нам предстоит сравнить новый тип накопителей с технологией, проверенной временем. Но что мы реально знаем о надёжности обычных жёстких дисков? На этот вопрос проливают свет два важных академических исследования. В 2007 году компания Google обнародовала исследование надёжности 100 000 дисков потребительского уровня с интерфейсом PATA и SATA, применявшихся в дата-центрах Google. Примерно в то же время доктор Бианка Шредер (Bianca Schroeder) совместно с экспертом доктором Гартом Гибсоном (Garth Gibson) провели расчёт частоты замены более 100 000 накопителей, которые применялись в одной из крупнейших национальных лабораторий США. Разница между этими двумя исследованиями лишь в том, что во втором случае в исследовании участвовали накопители с интерфейсом SCSI и Fibre Channel, а не только PATA и SATA. Тем, кто хочет более детально ознакомиться с результатами академических изысканий, мы советуем прочитать хотя бы второй — в 2007 году этот аналитический отчет был признан лучшим на конференции File and Storage Technologies (FAST ’07) в США. Если чтение подобных источников не входит в ваши планы, мы приводим здесь ключевые моменты, непосредственно затрагивающие интересующий нас вопрос. Средняя наработка до отказа (MTTF) Если речь идёт об измерении надёжности накопителя, можно вспомнить о таких двух показателях, как средняя наработка на отказ (MTBF — Mean Time Between Failures), под которой понимается среднее время между отказами, а также средняя наработка до отказа (MTTF — Mean Time To Failure), ключевым отличием которой является допущение, что после отказа система не может быть восстановлена. Вот что пишет на этот счет Википедия: В английском языке используется термин MTBF (Mean Time Between Failures) — среднее время между отказами или наработка на отказ, а также MTTF (Mean Time To Failure) — средняя наработка до отказа. Следует заметить, однако, что публикуемые величины MTBF/MTTF часто основываются на результатах ускоренных испытаний — в течение ограниченного времени, позволяющего выявить преимущественно долю производственного брака. В таком случае, заявленное значение MTBF говорит не столько собственно о надёжности, и тем более не о долговечности, сколько о проценте забракованных изделий. Например, MTBF порядка 1 млн/ч для жёсткого диска, очевидно, не означает 114 лет непрерывной безотказной работы — и не только потому, что эксперимент такой продолжительности не мог быть проведён, но и потому, что сам производитель назначает ресурс (срок службы) не более 5—10 лет и гарантийный срок 1—5 лет. Рассмотрим в качестве примера накопитель Seagate Barracuda 7200.7, который имеет заявленный показатель наработки на отказ 600 000 часов. В любой крупной выборке накопителей половина этих дисков выйдет из строя в первые 600 000 часов работы. Так как статистика отказов HDD в крупной выборке распределена относительно равномерно, следует ожидать, например, что каждый час будет выходить из строя один диск. При таком значении MTBF можно расчитать частоту отказов за год (Annualized Failure Rate, AFR), которая составит 1,44%. Но исследования Google и доктора Бианки Шредер выявили совсем иные показатели. Дело в том, что число вышедших из строя накопителей не всегда соответствует количеству дисков, которые подлежали замене. Вот почему Шредер измеряла не рейтинг отказов (AFR), а интенсивность замены накопителей (Annualized Replacement Rate — ARR). Рейтинг ARR основывается на реальном количестве накопителей, заменённых согласно данным сервисных журналов: В то время, как значение AFR по даташитам варьируются от 0,58% до 0,88%, наблюдаемые показатели замены дисков ARR составляют от 0,5% до 13,5%. Таким образом, наблюдаемый показатель ARR, в зависимости от конфигурации накопителей и их типа, может быть до 15 раз выше, чем значения AFR в соответствии с даташитами. Производители жёстких дисков определяют число отказов иначе, чем это делаем мы, а потому не удивляет, что данные, которые они приводят, не соответствуют реальной надёжности накопителей. Обычно рейтинг MTBF определяется на основе ускоренного тестирования, информации о возврате винчестеров или с помощью тестирования отобранных дисков. Данные о возврате накопителей — весьма сомнительная информация. Как утверждает Google, «мы сталкивались. с ситуациями, когда тест накопителей давал «зелёный свет» дискам, которые неизбежно отказывали на практике». Статистика отказов HDD по времени Большинство пользователей считает, что график кривой отказа HDD имеет форму ванной. Вначале мы ожидаем, что многие диски выходят из строя вследствие так называемой «детской болезни», то есть различного рода заводских недоработок и непосредственно процесса «обкатки». Затем, по завершении начального периода, процент отказа дисков должен быть минимален. Наконец, в конце предполагаемого срока службы, кривая отказа HDD неотвратимо ползёт вверх, так как детали накопителя имеют определённый ресурс. Подобный ход мысли, который представляется вполне логичным, отражён на следующем графике. Но этот график не соотвествует реальному положению вещей. Исследования Google и доктора Бианки Шредер показали, что отказы HDD с течением времени стабильно увеличиваются. Надёжность дисков Enterprise-класса При сравнении двух исследований можно представить, что показатель 1 000 000 MTBF для диска Cheetah намного ближе к заявленным в даташите MTBF 300 000 часов. Это означает, что накопители «потребительского» и Enterprise-класса имеют примерно одинаковый процент ежегодного выхода из строя, особенно когда сравниваются диски примерно равного объёма. Как утверждает директор по техническому планированию компании NetApp Вал Берцовичи (Val Bercovici), «. то, как дисковые массивы справляются с соответствующими отказами жёстких дисков, продолжает создавать в восприятии потребителя точку зрения, что более дорогие диски должны быть более надёжными. Одна из грязных тайн данной индустрии заключается в том, что большинство дисков Enterprise-класса состоит из тех же компонентов, что и накопители потребительского класса. Тем не менее, их внешние интерфейсы (FC, SCSI, SAS и SATA) и, что более важно, специфические особенности firmware, оказывает наибольшее влияние на поведение дисков потребительского и Enterprise-класса в реальных условиях». Безопасность данных и RAID Исследование Шредер охватывает диски Enterprise-класса, задействованные в больших RA >Распределение времени между заменами диска показывает снижение частоты отказов, что означает, что ожидаемый промежуток времени до очередной замены диска постепенно увеличивается с тех пор, как был заменён предыдущий диск. Таким образом, отказ одного накопителя в массиве повышает вероятность отказа другого накопителя. Чем больше времени прошло с последней замены диска, тем больше времени пройдёт до замены другого. Конечно, это имеет последствия с точки зрения реконструкции RAID-массива. После первого отказа в четыре раза возрастает вероятность того, что вы столкнётесь с очередным выходом диска из строя в течение того же часа. В пределах 10 часов вероятность отказа диска увеличивается только в два раза. Ещё один неожиданный вывод можно сделать из отчёта Google. Исследователи брали показатели температуры SMART (Self-Monitoring, Analysis and Reporting Technology) – технологии, которую поддерживает большинство жёстких дисков. И обнаружили, что более высокая температура накопителя никак не коррелирует с более высокой частотой отказов. Судя по всему, температура оказывает воздействие на надёжность старых накопителей, но и в этом случае эффект не столь значителен. Технология SMART — действительно умна? SMART по-английски означает «умный», но действительно ли данная технология контроля состояния винчестера справляется со своей функцией? Если ответить кратко, то нет. Технология SMART создавалась для того, чтобы сообщать об ошибках диска достаточно рано для того, чтобы вы могли осуществить резервное копирование данных. Однако, согласно отчёту Google, более трети вышедших из строя накопителей не включили режим тревоги SMART. Данный факт особо не удивляет, так как многие специалисты годами подозревали нечто подобное. В действительности, технология SMART оптимизирована на обнаружение механических неполадок, в то время как основную часть функциональности жёсткого диска обеспечивает электронная начинка. Вот почему некорректная работа HDD и неожиданные проблемы, вроде внезапного отключения питания, остаются незаметными для SMART до тех пор, пока не возникают ошибки, связанные с целостностью данных. Если вы рассчитываете на то, что SMART сообщит вам о грядущем выходе диска из строя, всё равно необходимо обеспечить дополнительный уровень защиты, если вы хотите быть уверены в сохранности данных. Теперь посмотрим, как в противостоянии с жёсткими дисками ведут себя SSD-накопители. Кратко о надёжности SSD К сожалению, ни один из производителей жёстких дисков не публикует данные о возврате, но это же относится и к производителям SSD. Тем не менее, в декабре 2010 сайт Hardware.fr представил отчёт по частоте отказов HDD, полученный от родительской компании LDLC, являющийся одним из лидеров компьютерного ритейла во Франции. На сайте имелся следующий комментарий относительно того, как они рассчитывали данный показатель: Частота возврата охватывает накопители, проданные между 1 октября 2009 и 1 апреля 2010, возвраты которых состоялись до октября 2010, то есть период эксплуатации составлял от 6 месяцев до года. Статистика по производителям основана на минимальной выборке от 500 экземпляров, а по моделям — на минимальной выборке от 100 экземпляров. Как можно понять, речь идёт не об интенсивности отказов, а о количестве возвратов. Возможно, языковой барьер ответственен за то, как интерпретировали данный факт англоязычные IT-издания. Такие сайты, как Mac Observer и ZDNet недостаточно корректно обозначили эти данные как «частоту отказов», вероятно, основываясь на автоматическом переводе Google. Продажи между 10.1.2009 и 4.1.2010, возвраты до 10.1.2010 Жёсткие диски объёмом 1 Тбайт Модели дисков Статистика возвратов Hitachi Deskstar 7K1000.B 5,76% Hitachi Deskstar 7K1000.C 5,20% Seagate Barracuda 7200.11 3,68% Samsung SpinPoint F1 3,37% Seagate Barracuda 7200.12 2,51% WD Caviar Green WD10EARS 2,37% Seagate Barracuda LP 2,10% Samsung SpinPoint F3 1,57% WD Caviar Green WD10EADS 1,55% WD Caviar Black WD1001FALS 1,35% Maxtor DiamondMax 23 1,24% Жёсткие диски объёмом 2 Тбайт WD Caviar Black WD2001FASS 9,71% Hitachi Deskstar 7K2000 6,87% WD Caviar Green WD20EARS 4,83% Seagate Barracuda LP 4,35% Samsung EcoGreen F3 4,17% WD Caviar Green WD20EADS 2,90% SSD-диски Intel 0,59% Corsair 2,17% Crucial 2,25% Kingston 2,39% OCZ 2,93% Продажи между 4.1.2010 и 10.1.2010, возвраты до 4.1.2011 Жёсткие диски объёмом 1 Тбайт Модели дисков Статистика возвратов Samsung SpinPoint F1 5,20% WD Caviar Green (WD10EADS) 4,80% Hitachi Deskstar 7K1000.C 4,40% Seagate Barracuda LP 4,10% WD Caviar RE3 WD1002FBYS 2,90% Seagate Barracuda 7200.12 2,20% WD Caviar Black WD1002FAEX 1,50% Samsung SpinPoint F3 1,40% WD Caviar Black WD1001FALS 1,30% WD Caviar Blue WD10EALS 1,30% WD Caviar Green WD10EARS 1,20% Жёсткие диски объёмом 2 Тбайт Hitachi Deskstar 7K2000 5,70% WD Caviar Green WD20EADS 3,70% Seagate Barracuda LP 3,70% WD Caviar Black WD2001FALS 3,00% WD Caviar Green WD20EARS 2,60% WD Caviar RE4-GP WD2002FYPS 1,60% Samsung EcoGreen F3 1,40% SSD-диски Intel 0,30% Kingston 1,20% Crucial 1,90% Corsair 2,70% OCZ 3,50% Отказ диска подразумевает, что устройство больше не функционирует. Но возврат может предполагать множество причин. Это создаёт определённую проблему, ведь у нас нет никакой дополнительной информации по причинам возврата дисков: они могли быть мертвы ещё при поступлении в магазин, сломаться в течении срока эксплуатации или всего лишь имела место некая несовместимость с железом, помешавшая покупателю использовать накопитель. Продажи между 10.1.2009 и 4.1.2010, возвраты до 10.1.2010 Top-3 лидеров возврата SSD Статистика возвратов Top-3 лидеров возврата HDD Статистика возвратов OCZ Vertex 2 90 Гбайт 2,80% Seagate Barracuda 7200.11 160 Гбайт 8,62% OCZ Agility 2 120 Гбайт 2,66% Samsung SpinPoint F1 1 Tбайт 4,48% OCZ Agility 2 90 Гбайт 1,83% Hitachi Deskstar 7K2000 3,41% Продажи между 4.1.2010 и 10.1.2010, возвраты до 4.1.2011 OCZ Agility 2 120 Гбайт 6,70% Seagate Barracuda 7200.11 160 Гбайт 16,00% OCZ Agility 2 60 Гбайт 3,70% Hitachi Deskstar 7K2000 2 Tбайт 4,20% OCZ Agility 2 40 Гбайт 3,60% WD Caviar Black WD2001FASS 4,00% Эта информация лишь преумножает количество вопросов. Если основная часть продаж осуществлялась через интернет-магазин, то существенное влияние на статистику отказов могла оказать плохая упаковка или повреждения в ходе доставки. Более того, мы также не имеем никакой возможности выяснить, как покупатели использовали эти диски. Существенный разброс в частоте отказов лишь подчёркивает данную проблему. Например, число возвратов для Seagate Barracuda LP увеличилось с 2,1% до 4,1%, в то время как для Western Digital Caviar Green WD10EARS она упала с 2,4% до 1,2%. Так или иначе, эти данные действительно ничего не говорят нам о надёжности. Но для чего, в таком случае, они вообще нужны? Вывод заключается лишь в том, что во Франции большинство покупателей были более чем удовлетворены покупкой Intel SSD и не возвращали их, в отличие от накопителей других брендов. Удовлетворение потребителя – тема интересная, но она намного менее интересна, чем реальная частота отказов. Так что продолжим наш анализ. Стоимость за гигабайт продолжает оставаться барьером, мешающим даже крупным организациям использовать тысячи SSD одновременно. Но даже с учётом того, что мы не имеем доступа к полноценным массивам твердотельных накопителей, не означает, что мы не можем осветить вопрос надёжности SSD в реальных условиях, основываясь на опыте небольших организаций. Мы решили связаться с нашими знакомыми, работающими в сфере IT, и получили довольно интересные отзывы нескольких дата-центров. NoSupportLinuxHosting.com: меньше 100 SSD Зеркалирование загрузочного раздела на основе двух SSD-дисков Intel X25-V Хостинг «No Support Linux» не приводит точное число установленных накопителей, но компания сообщает, что использует «немалое количество» SSD. Мы знаем, что они применяют менее сотни твердотельных дисков, которые задействованы следующим образом: Intel X25-V объёмом 40 Гбайт используются как зеркалируемые загрузочные диски для тонких серверов и серверов хранения данных ZFS; Intel X25-M объёмом 160 Гбайт используются в качестве кэша L2ARC в серверах ZFS; Intel X25-E объёмом 32 Гбайт используются как зеркалируемые ZIL-тома в серверах ZFS. Все эти диски используются не менее одного года, а некоторым из них недавно исполнилось два года. С учётом сказанного необходимо отметить, что компания не сталкивалась ни с одним фактом выхода из строя SSD-накопителя. Когда мы спросили, какие преимущества даёт применение твердотельных дисков в серверах, мы получили следующий ответ: В сочетании с ZFS и гибридными системами хранения, применение SSD-накопителей позволяет получить существенный прирост производительности, по сравнению с традиционными дисками на магнитных пластинах. Мы по-прежнему используем жёсткие диски в качестве основного хранилища, так что мы можем сохранить их преимущество в цене, одновременно извлекая преимущество от SSD по скорости. Рано или поздно, мы планируем полностью перевести наши сервера SAN на SSD-накопители. Но в течение 2011 году мы будем придерживаться гибридной системы хранения, используя ZFS. InterServer использует твердотельные диски лишь на серверах баз данных. В частности, на серверах с процессором Xeon используются накопители Intel X25-E (SSDSA2SH032G1GN), что позволяет извлечь максимальный результат от высокой пропускной способности накопителя. О каких значениях производительности здесь идёт речь? InterServer говорит нам о достижении 4514 запросов в секунду для сервера MySQL. На старом сервере Xeon, оснащённом >Итак, компания InterServer сообщила нам следующую информацию в контексте использования SSD: Intel SSD — день и ночь в отношении надёжности, когда речь заходит о сравнении с некоторыми другими накопителями. Например, диски SuperTalent SSD имеют весьма высокий показатель отказов, включая модели FTM32GL25H, FTM32G225H и FTM32GX25H. По нашим оценкам, около двух третей этих дисков вышли из строя с начала эксплуатации. Причём, после выхода из строя информацию с этих дисков практически нельзя было восстановить. То есть накопитель просто исчезал из системы и его больше невозможно было прочитать. Жёсткие диски «умирают» более благородно и в большинстве случаев информацию с них легко восстановить. Но мы не можем сравнить их с Intel SSD, так как до сих пор ещё не сталкивались с выходом из строя последних. Steadfast Networks: более 100 SSD Steadfast Networks применяет около 150 SSD Intel, что делает данную компанию несколько более крупным пользователем SSD, чем две предыдущие. Применяются модели линейки X25-E (32 Гбайт и 64 Гбайт) и X25-M (80 Гбайт и 160 Гбайт). В меньшем количестве представлены накопители Intel X25-V40 объёмом Гбайт, а также установленные клиентами компании твердотельные диски других марок, такие как OCZ Vertex 2, SuperTalent и MTron Pro. Независимо от марки, все эти SSD применяются только в серверах баз данных либо в качестве кэша. Steadfast Networks — почти 150 SSD в работе За два года использования твердотельных накопителей Steadfast Networks лишь дважды имела опыт отказа дисков, потребовавших их замены, причём оба случая привели к необходимости восстановления данных с SSD. Возможность восстановления данных с вышедшего из строя твердотельного диска зависит от взаимодействия между контроллером и firmware. Сценарий, описанный представителем InterServer относительно дисков SuperTalent, является худшим из возможных — данные вообще не удалось восстановить. Но этот случай не является общим правилом для SSD. Тип Количество Средний показатель AFR Текущий срок жизни диска SSD около 150 1,60% 2+ HDD около 2800 5% 6+ Имея большую выборку, мы, наконец, нашли случаи отказов SSD. Но по сравнению с накопителями на магнитных пластинах их процент по-прежнему достаточно низок. Тем не менее, президент компании Steadfast Networks Карл Циммерман (Karl Zimmerman) считает, что это всё же занижает преимущества SSD и поясняет это следующим образом: Просто мы получаем заметно более высокую производительность операций ввода/вывода [при использовании SSD] по меньшей цене, чем могли бы получить то же самое, используя обычные жёсткие диски. У нас много клиентов, которым нужна большая производительность I/O, чем могут дать четыре SAS-диска со скоростью вращения шпинделя 15 000 об/мин в конфигурации RAID 10, не говоря уже о том, что сам по себе подобный апгрейд требует перехода на сервера с большим шасси, поддерживающим более четырёх дисков, оснащённые крупной платой RAID и т. д. Другим конфигурациям необходимо больше 16 дисков со скоростью шпинделя 15 000 об/мин, чтобы обеспечить требуемый уровень производительности операций I/O. Переход на один SSD (или пары штук в RAID-конфигурации) значительно упрощает конфигурацию сервера и, в целом, делает её ощутимо дешевле. Достаточно сказать лишь о том, что обычно достаточно одного SSD, чтобы заменить не меньше четырёх жёстких дисков, причём показатель AFR для четырёх HDD составляет около 20%, в то время как для одного SSD он равен 1,6%. Softlayer: около 5000 SSD! Softlayer: свыше 1000 SSD! Люди из Softlayer — наши давние друзья, а ещё они создали крупнейшую в мире хостинг-компанию. Так что, о хранении данных они знают немало. Используя около 5000 SSD-накопителей, они предоставили нам впечатляющий объём данных для анализа. Вот отчёт, предоставленный компанией Softlayer. Накопитель Число дисков в компании Рейтинг AFR Текущий срок жизни диска Intel 64 GB X25-E (SLC) 3586 2,19% 2 Intel 32 GB X25-E (SLC) 1340 1,28% 2 Intel 160 GB X25-M (MLC) 11 0% менее 1 HDD-накопители 117 989 см. отчет Шредер Опыт Softlayer в отношении частоты отказов дисков SAS и SATA соотвествует отчёту Google, о которым мы говорили в начале данной статьи. Проще говоря, частота выхода из строя жёстких дисков прямо пропорциональна возрасту накопителя и на практике результаты очень близки к тому, что доказали исследования Google и Шрёдер. В первом году жизни процент отказов накопителей (AFR) составляет 0,5-1% и постепенно возрастает до 5-7% к пятому году жизни. Частота выхода из строя жёстких дисков не удивляет, но показатель выхода из строя твердотельных накопителей оказался достаточно близок к результатам AFR по HDD. Конечно, SSD-диски эксплуатируются пока всего два года и нужно подождать, пока пройдёт 3-4 года с начала эксплуатации, чтобы узнать, сохранится или нет в отношении к SSD-дискам тенденция увеличения частоты отказов, характерная для магнитных накопителей. Softlayer использует почти полностью SSD-накопители на основе SLC-памяти, чтобы избежать проблем с износом ячеек при многократных операциях перезаписи. Если основываться на сценариях использования компанией накопителей, то мы знаем, что ни один из дисков не вышел из строя по причине износа ячеек. Но многие из отказавших SSD вышли из строя без соответствующего предупреждения SMART. Это именно то, о чём мы уже неоднократно слышали от сотрудников дата-центров. Как отмечали специалисты компании InterServer, жёсткие диски имеют склонность выходить из строя более «благородно». SSD зачастую «умирают» внезапно, независимо от причины поломки, что отмечают многие конечные пользователи по всему миру. Опыт Softlayer более разнообразный, по сравнению с InterServer: некоторые накопители удалось восстановить, а другие — нет. Ни один из 11 накопителей Intel серии X25-M в Softlayer не вышел из строя, но дисков этой линейки слишком мало, чтобы на основе этого делать какие-либо выводы, да и эксплуатируются они менее года. Так ли важна надёжность накопителя? Несмотря на то, что твердотельные диски на SLC-памяти занимают всего лишь часть рынка SSD, мы получили намного больше информации по данному типу накопителей, чем по моделям, в которых используется более дешёвая память типа MLC. Даже с учётом того, что выборка накопителей в нашем обзоре составляет 1/20 от количества жёстких дисков в предыдущих обзорах, имеющаяся информация позволяет считать, что твердотельные диски на SLC-памяти нельзя назвать более надёжными, чем жёсткие диски с интерфейсом SAS и SATA. Если вы потребитель, данный факт позволяет сделать важные выводы. Производители SSD пытаются акцентировать внимание на двух основных преимуществах данной технологии: лучшей производительности и надёжности. Однако, если хранить данные на SSD не более безопасно, чем на обычном жёстком диске, то производительность становится единственной реальной причиной для приобретения твердотельного диска. Мы не утверждаем здесь, что производительность SSD не важна (или не впечатляет). Тем не менее, сама по себе технология SSD в данный момент имеет узкую специфику. Если бы вы собрались противопоставить твердотельные накопители против жёстких дисков по скоростным характеристикам, то обнаружили бы интересный факт: по производительности SSD-накопитель бюджетного класса превосходит HDD примерно на 85%. Твердотельный диск класса Hi-End обеспечивает преимущество над жёстким диском на 88%, что также не слишком впечатляет. Эта достаточно тонкая разница объясняет, почему такие компании, как Intel, акцентируют внимание именно на надёжности твердотельных накопителей. На недавней презентации новой линейки SSD 320 компания Intel вновь попыталась обыграть этот мотив, используя информацию по возвратам дисков с сайта Hardware.fr в качестве доказательства надёжности своих изделий. Несомненно, именно отличная репутация SSD-накопителей Intel является ответом на вопрос, почему у нас так много информации по твердотельным дискам данной марки. Но данные Hardware.fr, которые приводит Intel, похоже, не соотвествуют реальному положению вещей. Производительность SSD-накопителей будет лишь расти, в то время как наиболее продвинутые производители будут снижать стоимость таких дисков. Вместе с тем, это означает, что производителям придётся искать иные способы дифференцировать свои изделия. До тех пор, пока в новых SSD — даже hi-end класса — продолжают выявляться явные баги с прошивками и прочие недоработки, потребители, заинтересованные, в первую очередь, в надёжности хранения данных, будут рассматривать технологию SSD как недостаточно зрелую. Поэтому мы полагаем, что на сегодняшний день именно надёжность должна стать основной мишенью эволюции SSD. Intel дал потребителям серьёзный запас уверенности, несколько месяцев назад подняв срок фирменной гарантии для новой линейки SSD 320 с трёх до пяти лет. Конкурирующие модели SSD mainstream-класса, основанные на контроллерах SandForse первого и второго поколения, а также контроллере Marvell с интерфейсом SATA 6 Гбит/с, продолжают продаваться с трёхлетней гарантией. Накопители Enterprise-класса также, в основном, поставляются с пятилетней гарантией. Понятно, что это стимулирует вендоров продавать системы, оснащённые более надёжными накопителями, чтобы снизить расходы на гарантийное обслуживание в течение трёх или пяти лет. Но, конечно, трудно закрыть глаза на «детские болезни» технологии SSD, вроде необходимости обновления прошивки, которые, по большому счёту, затрагивают и производительность твердотельных накопителей. Пояснения к вопросу о надёжности Жёсткие диски и накопители на основе NAND-памяти иногда выходят из строя и это связано с различными факторами, обусловленными их уникальной архитектурой и конструкцией. Когда мы говорим о надёжности жёстких дисков, на ум приходит тот факт, что они основаны на механических деталях, часть из которых во время работы диска находится в движении. И хотя конструктивно жёсткие диски соответствуют очень строгим допускам, тем не менее, каждая деталь имеет определённый срок службы. Мы также знаем, что SSD-накопители лишены подобных проблем. Их «твердотельная» природа в принципе исключает риск повреждения считывающей головки или выхода из строя шпинделя. Но хранение данных на SSD неотъемлемо связано с виртуализацией, так как здесь нельзя физически разметить статическое LBA-пространство, как на жёстком диске. Поэтому возникают другие факторы, определяющие надёжность накопителя. Прошивка — это самый существенный из них, мы видим воздействие данного фактора всякий раз, когда слышим о неполадках в работе SSD. За последние три года все баги в SSD-накопителях Intel всегда решались обновлением прошивки. Проблемы Crucial с управлением энергосбережением модели m4 были решены выходом новой прошивки. И мы видели, что самый известный партнёр SandForce, — компания OCZ — ответила на многочисленные жалобы потребителей выходом сразу нескольких прошивок. Фактически, случай SandForce наиболее показателен. Поскольку производители SSD-дисков могут использовать различные прошивки в качестве средства дифференциации моделей, диски на основе контроллеров SandForce от разных производителей, очевидно, могут иметь различные баги, свойственные конкретной прошивке. Данный факт, несомненно, только усложняет задачу повышения надёжности твердотельных накопителей. Если оставить специфику SSD в стороне, то теперь нам необходимо определить надёжность дисков различных производителей. Проблема здесь заключается в том, что способы, при помощи которых каждый вендор, реселлер или потребитель измеряет данный показатель, несколько различается, что делает объективное сравнение практически невозможным. В частности, мы были очень впечатлены презентацией SSD-накопителей Intel на >»Незарегистрированные» ошибки, как правило, случаются в 2-3 раза чаще, чем «утверждённые». На самом деле, компания ZT System приводит другие данные по частоте «неутверждённых» ошибок — 0,43% для 155 000 накопителей Intel X25-M. Но мы снова сталкиваемся с тем фактом, что эти данные не отсортированы по сроку службы накопителей, так как диски рассматриваются в группах. Согласно техническому директору ZT System Кейси Черетани (Casey Cerretani), конечная величина в данный момент лишь рассчитывается, но примерно мы можем говорить о показателе AFR 0,7% в первый год эксплуатации. Конечно, этот показатель по-прежнему ничего не значит с точки зрения надёжности в долгосрочной перспективе, что является одной из главных проблем при оценке надёжности твердотельных накопителей в сравнении с HDD. Основной вывод состоит в том, что теперь мы знаем, какое влияние различные методы оценки надёжности накопителей оказывают на конечный результат. Более того, лишь время покажет, насколько надёжность SSD-накопителей превосходит соответствующий показатель для HDD. Зато теперь вы точно знаете, что сейчас какой-либо однозначный вывод сделать невозможно, так как очень много исходных данных вызывают сомнения. В качестве заключения Наш отчёт по дата-центрам охватывает только частоту выхода из строя SSD Intel, так как накопители именно этого производителя в настоящий момент пользуются наибольшим доверием у крупных предприятий. Учитывая проблемы с определением надёжности SSD, мы преднамеренно не ставим задачу найти самого надёжного производителя, но сотрудники отдела маркетинга Intel, судя по всему, не зря получают свою зарплату. В исследовании Google отмечается следующее: «Известно, что частота отказов в значительной мере зависит от модели, производителя и возраста диска. Наши данные не противоречат этому факту. Но большинство отмечаемых со временем сбоев связаны именно с возрастом диска». Опыт, о котором мы узнали от дата-центров, применим ко всем SSD. Один из директоров предприятий сообщил нам, что считает цену OCZ Vertex 2 замечательной, но их надёжность — ужасной. В конце прошлого года его компания запускала некую новую систему, по случаю чего было закуплено около 200 накопителей Vertex 2, 20 из которых не работали по прибытию. И это не первый человек, который рассказывает нечто подобное. Что на практике это значит для SSD? Давайте взглянем на всё изложенное здесь в некой рациональной перспективе. Вот что мы узнали о надёжности жёстких дисков из исследований Google и Шрёдер: MTBF ничего не говорит о надёжности; Ежегодная частота отказов (AFR) выше, чем заявляет производитель; Диски не имеют тенденцию выходить из строя в первый год эксплуатации. Частота отказов постепенно увеличивается с возрастом диска; SMART не является надёжной системой, определяющей скорый выход диска из строя; Частота отказов «потребительских» дисков и накопителей «enterprise»-класса очень близка; Отказ одного диска в массиве увеличивает риск подобного поведения других дисков; Температура почти не оказывает влияния на надёжность накопителя. Благодаря Softlayer с их парком SSD в 5000 штук, мы знаем, что первые четыре утверждения также применимы к SSD. Как мы видели в обоих исследованиях HDD, существенно влияние на их надёжность оказывает контроллер, прошивка и интерфейс (SAS против SATA). Для SSD-дисков основными факторами также являются контроллер и прошивка, причём их роль даже выше. Если правда, что износ ячеек из-за многократных операций перезаписи не играет никакой роли в статистике отказов SSD-накопителей и качество применяемой в «потребительских» дисках MCL-памяти сравнимо с SLC, напрашивается вывод, что твердотельные диски Enterprise-класса, в целом, не надёжнее «потребительских». Меньше дисков — выше надёжность Конечно, для систем хранения данных корпоративного класса важна не только надёжность, но и производительность. Чтобы достичь высокой производительности операций ввода/вывода, IT-специалистам приходится создавать RA >Здесь есть ещё один интересный момент. Частота выхода из строя отдельных дисков для большого массива будет выше: по данным исследования Шредер, после отказа одного диска в массиве возрастает вероятность выхода из строя других дисков. Кроме того, существенно выше будет вероятность отказа одного из дисков в массиве, так как здесь начинает играть роль математический фактор. В данном случае мы не поднимаем тему сохранности данных, что зависит от уровня RA >Сам факт использования SSD не снимает необходимости избыточности данных для RA >Избыточность хранения данных на SSD не приводит к высокой стоимости. Если вы работаете в среднем и крупном бизнесе, вам нужно лишь скопировать информацию с производительного SSD-диска на HDD, который служит для резервного копирования. Идея получить более высокую производительность, потратив меньше денег, не нова. SSD-диски в самом деле позволяют получить чрезвычайно высокое количество операций ввода/вывода, высокую надёжность и обеспечить избыточность хранения данных — причём цена такого решения будет ниже, чем в случае громоздкой RAID-конфигурации. Вместе с тем, массив на HDD может превосходить свой аналог на SSD в плане объёма дискового пространства. На сегодняшний день, цена за гигабайт для твердотельных дисков всё ещё слишком высока и к вопросу размещения данных на SSD следует подойти с умом, ведь хранить на них все данные вряд ли получится. О том же для десктопов Всё вышесказанное относится к серверам. Возложим ответственность за принятие решения о переходе или не переходе на SSD на сотрудников дата-центров. Если же разговор заходит о десктопных системах, то мы не имеем оснований предполагать, что SSD надёжнее жёстких дисков. Так или иначе, недавние события с отзывами SSD-дисков и багами в прошивках достаточно ярко показали, что ограниченное число циклов перезаписи ячеек NAND на данный момент является далеко не основным недостатком технологии. В конце концов, любой накопитель представляет собой электронное устройство, независимо от того, есть ли там движущихся детали или нет. И тот факт, что твердотельные диски не имеют таких деталей, в полной мере не говорит об их надёжности. Мы задали вопрос специалистам из CMRR (Center for Magnetic Recording Research) — научного центра, располагающего исчерпывающей информацией о системах хранения данных на магнитных носителях. Доктор Гордон Хьюз (Gordon Hughes), один из основных разработчиков технологий SMART и Secure Erase, отмечает, что и HDD, и SSD в своей эволюции расширяют границы соответствующих технологий. И когда это происходит, не ставится цели создать самые надёжные накопители в мире. Как отмечает доктор Стив Свансон (Steve Swanson), исследующий NAND-память: «Не похоже на то, чтобы производители делали свои диски столь надёжными, как они могут делать. Они делают диски настолько надёжными, насколько это целесообразно с точки зрения финансовых затрат». Рынок определяет стоимость компонентов накопителя и она не может быть выше определённой величины. Так, например, производители NAND-памяти продолжают выпуск 50-нм чипов, обладающих более высоким ресурсом циклов перезаписи, чем 34-нм и 25-нм чипы. Но стоимость $7-8 за гигабайт не позволит использовать такие модули в накопителях, ориентированных на массовый рынок. Возможно, самое большое раздражение вызывает тот факт, что каждый вендор продаёт жёсткие диски и SSD, не представляя объективных данных об их надёжности, хотя все они определенно знают об истинном положении вещей, продавая миллионы устройств в год (по данным >Несомненно, частота поломок зависит от многих факторов, часть из которых находится вне компетенции производителя (качество доставки, специфика эксплуатации накопителя). Но при благоприятном стечении обстоятельств HDD достигают 3% AFR на пятый год эксплуатации, что вполне сравнимо с аналогичным показателем для SSD. Не удивительно, что специалисты из CMRR говорят о том, что на сегодня SSD не обеспечивают более высокую надёжность, по сравнению с жёсткими дисками. Надёжность накопителей — чувствительная тема и мы потратили немало времени, общаясь с вендорами и ритейлерами, стремясь провести собственное исследование SSD, предназначенных для массового рынка. И единственный вывод, который можно сделать прямо сейчас, заключается в том, что к любой информации от производителя SSD необходимо относиться с определённой долей скептицизма. Стоит отметить, что SSD Intel на сегодняшний день пользуются максимальным доверием у потребителей и информация от дета-центров неизменно основывается на SLC-накопителях этой марки как «золотом стандарте» для SSD. Но согласно доктору Хьюзу, нет никаких оснований полагать, что продукты Intel более надёжны, чем лучшие модели HDD. У нас нет возможности исследовать интенсивность отказов SSD, находящихся в эксплуатации более двух лет, поэтому вполне возможно, что эта статистика изменится в ту или иную сторону. Стоит ли сейчас воздерживаться от покупки SSD? Если вы защищаете свои данные регулярно делая резервные копии файлов, то нет никаких причин избегать использования твердотельных накопителей. Например, мы применяем SSD на всех наших тестовых платформах и в большинстве рабочих станций. Цель данного обзора состояла в том, чтобы определиться, действительно ли SSD так надёжны, что о резервном копировании хранимой на них информации можно забыть как о пережитке прошлого. Теперь мы знаем ответ на этот вопрос. Надежность SSD: статистика от Google Ненадежные SSD (cвыше 5% отказов) 40.00% for the OCZ Petrol 64 GB 39.42% for the OCZ Petrol 128 GB 30.85% for the OCZ Octane 128 GB 29.46% for the OCZ Octane 64 GB 9.73% for the OCZ Vertex 2 120 GB 9.59% for the OCZ Vertex 2 120 GB 8.52% for the OCZ Agility 4 256 GB 6.73% for the OCZ Vertex 2 60 GB 5.43% for the OCZ Agility 3 240 GB 5.12% for the OCZ Vertex Plus 128 GB Некоторые обычные HDD 4.36% for the Hitachi Deskstar 7K1000.C 1 TB 4.20% for the Western Digital Caviar Black 1.5 TB (WD1002FAEX) 4.11% for the Hitachi Deskstar 7K3000 2 TB 3.91% for the WD Caviar Black 2 TB 3.57% for the Seagate Barracuda 7200.12 320 GB 3.36% for the Seagate Barracuda 7200.14 3 TB 3.32% for the WD Caviar Green 2 TB WD20EARS 2.39% for the Western Digital Caviar Blue 500 GB (WD5000AAKS) 2.28% for the Seagate Barracuda 7200.14 2 TB Общая картина отказов SSD Plextor 0.31% (against 0.55%) Intel 0.45% (against 1.73%) Samsung 0.48% (N/A) Corsair 1.05% (against 2.93%) Crucial 1.11% (against 0.82%) OCZ 5.02% (against 7.03%) В общем, OSZ-мрак. Ломается в в 18 раз чаще, чем Plextor и в 10 раз чаще, чем Intel и Samsung. Ну и чинится плохо. Статистика провальная для марки, правда ее портят старые линейки с несовершенными контроллерами и прошивками, а чем новее модель-тем надежнее. У меня в ноуте и у клиентов пяток OSZ Vertex 2/3 уже год-полтора работают нормально, правда бэкапится все дважды в неделю. Конкретно по этим моделям согласно статье, возвраты невелики- 1.5-2%. Так что жить можно. «Выбирать диск по заявленным характеристикам — примерно как жену по резюме» (Последняя строчка моей книги «Записки ремонтника», 2011) Статистика Google показывает низкую надежность SSD Статистика Google показывает низкую надежность SSD По сообщению источника, компания Google недавно опубликовала отчет, в котором сказано, что у 30-80% твердотельных накопителей, используемых в вычислительных центрах компании, в течение четырех лет эксплуатации появились дефектные блоки. Дефектный блок возникает вследствие механического или электрического повреждения ячеек памяти, которое делает его использование невозможным. Повреждения связаны с износом ячеек памяти, ресурс которых в случае широко используемой флэш-памяти MLC NAND составляет всего несколько тысяч циклов перезаписи. Поврежденные ячейки теряют записанные в них данные. В отчете Google сказано, что системы хранения на базе SSD в целом менее подвержены возникновению ошибок, чем системы на HDD, но у первых гораздо выше доля некорректируемых ошибок. Особенно эта проблема свойственна накопителям на флэш-памяти с плавающими затворами. Компания Samsung Electronics, являющаяся крупнейшим поставщиком флэш-памяти NAND, недавно начала выпускать флэш-память память с объемной компоновкой. Это память не с плавающим затвором, а с ловушкой заряда (CTF), которая отличается более высокой стабильностью. Справедливости ради уточним, что технология CTF известна с конца 60-х годов и используется во флэш-памяти с объемной компоновкой всеми производителями. Еще одним достоинством CTF является снижение себестоимости памяти за счет меньшего числа технологических этапов, повышения процента выхода годной продукции и возможности уменьшения технологических норм. Источник: CDR Info Теги: Google Надежность SSD: статистика от Google Внимание! В данной теме обсуждаем только вопросы связанные с выбором и эксплуатацией SSD накопителя . Если необходимо выбрать другой компонент — спрашивать в соответствующей теме Классический жесткий диск HDD выбирается тут: Выбор жесткого диска Вопросы по улучшению существующего компьютера в теме Апгрейд / Улучшение вашего ПК Если компьютер собираете для игр, обсуждение необходимо вести в теме Сборка Игрового ПК Если нужно собрать компьютер для работы и не игровых задач, то обсуждение в теме Сборка не игрового ПК / Компьютер для работы Если нужно собрать максимально дешевый компьютер, то обсуждение в теме Сборка супербюджетного ПК Обсуждение в каком конкретно магазине купить компоненты для компьютера осуществляем в теме Где купить запчасти для ПК и прочей техники, нюансы покупки в зарубежных магазинах обсуждаются тут: Клуб любителей зарубежного шоппинга, вопросы гарантийного обслуживания и прочие юридические моменты тут: Сервисное обслуживание, обмен и возврат ПК и иной техники Проблемы с ПК — тут решаем возникшие неполадки с «железом» ПК Как быстро собрать информацию о текущем оборудовании и показать её в теме Для выбора SSD необходимо знать: Модель материнской платы и процессора Желаемый объем накопителя Желаемый форм-фактор накопителя Бюджет на покупку Операционная система, которая будет установлена на SSD Магазин\город для ориентации в ценах и ассортименте HDD vs SSD в играх: сравнение времени загрузки и производительности Контроллеры SSD Samsung 860evo vs 970evo vs HDD загрузка в играх Что нужно знать про M.2 (NGFF) – разбираемся в сокетах, ключах, размерах и назначении Ресурсные испытания Надёжность хранения данных на отключенных SSD Накопители на основе NAND-памяти: технологии, принцип работы Сколько проживет ваш SSD? 12 мифов об оптимизации SSD, которые никогда не умрут Как не заблудиться в SLC, MLC и TLC при выборе SSD Кто есть кто в мире производителей контроллеров для SSD Куча ссылок на обзоры Есть ли смысл ставить твердотельный накопитель в старый компьютер? (Мнение Kingston) «Читал на заборе» что есть SSD которые конфликтуют с чипсетами AMD H2testw — это маленькая, но очень полезная программа для тестирования «качества» и скоростных характеристик любых типов флешек. Суть работы программы H2testw сводится к тому, что она умеет записать тестовый файл на указанный Вами флеш накопитель, а потом прочитать его. При этом записываются скорость записи и чтения с данного накопителя. Кроме того, если в процессе записи или чтения будет обнаружена потеря данных или ошибки, то программа известит Вас об этом. Данная утилита может дать информацию о том, каков объем тестируемого накопителя, сколько Мб повреждено и сколько находится в рабочем состоянии. О самом алгоритме работы я напишу ниже, а так же дам расшифровку к результатам теста. Как работать с англоязычной версий программы: Скачиваем архив и запускаем файл h2testw.exe, после чего выбираем язык «English» (или «Russian», если качали русскую версию, но о ней позже). Далее выбираем тестируемый диск «Select target» и переходим к пункту «Data volume». Тут выбираем «all available space» — чтобы протестировать весь накопитель целиком или «endless veryfy» и указывает размер записываемого файла, чтобы протестировать накопитель частично. Далее нажимаем «Write+Verify» для запуска тест записи и чтения, а если флешка уже тестировалась и на ней есть файл, то будет гореть только «Verify», которая выполнит операцию чтения и проверит целостность записанного ранее файл. Далее появляется информационное окно, в нем мы видим общую информацию о хоте тестирования накопителя. Нам показывают среднюю скорость записи/чтения, время до окончания операции, и общая полоса прогресса. По окончанию операции мы можем получить результаты следующего вида: Test finished without errors. You can now delete the test files *.h2w or verify them again. Writing speed: 5.05 MByte/s Reading speed: 11.4 MByte/s H2testw v1.4 Этот результат говорит о том, что тест прошел успешно. Средняя скорость записи на диск = 5,05 MByte/s, средняя скорость чтения = 11,4 MByte/s. Плохой результат теста: The media is likely to be defective. 1.8 GByte OK (3954734 sectors) 5.8 GByte DATA LOST (12240850 sectors) Details:2.9 GByte overwritten (6240208 sectors) 0 KByte slightly changed (2.8 GByte corrupted (6000642 sectors) 8 KByte aliased memory (16 sectors) First error at offset: 0?0000000000003830 Expected: 0?358d089906064530 Found: 0?158d089906064530 H2testw version 1.3 Writing speed: 2.53 MByte/s Reading speed: 6.51 MByte/s H2testw v1.4 Сейчас мы видим что при тестировании накопителя объемом в 8 Гигабайт найдены ошибки, из этого объема доступно для нормальной записи всего 1,8 GB (1.8 GByte OK), а остальные 5,8 GB (5.8 GByte DATA LOST) использовать не возможно, так как память повреждена. Средняя скорость на данный носитель информации = 2.53 MByte/s, средняя скорость считывания = 6.51 MByte/s Еще плохой результат теста: The media is likely to be defective. 0 KByte OK (0 sectors) 3.8 GByte DATA LOST (8030208 sectors) Details:327.7 MByte overwritten (671296 sectors) 0 KByte slightly changed ( В теме нет куратора. По вопросам наполнения шапки обращайтесь к модераторам раздела через кнопку под сообщениями. Как это сделать правильно, что бы вас поняли с первого раза, хорошо описано здесь. Сообщение отредактировал Rammsteiner — 10.07.19, 16:33 Мастер Йода рекомендует:  Уроки Photoshop Код и сайты Черно-белое — ключ к улучшению цветного Читать далее Код и сайты Устройства с Bluetooth-модулями от TI уязвимы для удалённых атак Читать далее Код и сайты Учимся программировать с помощью задач с числами Читать далее Код и сайты Фильтрация и сортировка в ASP Читать далее Код и сайты Фотогалерея для своего сайта – все способы реализации Читать далее Код и сайты Функциональное программирование на PHP Читать далее Код и сайты Хорошие Округлости Составные Фигуры в CSS Читать далее Код и сайты Цели, которым не суждено сбыться Читать далее Код и сайты Чек-лист для отладки нейронной сети 5 шагов на пути к успеху Читать далее Код и сайты Установка drupal 7 на denwer – пособие для начинающих веб-мастеров Читать далее Код и сайты Что делать, если вы посредственный программист Читать далее Код и сайты Что не так в этом отрывке кода на С++ Читать далее Код и сайты Что такое CMS (1 часть) Читать далее Код и сайты Что такое Биткоин и разбираемся, как он работает Читать далее Код и сайты Что такое фреймворк Читать далее Код и сайты Шаблоны проектирования простым языком — всё по этой теме для программистов Читать далее Код и сайты Эволюция асинхронного JavaScript Читать далее Код и сайты Эффект хипстерского текста в Photoshop CS6 Читать далее Код и сайты Пишем скрипт для поиска книг на изображениях с помощью Python и OpenCV Читать далее Код и сайты Основы веб-дизайна Читать далее Код и сайты От «Типичного» до «Tproger» как мы развиваем наш сайт Читать далее Код и сайты Отладка и устранение распространённых ошибок в JavaScript Читать далее Код и сайты Очищаем HTML от лишних знаков Читать далее Код и сайты Парсер на РНР — это возможно! PHP Читать далее Код и сайты Первые шаги искусственного интеллекта Читать далее Код и сайты Переполнение буфера в Microsoft Internet Explorer Читать далее Код и сайты Пишем Space Invaders при помощи Corona. Реализация геймплея. Часть 2 Читать далее Код и сайты Основные принципы программирования на T-SQL Читать далее Код и сайты Платформа Node.js руководство по эксплуатации для начинающих Читать далее Код и сайты Подбор ключевых слов в Yandex.Wordstat Читать далее Код и сайты Подборка книг по C++ для любого уровня Читать далее Код и сайты Подборка самых полезных горячих клавиш для различных IDE и редакторов кода Читать далее Код и сайты Поддержка WebAssembly и повышение мер безопасности вышел Firefox 52 Читать далее Код и сайты Подсветка ссылки Читать далее Код и сайты Покажи мне свой терминал Читать далее Код и сайты Полное руководство по Flexbox Читать далее Добавить комментарий Нажмите, чтобы отменить ответ. Добавить комментарий