Пример использования информационных технологий: как Бюро переписи населения США вступило в эпоху цифровых технологий


Вот последняя статья в eWEEK серия статей под названием «IT Science», в которой мы рассмотрим, что на самом деле происходит на стыке ИТ нового поколения и устаревших систем.

Если только он не новый и не находится прямо на различных сборочных линиях, серверы, системы хранения и сети внутри каждой ИТ-системы можно считать «устаревшей». Это связано с тем, что итерация как аппаратных, так и программных продуктов постоянно ускоряется. Например, разработчик приложений нередко обновляет и / или исправляет приложение в целях безопасности несколько раз в месяц или даже в неделю. Некоторые приложения обновляются ежедневно! Оборудование движется немного медленнее, но производственные циклы также ускоряются.

В этих статьях описываются отраслевые решения нового поколения. Идея состоит в том, чтобы посмотреть на реальные примеры того, как ИТ-продукты и услуги нового поколения ежедневно меняют производство. Большинство из них – истории успеха, но будут и другие, связанные с провалившимися проектами. У нас будут ИТ-интеграторы, системные консультанты, аналитики и другие эксперты, которые помогут нам с этим по мере необходимости.

Сегодняшняя тема: Бюро переписи населения охватывает мир цифровых информационных технологий

Бюро переписи населения США – крупнейшее статистическое агентство федерального правительства и ведущий национальный поставщик качественных данных о людях и экономике. Его наиболее важной инициативой является перепись населения США, проводимая каждые 10 лет и учитывающая каждого жителя Соединенных Штатов. Требуются годы исследований, планирования и разработки методов и инфраструктуры для обеспечения точного и полного подсчета. Данные, собранные в ходе переписи, определяют количество мест, которые имеет каждый штат в Палате представителей США, и используются для распределения более 675 миллиардов долларов из федеральных фондов среди местных сообществ. Это финансирование поддерживает образование, здравоохранение, улучшение инфраструктуры и многое другое.

Назовите проблему, которую нужно решить: Модернизация бумажной системы

Перепись 2020 года требует учета все более разнообразного и растущего населения, составляющего около 330 миллионов, в более чем 140 миллионах единиц жилья. Бюро переписи должно составить точный список адресов каждой жилой единицы, мотивировать людей реагировать, анализировать данные и публиковать результаты. На каждом этапе требуется значительная обработка данных для систематизации данных в полезные аналитические данные.

Опишите стратегию поиска решения:

До переписи 2020 года все данные собирались с помощью бумажных опросов, а затем данные передавались в Бюро переписи населения США и вводились вручную. Впервые в истории США перепись 2020 года проводится преимущественно онлайн, а не по почте. Но это усилие приведет к созданию беспрецедентного количества данных, которые необходимо собрать, сохранить, защитить и интерпретировать.

Чтобы обеспечить необходимую вычислительную мощность, руководство бюро учредило инициативу Census Enterprise Data Lake (EDL). EDL поддерживает возможность обработки для управления данными петабайтного масштаба и аналитики, удовлетворяя требования безопасности и конфиденциальности – и все это при одновременном контроле затрат. Это меняет то, как агентство обрабатывает демографические и экономические данные с использованием технологий с открытым исходным кодом и высокопроизводительной облачной инфраструктуры.

Перечислите ключевые компоненты решения:

Бюро переписи населения выбрало Cloudera в качестве платформы данных для переписи 2020 года, чтобы помочь в поиске, обработке и извлечении информации, используемой для принятия важных решений на всех уровнях государственного управления. Платформа использует весь стек технологий и предложения профессиональных услуг. Cloudera DataFlow используется для приема данных и предоставления аналитики в реальном времени. Платформа данных Hortonworks служит озером данных и репозиторием для огромного количества собранных данных. Распределенная файловая система Hadoop, Apache Ranger, Apache Atlas и шифрование данных в состоянии покоя и данных в движении используются для обеспечения совместного использования данных, а также политик безопасности и управления данными.

Кевин Смит, директор по информационным технологиям Бюро переписи населения США, сказал: «EDL будет поддерживать обработку больших наборов данных быстро и легко с помощью больших, динамически масштабируемых вычислительных ресурсов и возможностей хранения в масштабах всего предприятия. Озеро данных также предоставляет централизованный репозиторий для консолидации операционных параметров, данных ответов и данных о затратах из нескольких режимов сбора данных. Он предоставляет единое место для анализа всех операционных данных и принятия обоснованных решений во время работы ».

Опишите, как прошло развертывание, возможно, сколько времени это заняло, и прошло ли оно, как планировалось:

Это гибридное развертывание идет полным ходом, и большая часть рабочих нагрузок выполняется в AWS GovCloud. Команда консультантов Cloudera пополнила штат сотрудников правительства и системных интеграторов на месте, чтобы обеспечить операционный успех.

Опишите результат, новые достижения эффективности и то, что было извлечено из проекта:

Инвестиции Бюро переписи населения в аналитику данных, облачные вычисления и технологии с открытым исходным кодом поддерживают давнюю историю инноваций организации. Теперь заполнение анкеты переписи стало проще и быстрее, чем когда-либо прежде, потому что платформа позволяет респондентам автоматически повторно использовать свои ответы. Данные быстро анализируются на качество и, в конечном итоге, сокращают объем избыточных данных.

Персональные данные в большей безопасности, чем когда-либо прежде. EDL позволяет управлять безопасностью, конфиденциальностью и политиками для всех типов конфиденциальных данных и кода на уровне предприятия. В результате бюро может эффективно управлять и обеспечивать безопасность нескольких больших наборов данных с помощью автоматизации и использовать метаданные для мониторинга, связывания и агрегирования наборов данных на протяжении всего жизненного цикла обследования до тех пор, пока не будут распространены конечные продукты.

Опишите рентабельность инвестиций, сокращение выбросов углекислого газа и экономию времени персонала:

Специалисты по обработке данных теперь могут более легко обмениваться данными и аналитическими данными внутри бюро и между агентствами, при этом соблюдая политики безопасности и управления данными. Благодаря этой новой возможности Бюро переписи может помогать другим агентствам извлекать информацию из данных, чтобы гарантировать предоставление ресурсов тем, кто в них нуждается, а правительство может планировать будущие потребности, изучая модели роста и изменений населения.

Кроме того, поскольку перепись 2020 года проводится в цифровом формате, произошло значительное сокращение расходов из-за сокращения количества бумажных опросов и, что более важно, сокращения ресурсов почтового отделения США в решающий год выборов.

Для получения более подробной информации, нажмите здесь.

Если у вас есть предложение по статье eWEEK IT Science, напишите по электронной почте [email protected].

Post Your Comment Here

Your email address will not be published. Required fields are marked *