¿Cuáles son algunas de las formas en que Big Data y Machine Learning pueden ayudar en la investigación y curación del Cáncer?

La entrada de grandes datos obligó a las personas a utilizar herramientas y tecnologías más nuevas y las personas han estado aprendiendo nuevas habilidades para correr en paralelo en el mercado. Es un viejo refrán que nadie quiere aceptar cambios y cuando los cambios son repentinos y las personas no tienen otra opción, realmente no les gusta esa experiencia en absoluto. Sin embargo, recomendaría Big Data Courses en Intellipaat tomándolo de una manera diferente, algo que es más positivo.

Aunque la entrada de Big Data ha hecho cambios definitivos en la ruta de la informática convencional, aún así lo juzgaría como un buen cambio frente a todas las confrontaciones. Recomiendo a la gente que piense en dos características constructivas relacionadas con esta innovación:

• Considérelo como una ocasión para aprovechar las interrupciones, las transformaciones del mercado y las fluctuaciones que tienen lugar en el mercado.
• Aproveche los cambios disruptivos que está haciendo Big Data, porque si no lo usa, obviamente otros lo usarán. Es mejor aceptar los cambios y usarlos antes de que otros entren en la competencia.

Con esta hipótesis de funcionamiento de que Big Data está creando prospectos para innovaciones disruptivas y no incrementales, cuatro maneras en las que realmente está cambiando la innovación disruptiva son:

1. Integridad
2. Handiness
3. El dinero importa
4. Acción y realización El objetivo principal del análisis de big data es ayudar a las empresas a tomar decisiones comerciales más informadas al permitir que DATA Scientist, modeladores predictivos y otros profesionales analíticos analicen grandes volúmenes de datos de transacciones, así como otras formas de datos que pueden ser explotados por los convencionales programas de inteligencia empresarial (BI). Eso podría incluir registros del servidor web y datos de Internet Click Stream, contenido de redes sociales e informes de actividades de redes sociales, cursos Big Data en Intellipaat texto de correos electrónicos de clientes y respuestas de encuestas, registros de detalles de llamadas de teléfonos móviles y datos de máquinas capturados por sensores conectados a INTERNET. Cosas Algunas personas asocian exclusivamente big data con datos semiestructurados y no estructurados de ese tipo, pero firmas consultoras como Gartner Inc. y Forrest er Research Inc. también considera que las transacciones y otros datos estructurados son componentes válidos de las aplicaciones de análisis de big data.

Los datos grandes se pueden analizar con las herramientas de software comúnmente utilizadas como parte de las disciplinas de Advance Analytics, como Predicative Analysis Data Mining, Text Analytics y Statistical Method. El software mainstream de BI y las herramientas de visualización también pueden desempeñar un papel en el proceso de análisis. Pero los datos semiestructurados y no estructurados pueden no encajar bien en el almacenamiento de datos tradicional basado en la base de datos relacional. Además, los data warehouses pueden no ser capaces de manejar las demandas de procesamiento planteadas por conjuntos de big data que necesitan actualizarse con frecuencia o incluso de forma continua, por ejemplo, datos en tiempo real sobre el rendimiento de aplicaciones móviles o de oleoductos y gasoductos. Como resultado, muchas organizaciones que buscan recopilar, procesar y analizar Big Data han recurrido a una clase más nueva de tecnologías que incluye Hadoop y herramientas relacionadas como Yarn Spook, Spark y Pig, así como bases de datos No SQL. Esas tecnologías forman el núcleo de un marco de software de código abierto que admite el procesamiento de conjuntos de datos grandes y diversos en sistemas agrupados.

En algunos casos, los sistemas Hadoop Cluster y No SQL se utilizan como áreas de aterrizaje y etapas para datos antes de que se carguen en un almacén de datos para su análisis, a menudo en forma resumida y más propicia para las estructuras relacionales. Sin embargo, cada vez más, los proveedores de big data están impulsando el concepto de una toma de datos de Hadoop que sirve como depósito central para las transmisiones entrantes de Raw Data de una organización.

En dichas arquitecturas, subconjuntos de los datos pueden filtrarse para su análisis en almacenes de datos y bases de datos analíticas, o pueden analizarse directamente en Hadoop utilizando herramientas de consulta por lotes, software de procesamiento de flujo y tecnologías Sql AND Hdoop que ejecutan consultas ad hoc interactivas escritas en Sql. Las trampas potenciales que pueden hacer tropezar a las organizaciones en las iniciativas de análisis de big data incluyen la falta de habilidades de análisis interno y el alto costo de contratar profesionales de análisis con experiencia. La cantidad de información que generalmente está involucrada, y su variedad, también pueden causar dolores de cabeza en la administración de datos, incluyendo problemas de calidad de datos y consistencia. Además, la integración de sistemas Hadoop y data warehouses puede ser un desafío, aunque varios proveedores ahora ofrecen conectores de software entre Hadoop y bases de datos relacionales, así como otras herramientas de integración de datos con capacidades de big data.

De mi conocimiento, un área donde se usa Machine Learning y Big Data en el diagnóstico del cáncer es a través del análisis de datos de expresión génica de Microarray en el que se aplican algoritmos de aprendizaje automático a los datos de expresión grandes de genes en muestras de tejido recogidas utilizando tecnología de microarrays. En este conjunto de datos, tenemos niveles de expresión génica de varios genes en muestras de tejido normal y muestras de cáncer (varios tipos y varias etapas) (datos de entrenamiento) y utilizando el aprendizaje automático tratamos de encontrar patrones en estos datos para poder clasificar un nuevo muestra dada utilizando sus perfiles de expresión génica. Esto se puede hacer a través del aprendizaje supervisado (donde en los datos de capacitación sabemos qué muestras están infectadas y cuáles no) o sin supervisión.

Ya hemos descubierto muchos genes vinculados a varios cánceres. A medida que más genomas sean secuenciados, encontraremos aún más conexiones. Esto puede ayudar a las personas a realizar pruebas preventivas y detectar cánceres antes.

En algunos casos, se ha demostrado que las máquinas interpretan los escaneos de forma rápida y precisa. Con más refinamiento, esto ampliará la cantidad de tipos de escaneos y tumores que los sistemas de la máquina pueden analizar.

Creo que ML ha hecho un gran avance en el dominio del diagnóstico de cáncer. Hubo un par de estudios e investigaciones ocurrieron en este campo que también arrojaron algunos resultados prometedores. Pero me gustaría señalar el estudio de Brittany Wenger (su charla sobre Tedx – Cómo hacer una red neuronal en su habitación | Brittany Wenger | a TEDxCERN)

Ella había pasado por fallas pero terminó en una máquina muy precisa que podía predecir las posibilidades de cáncer de mama en etapas muy tempranas con gran precisión. Y probablemente los hospitales que dieron datos comenzarían a usar su algoritmo en los casos reales pronto

Increíble, ¿verdad?

Aquí hay una historia interesante sobre Big Data y Cancer. Cómo los datos grandes golpean al cáncer Big Data Can Cure Cancer debe leer este artículo para saber cómo los grandes datos pueden curar el cáncer. Un gran ejemplo en el campo de Big Data.