Bharthan Bharthan - 1 month ago 11
MySQL Question

Load bulk csv data into mysql

I am trying to load csv data in mysql using the following command:

LOAD DATA INFILE 'data-20161017.csv'
INTO TABLE books
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 LINES;


Data in my csv file (first 3 lines) is like:

id,provider,title,abstract,author,content,url,publish_date,publisher_name
ClippingUpload_eca3b7fc-7a37-4c3e-8b89-bf9cc157675c,Roche,Arzneimittel: Rezepte gegen Lieferengpässe,"<br>Seit letztem Sommer häufen sich Probleme bei der Lieferung von \nArzneimitteln. Die Ursachen dafür sind vielfältig\, die Lösungsvorschläge\n auch. Das Ministerium für Gesundheit will sich nun\, zusammen mit den \nAkteuren\, der Sache annehmen. Voriconazol wird im Krankenhaus zur \nBehandlung schwerer Mykosen eingesetzt. Im vergangenen Sommer jedoch \nkonnte der Hersteller über mehrere Wochen nicht liefern.",,"<br />Seit letztem Sommer h&auml;ufen sich Probleme bei der Lieferung von Arzneimitteln. Die Ursachen daf&uuml;r sind vielf&auml;ltig\, die L&ouml;sungsvorschl&auml;ge auch. Das Ministerium f&uuml;r Gesundheit will sich nun\, zusammen mit den Akteuren\, der Sache annehmen. Voriconazol wird im Krankenhaus zur Behandlung schwerer Mykosen eingesetzt. Im vergangenen Sommer jedoch konnte der Hersteller &uuml;ber mehrere Wochen nicht liefern. ""Zum Gl&uuml;ck hatten wir bei uns einen ausreichenden Vorrat angelegt. Deshalb hatte der Ausfall keine Auswirkung auf die Behandlung unserer Patienten""\, berichtet Dr. Torsten Hoppe-Tichy\, Leiter der Krankenhausapotheke des Universit&auml;tsklinikums Heidelberg. ""W&auml;re der Vorrat kleiner gewesen\, h&auml;tten wir auf andere Antimykotika umstellen m&uuml;ssen."" In den USA sind Lieferengp&auml;sse bei Arzneimitteln schon seit l&auml;ngerem bekannt. In Deutschland ist das Problem im vergangenen Sommer angekommen. ""Es ist zum Tagesgesch&auml;ft geworden""\, betont Hoppe-Tichy\, der zugleich Pr&auml;sident des Bundesverbands Deutscher Krankenhausapotheker (ADKA) ist. Wenn ein Arzneimittel nicht lieferbar ist\, muss die Krankenhausapotheke reagieren. Eine Option ist\, dasselbe Pr&auml;parat von einem anderen Hersteller zu bekommen. Doch das ist nicht immer m&ouml;glich. ""Das Antibiotikum Fosfomycin i.v. wird weltweit nur noch von einem Hersteller produziert - in Japan""\, erkl&auml;rt Hoppe-Tichy. Aufgrund der weltweiten Nachfrage\, kontingentiere der Hersteller zudem seine Lieferungen. Eine weitere Option\, neben dem Import aus dem Ausland\, sei es\, den Rohstoff zu besorgen\, um das Arzneimittel in der Krankenhausapotheke selbst herzustellen. Leider seien aber auch die Rohstoffe nur noch schwer zu bekommen\, da es auch hier zu einer Mono- oder zumindest zu einer Oligopolisierung gekommen sei. Zurzeit m&uuml;ssten die Krankenhausapotheken das Problem auffangen\, sagt der ADKA-Pr&auml;sident: ""Um auf m&ouml;gliche Engp&auml;sse zu reagieren\, legen wir heute schon gr&ouml;&szlig;ere Vorr&auml;te an\, als wir eigentlich m&uuml;ssten - auf unsere Kosten."" Um Geld zu sparen\, h&auml;tten die Hersteller zuvor ihre Lagervorr&auml;te verkleinert. ""Sinnvoll w&auml;re es\, die Hersteller dazu zu verpflichten\, ihre Best&auml;nde wieder zu vergr&ouml;&szlig;ern""\, schl&auml;gt Hoppe- Tichy vor\, ""damit nicht die Sperrung einer einzigen Charge\, zum Beispiel infolge eines Qualit&auml;tsproblems\, zu einem kompletten Lieferausfall f&uuml;hrt."" F&uuml;r die Lieferengp&auml;sse gibt es noch weitere Ursachen. Die Deutsche Gesellschaft f&uuml;r H&auml;matologie und Medizinische Onkologie (DGHO) hat sie in f&uuml;nf Problembereiche gegliedert: Zun&auml;chst die Herstellung. ""Manche wichtigen Medikamente\, die schon lange auf dem Markt sind\, werden weltweit nur noch in einer oder einigen wenigen Produktionsst&auml;tten hergestellt - denn die Produktion ist kompliziert und der Gewinn vergleichsweise gering""\, erl&auml;utert Prof. Dr. med. Bernhard W&ouml;rmann\, Medizinischer Leiter der DGHO. Zweitens die Verteilung. ""Die weltweite Verteilung der Arzneimittel richtet sich auch nach dem Preis""\, sagt W&ouml;rmann. ""Je besser die Wirtschaft eines Landes dasteht\, desto weniger Lieferengp&auml;sse sind zu erwarten."" Umgekehrt bedeute das jedoch\, dass arme L&auml;nder sich manche Arzneimittel schon heute nicht mehr leisten k&ouml;nnten. Die dritte Ursache sei die Preisgestaltung. ""In Deutschland gibt es eine extreme Schere zwischen neuen teuren Arzneimitteln und alten billigen""\, stellt W&ouml;rmann fest. Daran h&auml;tten auch die Rabattvertr&auml;ge ihren Anteil. Wenn Lieferengp&auml;sse die Folge seien\, m&uuml;sse man die Rabattvertr&auml;ge\, wie sie heute existierten\, &uuml;berdenken und &uuml;ber eine Mindestgrenze f&uuml;r den Preis von Generika\, in Verbindung beispielsweise mit einer vertraglich zugesicherten Liefergarantie\, nachdenken. Viertens: Die Versorgung im Land. Wann ein Versorgungsmangel eintrete\, sei nicht definiert\, sagt W&ouml;rmann. Denn nicht jedes Arzneimittel\, das fehle\, habe Auswirkungen auf eine Therapie. ""Es gibt jedoch essenzielle Arzneimittel\, die nicht durch andere ersetzt werden k&ouml;nnen""\, betont W&ouml;rmann. ""Die DGHO hat zusammen mit den p&auml;diatrischen Onkologen und H&auml;matologen eine Liste mit 25 solcher Arzneimittel verfasst."" Fehlten diese\, k&ouml;nne man von einem Versorgungsmangel sprechen. Und f&uuml;nftens sei der Umgang mit der Zulassung von Arzneimittel zu bedenken\, denn es komme vor\, dass Hersteller die Zulassung wichtiger Medikamente zur&uuml;ckg&auml;ben - entweder weil sich die Produktion nicht mehr rentiere oder um mit einer anderen Indikation mehr Geld mit demselben Medikament zu verdienen\, sagt W&ouml;rmann. ""Wir k&ouml;nnen die Firmen nicht zwingen\, die Zulassung nicht zur&uuml;ckzugeben""\, meint er. ""Aber wir sollten &uuml;berlegen\, wie es m&ouml;glich sein kann\, dadurch keinen Engpass zu erzeugen."" Welches Ausma&szlig; die Lieferengp&auml;sse umfassen\, hat die Deutsche Krankenhausgesellschaft (DKG) im vergangenen November untersucht. Eine Abfrage in etwa 100 Kliniken hat ergeben\, dass Engp&auml;sse meist pl&ouml;tzlich und ohne Vorabinformation der Arzneimittelhersteller auftreten. In den befragten Kliniken h&auml;tten in einem Monat durchschnittlich 25 Arzneimittel nicht oder nicht ausreichend zur Verf&uuml;gung gestanden. Da die meisten Kliniken etwa 400 bis 600 verschiedene Arzneimittel einsetzten\, sei dies bereits eine relevante Gr&ouml;&szlig;enordnung\, hei&szlig;t es in ihrem Ende 2012 verfassten Positionspapier. Nach Hinweisen aus der &Auml;rzte- und Apothekerschaft hat sich nun die Politik des Themas angenommen. In bislang zwei Spitzengespr&auml;chen im Bundesgesundheitsministerium wurden L&ouml;sungsans&auml;tze mit Vertretern von &Auml;rzteschaft\, Apothekern\, Gro&szlig;handel und pharmazeutischer Industrie diskutiert (siehe ""3 Fragen an . . .""). Im Vorfeld des letzten Gespr&auml;chs hatten sich die Vorst&auml;nde der Kassen&auml;rztlichen Vereinigungen (KVen) sowie die Kassen&auml;rztliche Bundesvereinigung f&uuml;r eine Bevorratung von notwendigen Medikamenten ausgesprochen. Eine solche Vorratshaltung durch Hersteller und Gro&szlig;handel in Deutschland sei wichtig\, da viele Pharmaunternehmen ihre Produktion ins Ausland verlagert h&auml;tten\, hatte der Vorstandsvorsitzende der KV Baden-W&uuml;rttemberg\, Dr. med. Norbert Metke\, erkl&auml;rt\, von dem der Vorschlag gekommen war. Dass Lieferengp&auml;sse in der Tat vork&auml;men\, r&auml;umt auch die Pharmaindustrie ein. Der Idee einer nationalen Bevorratung mit lebenswichtigen Arzneimitteln steht sie jedoch kritisch gegen&uuml;ber. Denn diese enthalte L&ouml;sungsans&auml;tze\, werfe aber auch eine ganze Reihe offener Fragen auf\, meint der Bundesverband der Pharmazeutischen Industrie. Grunds&auml;tzlich k&ouml;nne eine nationale Reserve wichtiger Arzneimittel zwar Lieferprobleme ausgleichen\, offen sei jedoch\, wie ein Vorrat angelegt werden solle\, wenn die Wirkstoffe auf dem Weltmarkt nicht verf&uuml;gbar seien\, und wie gro&szlig; die Reserve sein m&uuml;sse. Auch der Verband Forschender Arzneimittelhersteller wehrt sich gegen eine gesetzliche Pflicht zur Vorratshaltung. Zudem seien die Vorschl&auml;ge der Europ&auml;ischen Zulassungsbeh&ouml;rde EMA ausreichend und zielf&uuml;hrend. Diese ver&ouml;ffentliche Hinweise auf Lieferengp&auml;sse und konkrete Empfehlungen f&uuml;r die &Auml;rzte\, welche Patienten bevorzugt mit den knappen Arzneimitteln behandelt werden sollten. Im Gesundheitsministerium sollen bald weitere Gespr&auml;che stattfindet. Die Notwendigkeit\, L&ouml;sungen zu finden\, beschreibt Hoppe-Tichy wie folgt: ""Noch ist kein Patient infolge von Lieferengp&auml;ssen gestorben. Aber wir sollten nicht abwarten\, bis es so weit ist."" /// 3 Fragen an. . . /// Prof. Dr. med. Wolf-Dieter Ludwig\, Vorsitzender der Arzneimittelkommission der deutschen &Auml;rzteschaft &gt;&gt; Sie waren bei den Gespr&auml;chen im Gesundheitsministerium dabei. Welche L&ouml;sungen wurden diskutiert\, um Lieferengp&auml;sse von Arzneimitteln k&uuml;nftig zu verhindern? Ludwig: Im Gespr&auml;ch ist eine Liste mit essenziellen Arzneimitteln\, die medizinisch absolut notwendig sind und immer ausreichend vorhanden sein m&uuml;ssen. Eine solche Liste wurde f&uuml;r den Bereich der Onkologika bereits von der DGHO erstellt. Wir halten eine solche Liste f&uuml;r unbedingt erforderlich. &gt;&gt; Die Akd&Auml; hatte auch ein Register vorgeschlagen . . . Ludwig: Wir haben im Ministerium auch &uuml;ber die Einrichtung eines Registers gesprochen\, in dem Arzneimittel gelistet sind\, bei denen ein Lieferengpass droht. Ein &auml;hnliches Register hat die amerikanische Arzneimittelbeh&ouml;rde FDA bereits in den USA eingerichtet. Pharmafirmen k&ouml;nnten die Bundesoberbeh&ouml;rden k&uuml;nftig dar&uuml;ber informieren\, wenn sie ein in das Register aufgenommenes Arzneimittel f&uuml;r einen Zeitraum von mehr als zwei Wochen nicht liefern k&ouml;nnen - allerdings soll dies zun&auml;chst auf freiwilliger Basis geschehen. &gt;&gt; Gab es weitere Ideen? Ludwig: Ja\, das Ministerium will zwei Gesetzes&auml;nderungen pr&uuml;fen. Zum einen\, ob die zust&auml;ndigen Landesbeh&ouml;rden die Hersteller dazu verpflichten k&ouml;nnen\, bestimmte Arzneimittel entsprechend ihres Bedarfs kontinuierlich zur Verf&uuml;gung zu stellen. Eine entsprechende Passage war f&uuml;r die letzte Novelle des Arzneimittelgesetzes vorgesehen\, dann aber kurzfristig gestrichen worden. Zum anderen soll gepr&uuml;ft werden\, ob bei einem Versorgungsmangel Arzneimittel\, die nur im Ausland zugelassen sind\, nach Deutschland importiert werden k&ouml;nnen. <br />--------------------------------------------------------------------------------<br />",,2013-02-14T23:00:00Z,Deutsches Ärzteblatt
Primary Repository :: rochemmm_FactivaFS-RocheMMM :: HOU0000020130130e91r00037/0,Factiva,'Smart bomb' gives patients new hope,"Denison\, 66\, was the first Houston patient to join a clinical trial for what may be a breast cancer breakthrough. Denison's HER2-positive breast cancer was treated with a promising new \nmix: a combination of standard chemotherapy (docetaxel)\, the antibody \npertuzumab and a drug called T-DM1. Studies show that T-DM1\, an antibody-drug conjugate\, causes fewer and less severe side effects than standard cancer treatment.",Alyson Ward,"<p>When a mammogram revealed that Noel Denison had cancer\, the tumor in her left breast was roughly the size of a lemon. Just five months later\, it had dwindled and disappeared - likely because of a promising new drug combination researchers are calling a ""smart bomb.""</p>\n<p>Denison\, 66\, was the first Houston patient to join a clinical trial for what may be a breast cancer breakthrough.</p>\n<p>""She's the first\, and she's had a wonderful response\,"" said Denison's oncologist\, Jenny Chang\, who is director of the Methodist Cancer Center. Chang is overseeing the trial at Methodist\, which is one of two locations in the United States testing the new treatment. The other is Carolinas Hematology-Oncology Associates in Charlotte\, N.C.</p>\n<p>Denison's HER2-positive breast cancer was treated with a promising new mix: a combination of standard chemotherapy (docetaxel)\, the antibody pertuzumab and a drug called T-DM1.</p>\n<p>T-DM1 is the key new ingredient; it's a groundbreaking drug that attacks cancer cells directly\, delivering a strong dose of chemotherapy.</p>\n<p>Here's how it works: In tumors like Denison's - which represent about one-fifth of breast tumors - the cancer cells have a protein called HER2. T-DM1 docks against that protein ""like a lock and key\,"" Chang said\, and leaves the healthy cells alone. And because it goes straight to the cancer cell\, it can be given at a dose 100 to 1\,000 times higher than it could be given systemically.</p>\n<p>""It's really powerful\,"" Chang said.</p>\n<p>Denison's tumor responded to the drug combination just as it should; after just four of her six rounds of treatment\, the tumor was no longer visible to the naked eye. She had a lumpectomy in October to remove the trace that remained.</p>\n<p>""She had a sizeable cancer\, and almost none left\,"" Chang said. ""We know that in women with this kind of good response\, it almost never comes back.""</p>\n<p>TDM-1 isn't a someday drug; in fact\, it may be on the market later this year. The FDA has fast-tracked T-DM1\, giving it priority review status\, and it's expected to win the agency's approval at the end of February.</p>\n<p>Studies show that T-DM1\, an antibody-drug conjugate\, causes fewer and less severe side effects than standard cancer treatment. In many patients\, Chang said\, it's ""almost nothing.""</p>\n<p>Denison was also given standard chemotherapy\, of course\, so she experienced all the side effects of regular cancer treatment.</p>\n<p>Chang hopes the next step for her patients will be to forgo the standard chemotherapy drug and let the T-DM1 do its work. That could mean\, for some\, cancer treatment free of side effects like hair loss and nausea.</p>\n<p>""We want to give women the most effective treatment with minimal side effects\,"" Chang said\, ""and we hope to cure most women by doing it.""</p>\n<p>T-DM1 has generated a lot of excitement among patients and oncologists. And the method of docking the antibody and injecting a toxin into the cancer cell ""is being applied to different types of cancer now\,"" Chang said. ""We hope it will not only be for breast cancer\, but for different types of cancer.""</p>\n<p>Denison\, meanwhile\, is glad she's been able to return to her life and her grandchildren so quickly. She has a good reason to hope her cancer will never return. ""I would say I have the same energy level I had before\,"" she said. ""I honestly feel great.""</p>\n<p>Alyson Ward</p>",,2013-01-27T02:11:15Z,Houston Chronicle


But it is giving me following error:


ERROR 1406 (22001): Data too long for column 'id' at row 1


I also tried changing LINES TERMINATED BY '\n' to '\r' and '\r\n'
But that doesn't do anything. It's output is:


Query OK, 0 rows affected (11.16 sec) Records: 0 Deleted: 0 Skipped:
0 Warnings: 0


I tried finding my Line ending character by opening the file in Notepad++. It shows line ending character as:enter image description here

Any suggestions how to import this data...?

My Database schema is like:

mysql> desc books;
+----------------+----------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+----------------+----------------+------+-----+---------+-------+
| id | varchar(50) | NO | PRI | NULL | |
| provideer | varchar(20) | YES | | NULL | |
| title | varchar(200) | YES | | NULL | |
| abstract | varchar(10000) | YES | | NULL | |
| author | varchar(20) | YES | | NULL | |
| content | varchar(20) | YES | | NULL | |
| url | varchar(1000) | YES | | NULL | |
| publish_date | datetime | YES | | NULL | |
| publisher_name | varchar(20) | YES | | NULL | |
+----------------+----------------+------+-----+---------+-------+

Answer

Your id field is defined as varchar(50). Yet the value ClippingUpload_eca3b7fc-7a37-4c3e-8b89-bf9cc157675c has the length of 51, therefore it is too long for your current id field definition, hence the error message.

Before importing any files, you must make sure that the target table's definition is aligned with the data in the file to be imported.

Comments