40m QIL Cryo_Lab CTN SUS_Lab TCS_Lab OMC_Lab CRIME_Lab FEA ENG_Labs OptContFac Mariner WBEEShop
  40m Log, Page 303 of 341  Not logged in ELOG logo
ID Date Author Type Categorydown Subject Text Attachments
  13934   Fri Jun 8 14:40:55 2018 c1lscUpdateCDSi am dead   31.png 
  13935   Fri Jun 8 20:15:08 2018 gautamUpdateCDSReboot scriptUnfortunately, this has happened (and seems
like it will happen) enough times that I
set up a script for rebooting the machine
 31.png 
  13942   Mon Jun 11 18:49:06 2018 gautamUpdateCDSc1lsc dead againWhy is this happening so frequently now?
Last few lines of error log:

 36.png 
  13947   Mon Jun 11 23:22:53 2018 gautamUpdateCDSEX wiring confusion [Koji,
gautam]

Per
  
  13958   Wed Jun 13 23:23:44 2018 johannesUpdateCDSEX wiring confusionIt's true.

I went through the wiring of the
c1auxex crate today to disentangle the pin
 c1auxex_channels.pdfXEND_slow_wiring.pdf 
  13961   Thu Jun 14 10:41:00 2018 gautamUpdateCDSEX wiring confusionDo we really have 2 free ADC channels at
EX now? I was under the impression we had
ZERO free, which is why we wanted to put
  
  13965   Thu Jun 14 15:31:18 2018 johannesUpdateCDSEX wiring confusionBad wording, sorry. Should have been channels
in excess of ETMX controls. I'll add
the others to the list as well.
 XEND_slow_wiring.pdfc1auxex_channels.pdf 
  14000   Thu Jun 21 22:13:12 2018 gautamUpdateCDSpianosa upgradepianosa   
  14003   Fri Jun 22 00:59:43 2018 gautamUpdateCDSpianosa functional, but NO DTTMEDM, EPICS and dataviewer seem to work,
but diaggui still doesn't work (it doesn't
work on Rossa either, same problem as reported
  
  14007   Fri Jun 22 15:13:47 2018 gautamUpdateCDSDTT workingSeems like DTT also works now. The trick
seems to be to run 
 Screenshot_from_2018-06-22_15-12-37.png 
  14008   Fri Jun 22 15:22:39 2018 sudoUpdateCDSDTT working


Quote:


  
  14027   Wed Jun 27 21:18:00 2018 gautamUpdateCDSLab maintenance scripts from NODUS---->MEGATRONI moved the N2 check script and the disk
usage checking script from the (sudo) crontab
of 
  
  14028   Thu Jun 28 08:09:51 2018 SteveUpdateCDS vacuum pneumatic N2 pressureThe fardest I can go back on channel C1:
Vac_N2pres is  320 days

C1:Vac-CC1_Hornet Presuure gauge
 320d_N2.png 
  14029   Thu Jun 28 10:28:27 2018 ranaUpdateCDS vacuum pneumatic N2 pressurewe disabled logging the N2 Pressure to
a text file, since it was filling up disk
space. Now it just sends an email to our
  
  14133   Sun Aug 5 13:28:43 2018 gautamUpdateCDSc1lsc flakySince the lab-wide
computer shutdown last Wednesday, all
the realtime models running on c1lsc have
  
  14136   Mon Aug 6 00:26:21 2018 gautamUpdateCDSMore CDS woesI spent most of today fighting various
CDS errors.


I rebooted c1lsc around
 CDSoverview.png 
  14139   Mon Aug 6 14:38:38 2018 gautamUpdateCDSMore CDS woesStability was short-lived it seems. When
I came in this morning, all models on c1lsc
were dead already, and now c1sus is also
 CDScrash.pngMC1failures.png 
  14140   Mon Aug 6 19:49:09 2018 gautamUpdateCDSMore CDS woesI've left
the c1lsc frontend shutdown for now,
 IMG_7106.JPG 
  14142   Tue Aug 7 11:30:46 2018 gautamUpdateCDSMore CDS woesOvernight, all models on c1sus and c1ioo
seem to have had no stability issues, supporting
the hypothesis that timing issues stem from
  
  14143   Tue Aug 7 22:28:23 2018 gautamUpdateCDSMore CDS woesI am starting the c1x04 model (IOP) on
c1lsc to see how it behaves overnight.

Well, there was apparently an immediate
  
  14146   Wed Aug 8 23:03:42 2018 gautamUpdateCDSc1lsc model startedAs part of this slow but systematic debugging,
I am turning on the c1lsc model overnight
to see if the model crashes return.
  
  14149   Thu Aug 9 12:31:13 2018 gautamUpdateCDSCDS status updateThe model seems to have run without issues
overnight. Not completely related, but the
MC1 shadow sensor signals also don't
  
  14151   Thu Aug 9 22:50:13 2018 gautamUpdateCDSAlignSoft script modifiedAfter this
work of increasing the series resistance
on ETMX, there have been numerous occassions
 MichelsonFringing.png 
  14166   Wed Aug 15 21:27:47 2018 gautamUpdateCDSCDS status updateStarting c1cal
now, let's see if the other c1lsc FE
models are affected at all... Moreover, since
  
  14171   Mon Aug 20 15:16:39 2018 JonUpdateCDSRebooted c1lsc, slow machinesWhen I came in this morning no light was
reaching the MC. One fast machine was
dead, c1lsc, and a number of the slow machines:
  
  14187   Tue Aug 28 18:39:41 2018 JonUpdateCDSC1LSC, C1AUX rebootsI found c1lsc unresponsive again today.
Following the procedure in elog
#13935, I ran the rebootC1LSC.sh
 CDS_FE_STATUS.png 
  14192   Tue Sep 4 10:14:11 2018 gautamUpdateCDSCDS status updatec1lsc crashed again. I've contacted
Rolf/JHanks for help since I'm out of
ideas on what can be done to fix this
  
  14193   Wed Sep 5 10:59:23 2018 wgautamUpdateCDSCDS status updateRolf came by today morning. For now, we've
restarted the FE machine and the expansion
chassis (note that the correct order in which
  
  14194   Thu Sep 6 14:21:26 2018 gautamUpdateCDSADC replacement in c1lsc expansion chassisTodd E. came by this morning and gave us
(i) 1x new ADC card and (ii) 1x roll of 100m
(2017 vintage) PCIe fiber. This afternoon,
 CDSoverview.png 
  14195   Fri Sep 7 12:35:14 2018 gautamUpdateCDSADC replacement in c1lsc expansion chassisLooks like the ADC was not to blame, same
symptoms persist.

 Screenshot_from_2018-09-07_12-34-52.png 
  14196   Mon Sep 10 12:44:48 2018 JonUpdateCDSADC replacement in c1lsc expansion chassisGautam and I restarted the models on c1lsc,
c1ioo, and c1sus. The LSC system is functioning
again. We found that only restarting c1lsc
  
  14202   Thu Sep 20 11:29:04 2018 gautamUpdateCDSNew PCIe fiber housed[steve,
yuki, gautam]
 PCIeFiberSwap.pngPCIeFiberSwap_FBrebooted.png 
  14203   Thu Sep 20 16:19:04 2018 gautamUpdateCDSNew PCIe fiber install postponed to tomorrow[steve,
gautam]
  
  14206   Fri Sep 21 16:46:38 2018 gautamUpdateCDSNew PCIe fiber installed and routed[steve,
koji, gautam]
 PCIeFiber.pngIMG_5878.JPG 
  14208   Fri Sep 21 19:50:17 2018 KojiUpdateCDSFrequent time outMultiple realtime processes on c1sus are
suffering from frequent time outs. It eventually
knocks out c1sus (process).
 33.png49.pngScreenshot_from_2018-09-21_21-52-54.png 
  14210   Sat Sep 22 00:21:07 2018 KojiUpdateCDSFrequent time out[Gautam, Koji]

We had another crash of c1sus and
Gautam did full power cycling of c1sus. It
 23.png 
  14253   Sun Oct 14 16:55:15 2018 not gautamUpdateCDSpianosa upgradeDASWG is not what we want to use for config;
we should use the K. Thorne LLO
instructions, like I did for ROSSA.
  
  14267   Fri Nov 2 12:07:16 2018 ranaUpdateCDSNDScopehttps://alog.ligo-wa.caltech.edu/aLOG/index.php?callRep=44971

Let's install Jamie's new
Data Viewer
  
  14293   Tue Nov 13 21:53:19 2018 gautamUpdateCDSRFM errorsThis
problem resurfaced, which I noticed when
I couldn't get the single arm locks going.
 RFMerrors.png 
  14344   Tue Dec 11 14:33:29 2018 gautamUpdateCDSNDScopeNDscope is now running on pianosa. To be
really useful, we need the templates, so
I've made 
 ndscope.png 
  14356   Thu Dec 13 22:56:28 2018 gautamUpdateCDSFrames[koji, gautam]

We looked into the /frames situation
a bit tonight. Here is a summary:
  
  14359   Fri Dec 14 14:25:36 2018 KojiUpdateCDSchiara backupfsck of chiara backup disk (UUID="90a5c98a-22fb-4685-9c17-77ed07a5e000")
was done. But this required many files to
be fixed. So the backed-up files are not
 fsck_log.log 
  14374   Thu Dec 20 17:17:41 2018 gautamUpdateCDSLogging of new Vacuum channelsAdded the following channels to C0EDCU.ini:

  
  14376   Fri Dec 21 11:11:51 2018 gautamUpdateCDSLogging of new Vacuum channelsThe N2 pressure channel name was also wrong
in C0EDCU.ini, so I updated it this morning
to the correct name and units:
  
  14386   Fri Jan 4 17:43:24 2019 gautamUpdateCDSTiming issues[J Hanks (remote),
koji, gautam]
  
  14392   Wed Jan 9 11:33:35 2019 gautamUpdateCDSTiming issues still persistSummary:

The gps time mismatch between /proc/gps
and gpstime seems to be resolved. However,
 gpstimeSync.pngScreenshot_from_2019-01-09_17-56-58.png 
  14455   Thu Feb 14 23:14:12 2019 gautamUpdateCDSc1rfm errorsThe pressure is still 2e-4 torr according
to CC1 so I thought I'd give ASS debugging
a go tonight. But the arm transmission signal
  
  14457   Fri Feb 15 15:22:08 2019 gautamUpdateCDSc1rfm errors persistI restarted c1scy, 
 Screenshot_from_2019-02-15_15-21-47.png 
  14472   Sat Mar 2 14:19:35 2019 gautamUpdateCDSFSS Slow servo gains not burt-edPSL NPRO PZT voltage showed large low frequency
(hour timescale) excursions on the control
room StripTool trace, leading me to suspect
  
  14492   Thu Mar 21 18:09:36 2019 KojiUpdateCDSdb file preparation for acromag c1susauxI have updated the google doc spreadsheet
to indicate the required action for the new
dbfile
 Screen_Shot_2019-03-21_at_18.06.53.png 
ELOG V3.1.3-